#techniktagebot

[techniktagebuch]

10.2.2017

Online-Führung durch’s Techniktagebo(o)t

Seit ein paar Tagen taucht einmal täglich neben dem bekannten Techniktagebuch-Radlader ein U-Boot auf. Nämlich der Techniktagebot. Er fördert via Twitter alte Beiträge zutage, die mindestens ein Jahr, aber auch viel länger zurückliegen. Virtualista hatte die Idee, einen solchen Bot zu programmieren, der dazu beiträgt, dass die vielen großartigen Beiträge, die zum Teil Jahrzehnte in der Vergangenheit liegen, nicht in Vergessenheit geraten. Seit ein paar Tagen läuft der Bot stabil, und es lohnt sich natürlich, diesem gleich zu followen.

In der ständigen Redaktionskonferenz ist das Interesse groß an diesem Bot, aber nicht nur an seinen Funden, sondern auch daran, wie er funktioniert. Und so kam es, dass Virtualista anbot, Führungen zu veranstalten. Heute fand die erste Führung via Google Hangout statt. Erst sehen die Teilnehmer sich zum Teil gegenseitig, dann ist mal alles grün, dann alles schwarz, irgendwo schnieft jemand, aber dann läuft alles rund, und es geht los. 

Virtualista holt uns ab und wir steigen ins erste Unterdeck hinab. Wir entdecken eine Welt, die manche schlicht als Google-Skripte bezeichnen. Wir sehen den Programm-Code, der sich auf diverse Seiten verteilt. Es geht zunächst um verschiedene APIs von Twitter und Tumblr. Tumblr ermöglicht, einige Daten nach Beiträgen sortiert abzuholen. Diese werden in diverse Tabellenfelder geschrieben, aus denen dann die für den Tweet relevanten Daten wieder herusgesaugt werden. Eine schwierige Aufgabe, die quasi im Maschinenraum durchgeführt wird, ist dabei, die diversen Datumsformate, die die zahlreichen Autoren verwenden, zu verarbeiten (Beispiele: 29.01.1970, 29. Januar 1970, 29. Jänner 1970, 29-1-1970, 1-29-1970 usw. usf.). Dann muss natürlich eine Auswahl getroffen werden, wenn es mehrere Einträge für einen Tag gibt. Der Bot soll ja nicht dauernd den selben Beitrag posten, sondern in den nächsten hundert Jahren (oder wie lange er läuft) möglichst viele verschiedene. 

In der Kombüse wird dann aus den zurechtgelegten Daten ein Tweet zusammengerührt, der natürlich nicht mehr als 140 Zutaten, äh Zeichen haben darf. Dieser wird an die Brücke weitergereicht, wo der Tweet abgenickt und zum Funkraum gegeben wird, um ihn mittels der Twitter-API durch den Äther in die weite Welt hinaus zu tragen. 

Ich höre zum ersten Mal davon, wie man Skripte schreibt, die irgendwas im Internet machen. Schon lange habe ich mich gefragt, wie das eigentlich konkret geht. Nun bin ich wenigstens etwas schlauer und habe eine gewisse Vorstellung davon, was da auf unserem “Techniktagebuchkutter” so vor sich geht. Andere Teilnehmer und Teilnehmerinnen am Hangout haben deutlich mehr Ahnung davon und stellen Detailfragen, warum dies so und das nicht so ist. Ich bin fasziniert davon, dass man sowas mal eben einfach macht und werde in der kommenden Nacht von possierlichen U-Bötchen träumen, die kurze Techniktagebuch-URLs an die Oberfläche des Internet-Ozeans blubbern. 

(Markus Winninghoff)

[techniktagebuch]

15. Juli 2023 und ein paar Wochen davor und danach

Wir schicken den Techniktagebot auf eine neue Tauchfahrt und pflastern ihm auch eine Auffahrt auf Mastodon

Ohne dass es hier groß vermerkt worden wäre, hat der Techniktagebot, der täglich ältere Techniktagebuch-Beiträge retweetet, die am selben Tagesdatum veröffentlicht wurden, am 19. Mai 2023 seinen Betrieb eingestellt. Was nicht daran liegt, dass jemand aus der Redaktion irgendwas kaputtgemacht hätte oder dass irgendein Kapazitätslimit seiner Infrastruktur erreicht worden wäre.

Die Gründe sind vielmehr, das kennen wir ja schon, dass bei Twitter (das ja nun 𝕏 heißt) gerade so einiges im Argen ist. Wir haben einen Weg gefunden, der zumindest die Benachrichtigungs-Tweets für neue Techniktagebuch-Einträge über einen Umweg absetzt. Und um eine Alternative zu Twitter anzubieten, werden neue Techniktagebuch-Beiträge auch auf Mastodon angekündigt.

Den Techniktagebot schicken wir auf ähnliche Art wieder auf Tauchfahrt, sowohl auf Twitter (aber wer will schon prognostizieren, wie lange das noch funktionieren wird) als auch – neu! – nun auch auf Mastodon. Entwickelt hat sich das Ganze ungefähr folgendermaßen:

Virtualista: Wie ich genau bemerkt habe, dass der Bot am 19. Mai den letzten Tweet abgesetzt hat, weiß ich nicht mehr. Gerüchte und Meldungen bzgl. der Twitter-API gab es ja schon vorher mehrfach.

Der Grund, dass der Bot nicht mehr twittern konnte, ist jedenfalls, dass Twitter entschieden hat, den Teil seiner API abzuklemmen, den der Bot nutzt. Diese Art der automatisierten Twitter-Nutzung soll ab jetzt kostenpflichtig sein und so wohl den Reichtum von Herrn Musk mehren.

Eigentlich hatte ich den Bot ja als Spaßprojekt begonnen. Ich bin einigermaßen stolz, dass das Ding nahezu wartungsfrei sechseinhalb Jahre lang täglich gelaufen ist. Ich entwickle seit über 30 Jahren für Geld Software und möchte nicht behaupten, dass das für allzu viele meiner Projekte gilt.

Dennoch sehe ich eigentlich nicht ein, dass ich (oder irgendwer sonst) jetzt Geld bezahlen soll, um ihn weiter twittern zu lassen. Ich verkünde in der Redaktion vage, dass ich seine Posts vielleicht zu Mastodon umleiten werde.

Clemens: Den Bot auch auf Mastodon posten zu lassen, finde ich natürlich eine feine Idee. Mir fällt aber auf, dass es auch für Twitter weiterhin einen kostenlosen Developer-Zugang gibt, über den der Bot weiterhin kostenlos posten könnte. Das schreibe ich Virtualista. Will er damit nicht vielleicht etwas probieren?

Virtualista: Ich lese mir die Details durch und stelle fest, dass Clemens recht hat.

Diese Umstellung würde allerdings etwas Arbeit erfordern, weil eine Bibliothek, die der Bot nutzt, nicht mit dem Developer API funktioniert. Deren Entwickler hat das Projekt offenbar aus Verärgerung über die Entscheidung des Twitter-Managements sogar direkt als "archived" markiert.

Ich müsste mich also nach einer Alternative umschauen oder selbst eine schreiben. Dazu habe ich aber keine Lust, da Twitter jederzeit weitere nachteilige Entscheidungen treffen könnte.

Clemens: Ich habe ja jetzt verstanden, wie sich sehr problemlos RSS-Feeds sowohl nach Twitter als auch nach Mastodon durchreichen lassen. Ich hänge also Virtualista wieder in den Ohren.

Ich schlage ihm vor, ob er nicht den Techniktagebot so umprogrammieren könne, dass dieser die älteren Beiträge an ihren Jahrestagen, statt diese direkt an Twitter zu reichen und dabei an der API zu scheitern, diese ganz zukunftsfähig für eine RSS-Abfrage bereit stellen könnte. Und ich würde mich dann darum kümmern, diese sowohl an den Techniktagebot-Account auf Twitter weiterzureichen (solange das noch möglich ist), als auch an einen Techniktagebot-Account auf Mastodon.

Wenn die Beiträge des Bots einmal per RSS bereitliegen, kann man das bestimmt auch für viele der zukünftigen Messenger nutzen, Threads, Bluesky, oder was da sonst noch so kommen mag!

Virtualista: Das klingt nach einem Angebot, das ich nicht ablehnen kann. Ich mache mich an die Arbeit und baue das Skript so um, dass es die Beiträge an ihren Jahrestagen mittels RSS abrufbar zur Verfügung stellt.

Das ist relativ einfach, weil das bisherige Skript schon jeden der Tweets des Bots in ein Google-Sheet einträgt, das also mittlerweile gut 3200 Zeilen hat. Ich ergänze nun den Bot um ein Skript, das wie eine Webseite per URL aufgerufen werden kann und das dann die letzten 10 Posts aus der Tabelle in das XML-Format eines RSS-Feeds übersetzt und zurückliefert.

Clemens: Es stellt sich heraus, dass Virtualista vor einiger Zeit sogar schon einen Account mit dem Namen “Techniktagebot” bei der Mastodon-Instanz botsin.space reserviert hat. Ich verbinde das von Virtualistas Techniktagebot generierte RSS-File mit Hilfe von dlvr.it sowohl mit dem Twitter-Account als auch dem Mastodon-Account des Techniktagebots.

Ich schreibe einen ersten Entwurf eines Beitrags für das Techniktagebuch, um auf den wiederbelebten (auf Twitter) und den neu geschaffenen (auf Mastodon) Techniktagebot-Account hinzuweisen. Arbeitstitel: Wir reparieren den Techniktagebot und schicken ihn nun auch auf Mastodon auf Tauchfahrt.

Virtualista: Das mit “repariert” stört mich allerdings etwas, weil der Bot an sich ja so wenig kaputt war, wie ein Haus, dem jemand den Zufahrtsweg weggebaggert hat.

Und jetzt? Die ersten diesen Weg gehenden Beiträge des Bots am 15. und 16. Juli sehen noch etwas zerrupft aus, Virtualista zupft das RSS-File noch etwas zurecht und Clemens die dlvrit-Parameter, und seit dem 17. Juli sieht das schön aus. Und so postet nun also der Techniktagebot wieder auf Twitter, und auch auf Mastodon geht er auf Tauchfahrt: botsin.space/@techniktagebot (Update: Link entfernt, weil es den botsin.space-Server nicht mehr gibt.)

Update, Anfang Dezember 2023: Seit Kurzem postet der Techniktagebot auch auf Bluesky: https://bsky.app/profile/techniktagebot.bsky.social

(Virtualista / Clemens)

[techniktagebuch]

25. bis 29. Mai 2018

Abenteuer eines jungen Bots: Plötzliche Alterung um Jahre kann belebend wirken, aber auch (vorübergehend) viele Freundschaften kosten  

Schockschwerenot, der Bot ist tot! Ich erfahre es durch erste Alarmmeldungen im Redaktionschat.

Ich habe den Techniktagebot gebastelt und seit Januar 2017 lief er relativ reibungslos. Nachdem ich anfangs noch täglich seine Tweets überprüfte und so mehrere Fehler finden und beseitigen konnte, schaue ich aktuell nur noch alle paar Tage, was er so gepostet hat.

Nun bekomme ich beim Versuch, mich in den Twitter-Account des Bots einzuloggen die Meldung, dieser Account sei gesperrt worden. Ich finde eine Mail von Twitter mit der Begründung, der Bot sei minderjährig und es läge keine Einwilligung eines Erziehugnsberechtigten für seine Twitterei vor.

In gewisser Hinsicht ist das vollkommen korrekt. (Ich stelle später anhand von Screenshots fest, dass ich dem Bot den 25. Januar 2003 als Geburtsdatum verpasst hatte, also 14 Jahre vor seinem ersten Tweet. Vermutlich wollte ich das Datum seiner Inbetriebnahme markieren und 14 erschien mir wohl ausreichend als Mindestalter.)

Der Bot ist damit ziemlich sicher ein Kollateralschaden der DSGVO, die am Tag der Sperrung endgültig in Kraft trat. Vermutlich hat irgendein Justitiar bei Twitter auf letzten Drücker festgestellt, dass es rechtlich problematisch ist – sprich, dass Strafen in relevanter Höhe drohen –, wenn sie Minderjährigen ohne Einwilligung der Eltern twittern lassen. Und weil die Zeit schon knapp war, hat man dann einfach alle Konten, die diesen Kriterien entsprachen, ohne Vorwarnung automatisch gesperrt. Ich finde jedenfalls auch im Nachhinein in meinen Mails keinen entsprechenden Warnhinweis.

In der oben abgebildeten Mail von Twitter sieht man den Button mit der aufmunternden Aufschrift "Jetzt loslegen", der dazu dienen soll, das Problem zu klären. Dieser Button führt leider nicht zum richtigen Formular aber mit etwas Googeln – ich bin ja auch mit diesem Problem nicht allein (Update: der hier verlinkte Tweet ist leider nicht mehr öffentlich zugänglich) – landet man auf der Twitter-Seite, die es Minderjährigen erlaubt, die Genehmigung ihrer Eltern beizubringen (oder wierum auch immer). Dort steht übrigens, man müsse nur älter als dreizehn Jahre sein.

Für diesen Vorgang müsste ich allerdings die Geburtsurkunde oder ein Ausweisdokument des Bots und auch von mir selbst hochladen, was sich in ersterem Fall natürlich schwierig gestaltet. Ich habe zwar Kinder und die zugehörigen Dokumente, aber irgendwie gefällt mir der Gedanke nicht, die Identität eines meiner Sprösslinge hierfür zu verwenden. Obwohl Twitter vielleicht längst Geschichte ist, wenn meine Kinder in das Alter kommen, kritische Fragen zu stellen.

Mittlerweile entspinnt sich auch im Redaktionschat eine Diskussion, wie mit der Situation umzugehen sei. Durch einen Hinweis von Aleks erfahre ich, dass der @techniktagebot durchaus legitim im Sinne der Twitter-Nutzungsbedingungen ist. Ich hatte ihn bisher eher in einer Grauzone vermutet. Nach etwas weiterer Recherche entschließe ich mich dazu, mich einfach mit meinem Ausweis gegenüber Twitter als Verantwortlicher zu erkennen zu geben.

Zwei Tage später erfolgt dann die Entwarnung und der Account mit all seinen Tweets lässt sich wieder aufrufen. In seiner Post-Historie klafft nun eine Lücke von 3 Tagen, die sich auch nachträglich schlecht schließen lässt, aber die Skripte, welche die Posts generieren laufen wieder erfolgreich, ohne dass dazu weiteres Eingreifen erforderlich gewesen wäre.

Aber, nächster Schock: Der Bot hat alle seine 230 Follower verloren. In den Statistikangaben des Accounts finde ich diese Zahl noch, zusammen mit roten Warnhinweisen ob des "Verlusts an Reichweite". Weitere Infos von Twitter erhalte ich hierzu aber nicht.

Auch dieser Gang der Ereignisse wird natürlich im Redaktionschat des Techniktagbuchs eifrig diskutiert und umgehend werden auf Twitter Hilfeaufrufe ob der verlorenen Follower gepostet. Deren Zahl liegt bereits wieder über 30, als Twitter den Status Quo Ante offenbar doch noch wiederhergestellt bekommt.

Ob aus Mitleid oder neu entfachtem Interesse – der Bot hat nun 265 Follower. Rein PR-mäßig muss man dieses Intermezzo also als klaren Erfolg verbuchen.

(Virtualista)

[techniktagebuch]

22. März 2017

In The Year Ten Fifteen

Als Nebenprodukt der Techniktagebot-Entwicklung fallen Google-Spreadsheets mit Metadaten zu allen Techniktagbucheinträgen an. Unter anderem muss der Bot ja versuchen, die angegebenen Kalenderdaten der Einträge in eine einheitliche Form zu bringen und die Spreadsheets dienen zum Testen dieser Funktion und zur Auswertung ihrer Ergebnisse. 

Während ich heute eine dieser Tabellen öffne, bemerke ich erstmals eine Schaltfläche ‘Erkunden’. Furchtlos klicke ich darauf und bekomme am rechten Fensterrand eine Leiste mit Dingen eingeblendet.

Ich brauche einen Moment um zu verstehen, was hier dargestellt wird. Offenbar hat ein Algorithmus vollautomatisch das Tabellenblatt mit gut 4000 Zeilen nach interessanten Korrelationen bzw. Abweichungen durchsucht. Als Ergebnis wird mir ein kleines Diagramm angezeigt, in dem entlang der waagerechten Achse das Datum und entlang der senkrechten Achse die Zahl der Notes eines Beitrags abgetragen sind (Notes bezeichnen bei Tumblr Likes und Reblogs).

Wie nicht anders zu erwarten, ergibt das eine Punktewolke zwischen den Jahren 1922 und 2017 sowie 0 und 69 Notes. Der Ausreißer mit den 463 Notes war mir bekannt, die Gründe für seine außerordentliche Beliebtheit hingegen nicht. In der Redaktion wird gemutmaßt, dass der Beitrag an prominenter Stelle rebloggt oder retweetet wurde.

Neu ist für mich der Ausreißer mit dem Datum 10.10.1015. Ich vermute einen Bericht vom Besuch eines Mittelaltermarktes o.Ä., aber es sieht sehr nach einem banalen Schreibfehler aus. Darauf deutet auch das automatisch erfasste Veröffentlichungsdatum 10.10.2015 hin, das in Spalte D der Tabelle zu sehen ist.

Ich kann nicht umhin, die nonchalante Beiläufigkeit zu bewundern, mit der Google mir dieses Detail zu meinen Daten präsentiert. Es ist ja nichts anderes als der freundliche algorithmische Hinweis "schau mal, ist Dir das schon aufgefallen?"

Ich dokumentiere den alten Zustand hier mit diesem Bild und setze dann das Datum des Beitrags auf 2015.

(Virtualista)

[techniktagebuch]

Januar 2017

Spontane morgendliche Sicherheitssorgen

Ich habe eine erste Version des @Techniktagebots in Form von Google App Scripts geschrieben und testweise in Betrieb genommen. Morgens während ich das Kind zum Kindergarten bringe, fällt mir siedendheiß ein, dass ich bisher keinen Gedanken an die Freigabeoptionen dieser Skripte verschwendet habe.

Im Bot-Skript stehen aber im Klartext die API-Zugangscodes für den Twitter-Account des Bots. Wer über diese Codes verfügt, hat vollen API-Zugriff auf das Twitter-Konto @Techniktagebot. Das reicht vielleicht nicht, um dieses Konto komplett zu kapern und mich per Passwortänderung auszusperren. Aber es wäre definitiv ausreichend, um den Bot allerlei hässlichen Spam twittern zu lassen. Ein denkbar schlechter Start für einen jungen Bot, wenn nicht sogar sein frühes und unrühmliches Ende. Insofern wäre es schlecht, wenn sein Programmcode einfach für jeden einsehbar wäre.

Ich liefere also das Kind in der Kita ab und begebe mich direkt in den Backshop des benachbarten Supermarktes. Zu meiner freudigen Überraschung gibt es dort nicht nur Cappuccino und freie Sitzplätze mit Tisch, sondern sogar freies WLAN. Ich brauche also das Datenkontingent der SIM-Karte meines Laptops nicht zu belasten.

Ich starte den Laptop, logge mich in das WLAN ein und rufe den Google App Scripts-Account auf. Zu meiner Erleichterung sehe ich, dass die Default-Option "Freigeben: Nur für mich" lautet und immer noch ausgewählt ist. Um ganz sicher zu gehen, kopiere ich den Skript-Link in die Adresszeile eines anderen Browsers, mit dem ich nicht bei Google eingeloggt bin. Damit habe ich keinen Zugriff.

Beruhigt leere ich meinen Cappuccino und mache mich auf den Weg zur Arbeit.

(Virtualista)

[techniktagebuch]

24. und 25. Januar 2017

Ich benehme mich unbotmäßig und werde für einen Bot gehalten

Zwei Beiträge in der ständigen Redaktionskonferenz des Techniktagebuchs veranlassen mich dazu, einen Twitterbot für das Techniktagebuch zu implementieren. Felix Lorenz regt an, dass es einen Bot geben sollte, der täglich Links auf Techniktagebucheinträge mit demselben Datum aus früheren Jahren twittert. Und André Spiegel sagt zu einer Rätselfrage leichthin "wer das errät, darf einen Bot schreiben." Er meint damit zwar einen, der Digitaldystopien im Stil einer renommierten deutschen Wochenzeitung twittert, aber ich nehme meinen Rateerfolg trotzdem zum Anlass, in die Botentwicklung einzusteigen.

Es ist ohnehin mal wieder Zeit für ein kleines privates Spielprojekt. Und wie aufwendig kann es sein, wenn Donald Trump und andere Populisten sich Scharen davon als Schoßtiere halten?

Eigentlich sollten am Anfang natürlich Recherche und ein klares Konzept stehen. Aber es ist spätabends und die Neugier siegt: Erstmal schauen, ob der gewünschte Accountname @Techniktagebot überhaupt noch verfügbar ist.

Es zeigt sich, dass bisher tatsächlich niemand auf die Idee gekommen ist, dieses Konto anzulegen. Wie so oft braucht man zur Anmeldung eine E-Mailadresse als "Referenz" und muss ein paar Daten eingeben. Ich lege also eine Gmail-Adresse an, was sich später für das eigentliche Bot-Skript noch als nützlich erweisen soll. Ich werde nach meinen Interessen gefragt (Technik!) und bekomme ein paar Accounts vorgeschlagen denen ich folgen könnte. Viele davon haben einen klaren Berlin-Bezug, offenbar aufgrund von Geo-Lokalisierung.

Und dann erscheint unvermittelt folgender Hinweis.

Ich bin etwas verwirrt. Bei allem, was ich bisher mit diesem Konto angestellt habe, ist die Namensendung "bot" der einzige kleine Hinweis, dass ich eventuell kein Nutzer aus Fleisch und Blut sein könnte. Ansonsten habe ich mich genauso zögerlich durch die bisherigen Menüs geklickt, wie man es von einem Menschen erwarten würde.

Den Verdacht hegend, dass Twitter eigentlich nur seinen Social Graph um meine Telefonnummer ergänzen möchte, tippe ich diese ein und erwarte die übliche SMS mit einem Bestätigungscode. Stattdessen klingelt das Telefon, als Anrufer wird mir nur Anonym angezeigt. Während ich noch überlege, wer mich so spät mit unterdrückter Rufnummer anruft, hört das Klingeln wieder auf. Ich wende mich wieder der Twitter-Seite zu und lese erst jetzt im Kleingedruckten, dass ich den Bestätigungscode per Anruf erhalten soll.

Brav probiere ich es ein weiteres Mal und eine automatisierte Männerstimme liest mir eine Zahlenfolge vor, mit der ich den Account erfolgreich entsperren kann.

Zu diesem Zeitpunkt haben die ersten Redaktionskollegen den neuen Twitterer bereits bemerkt, da ich ihn dem @Techniktagebuch habe folgen lassen.

(Virtualista)