Logfile-“Explosion” 💥

In den letzten Monaten war ein massiver Anstieg bei den Anfragen an das Open-Data-Portal zu beobachten. Im April 2024 gab es aber eine regelrechte “Explosion” der Zugriffszahlen.

Vermutlich sind die Zugriffszahlen auf das Open-Data-Portal und die beliebtesten Datensätze bekannt. Diese Zahlen werden direkt aus den Logfiles des Webservers ermittelt. In den Logfiles sind allerdings nicht nur Zugriffe auf Datensätze, sondern auch die Abrufe von CSS-Dateien und Bildern verzeichnet. Für die Ermittlung der Zugriffszahlen werden die Logfiles daher mit der Software GoAccess ausgewertet.

In den letzten Monaten ist aufgefallen, dass diese Auswertung immer länger dauert. Also habe ich mir mal die Anzahl der Einträge in den monatlichen Logfiles angesehen. Das Ergebnis ist erstaunlich:

In den letzten drei Monaten haben sich die Zahlen quasi jedes Mal verdoppelt. Woher dieser enorme Anstieg kommt, ist mir noch nicht klar. Sind da so viele Firmen unterwegs, die Inhalte für das Erzeugen ihrer LLMs haben wollen? Oder sind das fehlgeschlagene Scraping-Versuche? Vermutlich muss ich mal wieder einen genaueren Blick darauf werfen, welche Bots das Portal besuchen, so wie ich es schon vor fast genau zwei Jahren in Kommt ein Bot zu Besuch getan habe.

Die Rohdaten mit den monatlichen Abrufzahlen gibt es natürlich auch als CSV-Datei: abrufe-pro-monat.csv