Wege der Metadaten

Vor ein paar Tagen bin ich nach einem Fediverse-Post gefragt worden, was es mit dem “Harvesting” auf sich hat. Damit kommen die Datensätze ins Open-Data-Portal. Ich erkläre, wie das funktioniert.

Der Großteil der Datensätze, die im Open-Data-Portal angezeigt werden, stammt aus anderen Datenportalen. In dem Fall ist das Open-Data-Portal nur der Katalog, der auf die Datensätze an anderer Stelle zeigt. Das Open-Data-Portal Schleswig-Holstein ist gleichzeitig auch Repository, also Datenablage - aber darum soll es in diesem Beitrag nicht gehen.

Einmal pro Tag nimmt das Open-Data-Portal Kontakt zu den anderen Portalen auf und ruft deren Datensatz-Katalog (oder auch Metadatenkatalog genannt) ab. Dieser Vorgang wird “Harvesting” (englisch Ernte) genannt. Derzeit versteht das Open-Data-Portal Schleswig-Holstein zwei Arten von Metadaten: DCAT aus der Open-Data-Welt und ISO 19115/19139 Metadaten aus der Geowelt.

Das Open-Data-Portal der Stadt Lübeck, das Hochwasser-Sturmflut-Information (HIS-SH) und das im Aufbau befindliche Zentrale Kommunale Informationssystem (ZKIS) haben DCAT-konforme Kataloge.

Über die csw2dcat-Bridge versteht das Open-Data-Portal auch die ISO-Metadaten der Geowelt und kann so die CSW-Schnittstelle des SH-MIS und des Umweltportals auslesen. Da im Umweltportal auch Geodaten verarbeitet werden, ist es auch noch mit dem SH-MIS verbunden. Daher ist eine funktionierende Dublettenerkennung ein Muss. An das SH-MIS liefern außerdem noch kommunale Geoportale (hier als Beispiel das Geoportal der Stadt Norderstedt) und die XPlanungsplattform mit vielen B-Plänen ihre ISO-Metadaten.

Vom Open-Data-Portal geht der Weg dann weiter zum nationalen Open-Data-Portal GovData und von dort weiter zum europäischen Datenportal data.europa.eu. Bis die Daten dort ankommen, kann es allerdings ein paar Tage dauern, wie nachdem, wann GovData und das europäischen Datenportal “ernten”.

Den GraphViz-Quellcode für das Diagramm gibt es übrigens hier: wege_der_metadaten.dot