Vereinfachung und Beschleunigung des Updateprozesses

Bisher war der Updateprozess der Kartendaten des Stadtplans in drei Schritte geteilt. Erst lud ich mir den Thüringenausschnitt von der Geofabrik herunter. Daraus wurden die Daten für Ilmenau und Jena mit osmconvert herausgeschnitten. Grundlage war jeweils die Grenzrelation als Poly-Datei (erzeugt mithilfe dieses Tools).

Da mein Server etwas schwach um die Brust ist, wurde das ganze auf einem separaten Rechner erzeugt. Die fertigen Dateien kamen in Schritt 2 auf den vServer und wurden mittels osm2pgsql in eine Postgres-Datenbank importiert. Hier muss ich in die Gegenwartsform wechseln, da die Änderungen hier aufhören. In der Postgres-Datenbank werden Adress-Interpolationen und kleinere (Adress-)Korrekturen vorgenommen.

Schritt 3 exportiert die für mich relevanten Daten in ein eigenes MySQL-Schema, welches Grundlage für die Stadtpläne ist.

Die Änderung

Logo der Overpass-APIDank der Overpass API wirds etwas einfacher. Obiger Prozess bedeutete, dass die Daten in der Datenbank teilweise 72h alt waren. Irgendwann mittags wurde Schritt 1 durchgeführt, wobei der Datenausschnitt manchmal 32h alt war. Leider war der benötigte Rechner auch nicht jeden Tag online, weshalb einzelne Tage auch mal ausgelassen wurden. Nachts (in einer Zugriffsschwachen Zeit) wurde dann der eigentliche Import (Schritt 2+3) vollzogen.

Nun wird vor dem Import eine Anfrage an die Overpass-API gesendet (Abfrage für Ilmenau). Diese wird in eine .osm-Datei gepiped. Der Import via osm2pgsql wurde anschließend nur dahingehend angepasst, dass er statt einer pbf-Datei die osm-Datei parst.

Übrigens: Ich überwache die betroffenen Gebiete und versuche fehlerhafte Edits zu verbessern und SPAM zu entfernen. Auch das zerstören der Grenzrelationen hilft nicht viel, da es eine Sicherheitsabfrage im Import gibt. Dies soll natürlich keine Aufforderung sein, jetzt den Datenimport zu manipulieren 😉 .

Die Importzeiten haben sich nun deutlich verkürzt. Da kurz vor dem Import nahezu Livedaten heruntergeladen werden und der Download via cronjob einmal täglich passiert, dürften die Stadtplan-Daten nicht viel älter als 24h sein. Eine deutliche Verbesserung!

label, , ,

Kommentar verfassen