Datenpipelines für Immobilien & Bau
Scraper-Betrieb, der einen europäischen Marktplatz für Immobilienfinanzierung mit Baugenehmigungs- und Immobiliendaten aus baltischen Staatsregistern versorgt.
1 200+ Stunden • 115+ Aufgaben • 5 Beteiligte • 3 Abteilungen
5+ Jahre kontinuierliche Umsetzung (2019–2025)
Herausforderung
Die baltischen Staatsregister ändern sich so oft, dass die Scraper-Flotte laufenden Betrieb brauchte statt eines einmaligen Aufbaus.
Ergebnis
Pipelines für Baugenehmigungen aus drei baltischen Registern betrieben, synchronisiert mit CRM und Vertriebsabläufen.
Mein Beitrag
Verantwortete den Betrieb durchgängig: Scraper für die Register in Estland, Lettland und Litauen, Docker-Umstellung der Flotte, Migration des AWS-Kontos mit Übergabedokumentation, Pipedrive-CRM-Synchronisierung, Slack-Meldungen bei Abschluss sowie laufende Arbeit an Stabilität und Datenqualität.
Was ausgeliefert wurde
- Scraper für drei baltische Staatsregister, im Einsatz seit 2019
- Flotte auf Docker umgestellt, dann mit Übergabedokumentation zu AWS migriert
- Pipedrive-Synchronisierung und Slack-Meldungen
- Arbeit an der Datenqualität trotz sich ständig ändernder Register
Projektteam
Team: 4 Backend, 1 PM/BA.
Unternehmens- & Produktkontext
staatliche Baugenehmigungsregister von 3 baltischen Ländern, kontinuierlich erfasst und in CRM und Vertriebsabläufe des Kunden synchronisiert.
Technologien
- Python
- Selenium
- Docker
- AWS
- SQL
- Pipedrive
- Slack API