Studium przypadku
Potoki danych o nieruchomościach i budownictwie
System pozyskiwania danych przekazujący europejskiemu marketplace'owi finansowania nieruchomości informacje o pozwoleniach na budowę i obiektach z rejestrów państw bałtyckich.
1 200+ godzin • 115+ zadań • 5 uczestników • 3 działy
5+ lat ciągłej pracy nad produktem (2019–2025)
Wyzwanie
Ze względu na częste zmiany w rejestrach państw bałtyckich scraper fleet wymagał stałego utrzymania, a nie jednorazowego wdrożenia.
Rezultat
Utrzymywałem potoki danych o pozwoleniach na budowę z trzech rejestrów bałtyckich, synchronizowane z CRM i systemem sprzedaży.
Skład zespołu: 4 backend, 1 PM/BA.
Kontekst produktu: państwowe rejestry pozwoleń na budowę 3 krajów bałtyckich zbierane nieprzerwanie i synchronizowane z CRM i sprzedażą klienta.
Mój wkład
Odpowiadałem za cały proces: scrapery rejestrów Estonii, Łotwy i Litwy, konteneryzację scraper fleet, migrację konta AWS z dokumentacją przekazania, synchronizację z Pipedrive CRM, alerty ukończenia w Slacku oraz ciągłą poprawę stabilności i jakości danych.
Co wdrożono
- Scrapery trzech państwowych rejestrów bałtyckich, działają od 2019 roku
- Flota zdokeryzowana, następnie zmigrowana na AWS z dokumentacją
- Synchronizacja z Pipedrive i alerty w Slacku
- Praca nad jakością danych mimo stale zmieniających się rejestrów
Technologie
- Python
- Selenium
- Docker
- AWS
- SQL
- Pipedrive
- Slack API