Кейс
Потоки данных о недвижимости и строительстве
Система сбора данных, поставляющая европейскому маркетплейсу финансирования недвижимости сведения о разрешениях на строительство и объектах из государственных реестров Балтии.
1 200+ часов • 115+ задач • 5 участников • 3 департамента
5+ лет непрерывной работы над продуктом (2019–2025)
Задача
Из-за частых изменений в государственных реестрах Балтии scraper fleet требовал постоянной поддержки, а не разовой разработки.
Результат
Обеспечивал работу потоков данных о разрешениях на строительство из трёх балтийских реестров с синхронизацией с CRM и системой продаж.
Состав команды: 4 бэкенд, 1 PM/BA.
Контекст продукта: государственные реестры разрешений на строительство 3 балтийских стран непрерывно собирались и синхронизировались с CRM и продажами клиента.
Мой вклад
Отвечал за весь цикл работы: скраперы реестров Эстонии, Латвии и Литвы, контейнеризацию scraper fleet, миграцию аккаунта AWS с документацией для передачи, синхронизацию с Pipedrive CRM, уведомления о завершении в Slack и постоянное повышение стабильности и качества данных.
Что было выпущено
- Скраперы трёх государственных реестров Балтии, работают с 2019 года
- Парк скраперов докеризован, затем перенесён на AWS с документацией
- Синхронизация с Pipedrive и уведомления в Slack
- Работа над качеством данных вопреки постоянным изменениям реестров
Стек
- Python
- Selenium
- Docker
- AWS
- SQL
- Pipedrive
- Slack API