Кейс
Потоки даних про нерухомість і будівництво
Система збору даних, що постачає європейському маркетплейсу фінансування нерухомості відомості про дозволи на будівництво й об'єкти з державних реєстрів Балтії.
1 200+ годин • 115+ завдань • 5 учасників • 3 департаменти
5+ років безперервної роботи над продуктом (2019–2025)
Завдання
Через часті зміни в балтійських державних реєстрах scraper fleet потребував постійної підтримки, а не одноразової розробки.
Результат
Забезпечував роботу потоків даних про дозволи на будівництво з трьох балтійських реєстрів із синхронізацією з CRM і системою продажів.
Склад команди: 4 бекенд, 1 PM/BA.
Контекст продукту: державні реєстри дозволів на будівництво 3 балтійських країн безперервно збиралися та синхронізувалися з CRM і продажами клієнта.
Мій внесок
Відповідав за весь цикл роботи: скрапери реєстрів Естонії, Латвії та Литви, контейнеризацію scraper fleet, міграцію акаунта AWS із документацією для передачі, синхронізацію з Pipedrive CRM, сповіщення про завершення в Slack і постійне підвищення стабільності та якості даних.
Що випущено
- Скрапери трьох державних реєстрів Балтії, працюють з 2019 року
- Парк скраперів докеризовано, потім перенесено на AWS з документацією
- Синхронізація з Pipedrive та сповіщення у Slack
- Робота над якістю даних попри постійні зміни реєстрів
Стек
- Python
- Selenium
- Docker
- AWS
- SQL
- Pipedrive
- Slack API