Автоматизація даних і лідогенерація
Платформи даних і системи вебскрапінгу для B2B-лідогенерації, збагачення, дедуплікації та звітності.
300+ завдань • 11 учасників
Завдання
Скрапери мали утримувати 7 млн+ записів придатними попри зміни сайтів-джерел, збої проксі, міграції та синхронізацію з CRM.
Результат
Оброблено 7 млн+ записів і 1 млн+ B2B-лідів для ринку DACH.
Мій внесок
Координував стабільність скраперів і виправлення якості даних під час міграцій AWS/серверів, оновлення баз і збагачення CRM. Керував передачею клієнту та звітністю, підтримуючи роботу збору й синхронізації даних.
Що випущено
- Потоки даних, що зібрали 7 млн+ записів і обробили 1 млн+ B2B-лідів
- Збагачення й дедуплікація CRM із синхронізацією до Pipedrive
- Звітність у Looker Studio
- Пережили міграції серверів і неодноразові передачі клієнтам
- Операції з акаунтами джерел і блоклістами, щоб флот переживав зміни сайтів і доступів
Команда реалізації
Склад команди: 5 бекенд, 2 фронтенд, 2 UI/UX, 1 DevOps, 1 QA.
Стек
- Python
- Django
- AWS
- nginx
- Docker
- SQL
- вебскрапінг
- синхронізація БД
- CSV-експорти
- Pipedrive
- Looker Studio