Кейс
Автоматизация данных и лидогенерация
Платформы данных и scraper operations для B2B-лидогенерации, обогащения, дедупликации и отчётности.
300+ задач • 11 участников
Задача
Скраперы должны были удерживать 7 млн+ записей пригодными вопреки изменениям сайтов-источников, сбоям прокси, миграциям и синхронизации с CRM.
Результат
Обработано 7 млн+ записей и 1 млн+ B2B-лидов для рынка DACH.
Состав команды: 5 бэкенд, 2 фронтенд, 2 UI/UX, 1 DevOps, 1 QA.
Мой вклад
Координировал стабильность скраперов, исправления качества данных, миграции AWS/серверов, обновления баз данных, передачи клиентам и процессы отчётности.
Что было выпущено
- Потоки данных, собравшие 7 млн+ записей и обработавшие 1 млн+ B2B-лидов
- Обогащение и дедупликация CRM с синхронизацией в Pipedrive
- Отчётность в Looker Studio
- Пережили миграции серверов и неоднократные передачи клиентам
Стек
- Python
- Django
- AWS
- nginx
- Docker
- SQL
- вебскрапинг
- синхронизация БД
- CSV-экспорты
- Pipedrive
- Looker Studio