Studium przypadku
Automatyzacja danych i generowanie leadów
Platformy danych i systemy ich pozyskiwania do generowania leadów B2B, wzbogacania, deduplikacji i raportowania.
300+ zadań • 11 uczestników
Wyzwanie
Systemy pozyskiwania danych musiały utrzymywać użyteczność 7 mln+ rekordów mimo zmian stron źródłowych, awarii proxy, migracji i synchronizacji z CRM.
Rezultat
Przetworzono 7 mln+ rekordów i 1 mln+ leadów B2B na rynek DACH.
Skład zespołu: 5 backend, 2 frontend, 2 UI/UX, 1 DevOps, 1 QA.
Mój wkład
Koordynowałem stabilność scraperów, poprawki jakości danych, migracje AWS/serwerów, aktualizacje baz danych, przekazania klientom i procesy raportowania.
Co wdrożono
- Potoki danych, które zebrały 7 mln+ rekordów i przetworzyły 1 mln+ leadów B2B
- Wzbogacanie i deduplikacja CRM z synchronizacją do Pipedrive
- Raportowanie w Looker Studio
- Ciągłość działania podczas migracji serwerów i wielokrotnych przekazań klientom
Technologie
- Python
- Django
- AWS
- nginx
- Docker
- SQL
- web scraping
- synchronizacja baz
- eksporty CSV
- Pipedrive
- Looker Studio