Datenautomatisierung & Lead-Gen-Systeme
Datenplattformen und Scraper-Betrieb für B2B-Leadgenerierung, Anreicherung, Deduplizierung und Reporting.
300+ Aufgaben • 11 Beteiligte
Herausforderung
Die Scraper mussten 7M+ Datensätze trotz Änderungen an Zielseiten, Proxy-Ausfällen, Migrationen und CRM-Synchronisierungen nutzbar halten.
Ergebnis
7M+ Datensätze und 1M+ B2B-Leads für den DACH-Markt verarbeitet.
Mein Beitrag
Koordinierte Scraper-Stabilität und Korrekturen der Datenqualität über AWS-/Servermigrationen, Datenbank-Updates und CRM-Anreicherung hinweg. Steuerte Übergaben an den Kunden und das Reporting für die Erfassungs- und Synchronisierungsabläufe.
Was ausgeliefert wurde
- Pipelines, die 7M+ Datensätze erfassten und 1M+ B2B-Leads verarbeiteten
- CRM-Anreicherung und Deduplizierung, synchronisiert mit Pipedrive
- Reporting in Looker Studio
- Servermigrationen und wiederholte Übergaben an den Kunden überstanden
- Betrieb von Quellkonten und Sperrlisten, damit die Flotte Änderungen an Websites und Zugängen überstand
Projektteam
Team: 5 Backend, 2 Frontend, 2 UI/UX, 1 DevOps, 1 QA.
Technologien
- Python
- Django
- AWS
- nginx
- Docker
- SQL
- Web-Scraping
- Datenbanksynchronisierung
- CSV-Exporte
- Pipedrive
- Looker Studio