Preisvergleichsportal mit Web-Scraping

Ich stelle das komplette UI-Design sowie alle notwendigen Datenfelder bereit und suche nun Unterstützung beim technischen Teil. Konkret soll ein Preisvergleichsportal entstehen, das Preise und Produktdetails von rund zehn Ziel-Webseiten automatisch abruft, zusammenführt und übersichtlich sortiert.

Was bereits vorhanden ist
• Fertige Layout-Mock-ups (Desktop + Mobile)
• Liste der zu scrapenden Shops inkl. gewünschter Datenpunkte
• Grundlogik für Sortierung und Filter, als Pseudocode dokumentiert

Deine Aufgabe
• Entwickle ein robustes Web-Scraping-Script (bevorzugt Python + BeautifulSoup / Scrapy oder vergleichbare Tools).
• Extrahiere Preis, Verfügbarkeit, Produktname und ggf. Versandkosten.
• Speichere die Daten strukturiert (z. B. MySQL, PostgreSQL oder JSON → du kannst die passende Lösung vorschlagen).
• Stelle eine API oder ein leicht einzubindendes Daten-Endpoint bereit, damit ich das Front-End problemlos anbinden kann.
• Implementiere ein Update-Intervall (cron-Job oder Scheduler), damit Preise täglich aktualisiert werden.
• Baue einfache Fehler-Logs und Duplicate-Checks ein, um Datenqualität sicherzustellen.

Akzeptanzkriterien
1. Alle zehn Shops werden ohne manuelle Nacharbeit ausgelesen.
2. Antwortzeit des Endpoints bleibt < 1 s bei 100 Produkten.
3. Scraper bricht bei Layout-Änderungen nicht komplett ab, sondern loggt betroffene Felder.
4. Setup-Anleitung lässt sich in einer frischen Umgebung in < 30 Minuten ausführen.

Wenn du Erfahrung mit Anti-Bot-Umgehung (Captchas, Rate Limits) und skalierbaren Scraping-Architekturen hast, erwähne das bitte kurz.
Ich freue mich auf deine technische Einschätzung und einen groben Fahrplan für die Umsetzung.