Ich baue Scraper, die auch nach der ersten Woche weiter funktionieren.
Jeder kann eine Requests-Schleife schreiben, die einmal funktioniert. Der zeitaufwendige Teil kommt danach: Die Site ändert ihr Markup, der Login läuft ab, eine Anfrage kommt 200 mit einem Captcha im Body zurück, Pagination endet still bei Seite 40.
Was ich dagegen tue:
- Die Antwort validieren, nicht nur den Statuscode. Ein 200 mit leerer Liste ist ein Fehler, kein Erfolg.
- Rohe Antworten vor dem Parsen speichern, damit du beim Fehler neu parsen kannst, ohne erneut zu scrapen.
- Backoff und Wiederholungen bei den Fehlversuchen, die es verdienen, und laut scheitern bei denjenigen, die keinen Sinn ergeben.
- Strukturierte Fehler, damit du weißt, ob es gebrochen ist oder die Seite down ist.
Ich habe einen Scrape von 100 Produkten in etwa 10 Sekunden von einer einzelnen Seite durchgeführt und ich habe Batch-Prosesser geschrieben, die ein Dutzend Dateien gleichzeitig verarbeiten, ohne die Originale zu verlieren.
Sende mir die URL und welche Felder du brauchst. Wenn die Site hinter einem Login liegt, sag mir Bescheid und wir klären den Zugriff, bevor wir ein Angebot machen.