Ich werde eine öffentliche Website in eine Excel- oder CSV-Datei scrapen
Datenbereinigung, Web-Scraping und Automatisierung
Über diesen Service
Sag mir, welche öffentliche Website und welche Felder du brauchst, und ich liefere sie als saubere XLSX- und CSV-Datei.
Jede Zeile behält ihre Quell-URL und die Zeit der Sammlung, damit du jeden Wert mit der Live-Seite vergleichen kannst. Ich entferne Duplikate, prüfe auf leere Felder und füge eine Zusammenfassungs-Registerkarte hinzu. Meine Skripte senden eine Anfrage nach der anderen mit Pausen, damit die Seite nie überlastet wird.
In meinem Beispiel habe ich 500 Produkte aus 44 Kategorien gesammelt, ohne Duplikate oder leere Felder. Es ist in meinem Portfolio.
Was ich nicht mache: Seiten hinter einem Login, persönliche Daten über Einzelpersonen (Namen mit E-Mails oder Telefonnummern) oder alles, was die Nutzungsbedingungen der Seite eindeutig verbieten. Schreib mir zuerst die URL, und ich sage dir ehrlich, ob es machbar ist und was es kostet. Ich arbeite auf Englisch und Französisch.
Technologie:
Python
•
Excel
•
Beautiful Soup
•
Dramatiker
•
Pandas
Technik:
Automatisiert
FAQ
Automatische Übersetzung
Ist Web Scraping legal?
Das Sammeln öffentlicher, nicht persönlicher Daten in einem höflichen Tempo ist in den meisten Ländern in Ordnung. Ich prüfe zuerst die Nutzungsbedingungen und die robots.txt der Seite, ich scrappe nie hinter einem Login und sammle keine persönlichen Daten über Einzelpersonen. Wenn eine Seite nicht zugänglich ist, sage ich dir das vor der Bezahlung.
Kannst du eine Seite scrappen, die einen Login oder ein Captcha benötigt?
Nein. Ich arbeite nur an Seiten, die jeder ohne Konto öffnen kann, und umgehe keine Captchas oder Anti-Bot-Wände. Wenn die Daten über eine offizielle API oder Export verfügbar sind, nutze ich diese und sage dir Bescheid.
Was ist, wenn einige Werte falsch oder fehlen?
Jede Zeile hat ihre Quell-URL, sodass du mir die genaue Seite zeigen kannst. Ich korrigiere die Extraktion und führe sie am selben Tag erneut aus. Unbegrenzte Überarbeitungen, bis die Datei mit der Seite übereinstimmt.

