Ich führe Web Scraping und Datenextraktion von javascript-lastigen Seiten durch
Python Data Engineer: Web Scraping, ETL Pipelines und Data Enrichment
Level 1
Hat bestimmte Leistungskriterien erfüllt und zeigt großes Potenzial auf dem Marktplatz.
Was andere an diesem Freelancer lieben
hardytryer

Serbien
Excellent experience once again! The quality of the work was great, the data matched our requirements, and communication was smooth throughout the project....
hardytryer

Serbien
Great work! The data was accurate, well organized, and exactly what we needed. Communication was clear throughout the project, and despite the challenges, they...
hadleylyas923

Großbritannien
Really great to work with, made the process easy and was quick to respond and make any changes. Would definitely work with again
Über diesen Service
Die meisten Scraping-Aufträge, die mich erreichen, beginnen immer gleich. Ein fertiges Tool stößt an Grenzen, oder der letzte Freelancer hat eine Datei geliefert, die noch manuell gereinigt werden musste. Ich entwickle Web-Scraper für die Seiten, die sich wehren.
Was ich erledige
- JavaScript-Rendering, unendliches Scrollen, Paginierung, Logins
- Rate-Limits, IP-Blocks und Anti-Bot-Schutzmaßnahmen, mit Proxies und verlangsamten Anfragen
- Marktplätze, Verzeichnisse, Immobilienportale, Jobbörsen, öffentliche Register
- Skalierung: Über 600.000 Immobilienparzellen auf einer einzigen Aufgabe gescraped und strukturiert
Was bei dir im Postfach landet
- CSV, Excel, JSON oder direkt in deine Datenbank geschrieben
- Duplikatfrei und typisiert, nach einem Spaltenschema, das wir vor Beginn abstimmen
- Kurze Erklärung, wie es gebaut wurde, damit der Ablauf wiederholt werden kann
- Zeilenzahl, plus alle Felder, die die Quelle nicht enthält
Was ich von dir brauche
- Eine URL der Seite, die die Daten bereits zeigt
- Die Felder, die du möchtest, in der Reihenfolge, wie du sie brauchst
- Ungefähr wie viele Datensätze, und ob das einmalig ist
Einige Quellen sind keine gute Idee, und ich sage das lieber, als den Auftrag anzunehmen. Schick mir den Link und die Felder. Ich sage dir, ob es machbar ist, was es kostet und wo das Risiko liegt.
Technologie:
Python
•
Selen
•
Beautiful Soup
•
Octoparse
•
Dramatiker
Technik:
Automatisiert
Mein Portfolio
FAQ
Automatische Übersetzung
Ist das legal?
Ich scrape öffentliche Seiten, die jeder ohne Konto öffnen kann. Keine Umgehung von Paywalls und keine Logins, es sei denn, du besitzt das Konto und autorisierst es schriftlich. Ich lese die Quelle und ihre Bedingungen, bevor ich zitiere, und habe deshalb Aufträge abgelehnt.
Was, wenn die Seite den Scraper blockiert?
Das ist der Großteil meiner Arbeit. Rotierende Proxys, echte Browser-Sitzungen in Playwright, menschlich getaktetes Timing, Sitzungs- und Cookie-Handling. Bei starker Schutzmaßnahmen kostet es mehr Zeit, anstatt eine andere Antwort zu bekommen. Schick mir die URL und ich sage dir, welche Stufe nötig ist.
In welchem Format erhalte ich die Daten?
Standardmäßig CSV, weil es überall geöffnet wird. Auf Wunsch auch Excel, JSON, ein Google Sheet oder direktes Schreiben in PostgreSQL, MySQL oder BigQuery. Spaltennamen und Datentypen werden vor Beginn abgestimmt, damit du nach der Lieferung keine Header umbenennen musst.
Kannst du Amazon, Shopify oder andere Online-Shops scrapen?
Ja. Titel, Preis, Rabatt, SKU, Varianten, Lagerbestand, Verkäufer, Bewertungen und Rezensionstexte. Ich habe Millionen von Marketplace-Listings auf TikTok Shop, Kaufland, bol.com, La Redoute und B&Q gezogen. Store-Kataloge werden nach Produktzahl und nicht nach Store abgerechnet.
Kann das auch nach einem Zeitplan laufen, statt nur einmal?
Ja, aber eine wiederkehrende Erstellung gehört eher zu meinem scraper build Gig als zu diesem hier. Dieser Gig liefert dir einen Datensatz. Wenn du denselben Datensatz täglich oder wöchentlich automatisch abrufen möchtest, schreib mir eine Nachricht und ich schicke dir den passenden Link.
Was passiert, wenn sich die Website ändert und es dadurch kaputt geht?
Bei einmaligem Abruf ist das egal, du hast die Datei ja schon. Für wiederkehrende Aufgaben schreibe ich Selector, die eine Layout-Änderung überleben, und füge eine Prüfung hinzu, die dich warnt, wenn ein Feld wieder leer wird. Stillstand beim Breakage ist der Fehler, gegen den man am besten absichert.
Wie viele Datensätze kannst du bearbeiten?
Komfortabel bei sechsstelligen Beträgen. Der einzelne Auftrag waren über 600.000 Grundstücksparzellen aus einem County-Records-System: gescraped, strukturiert und dann auf den Teil gefiltert, den der Kunde wirklich brauchte. Bei etwa 50.000 Datensätzen oder mehr mache ich ein individuelles Angebot.
Wie lange dauert es?
Zwei Tage für eine einfache Quelle in Basic-Größe. Fünf Tage, wenn es Paginierung und Reinigung bei mehreren tausend Datensätzen gibt. Sieben Tage bei einer JavaScript-lastigen oder geschützten Seite in großem Volumen. Ich gebe dir das Datum vor der Bestellung an und mache keine optimistischen Angebote.
Bekomme ich den Code oder nur die Daten?
Dieser Gig liefert die Daten plus eine Notiz, wie sie gesammelt wurden, damit der Abruf wiederholt werden kann. Wenn du den Scraper selbst möchtest, mit Quellcode, den du besitzt und erneut ausführen kannst, ist das der build Gig. Sag mir vor der Bestellung Bescheid, dann verweise ich dich darauf.
Kannst du Kontaktdaten der Firmen in der Liste finden?
Ja, als Zusatzleistung. Geschäftliche E-Mail, Telefon, Webseite und Entscheidungsträger-Namen, soweit öffentlich verfügbar. Die Abdeckung variiert stark nach Branche, und ich sage dir, was realistisch ist, bevor du bestellst, nicht danach. Sag, welche Felder wichtig sind, dann kalkuliere ich das ein.
19 Bewertungen für diesen Service
| (16) | ||
| (1) | ||
| (0) | ||
| (0) | ||
| (2) |
Zusammensetzung der Bewertung
- Kommunikation
- Qualität der Lieferung
- Preis-Leistungs-Verhältnis der Lieferung
Sortieren nach:
H hardytryer

Serbien
Excellent experience once again! The quality of the work was great, the data matched our requirements, and communication was smooth throughout the project. Thank you for your professionalism and dedication. Looking forward to working together again in the future.
50 $-100 $
Preis
3 Tagen
Dauer
Hilfreich?H hardytryer

Serbien
Great work! The data was accurate, well organized, and exactly what we needed. Communication was clear throughout the project, and despite the challenges, they stayed committed and delivered. I would definitely recommend working with them again.
100 $-200 $
Preis
2 Wochen
Dauer
Hilfreich?H hadleylyas923

Großbritannien
Really great to work with, made the process easy and was quick to respond and make any changes. Would definitely work with again
50 $-100 $
Preis
7 Tagen
Dauer
Hilfreich?C 
craigjburton44

Vereinigte Staaten
Auftrag abgebrochen
I feel the communication was good at first and a bit throughout but I was more than patient and waiting days on end for delivery. I applaud that he was trying to help think of a better way to do what I needed but he kept telling me it would be delivered "today" and nothing was ever delivered. I still...
50 $
Preis
5 Wochen
Dauer
Hilfreich?H hugomendonca92

Portugal
great work. thanks
50 $-100 $
Preis
2 Wochen
Dauer
Hilfreich?
19 Bewertungen für diesen Service
| (16) | ||
| (1) | ||
| (0) | ||
| (0) | ||
| (2) |
Zusammensetzung der Bewertung
- Kommunikation
- Qualität der Lieferung
- Preis-Leistungs-Verhältnis der Lieferung
Sortieren nach:
H hardytryer

Serbien
Excellent experience once again! The quality of the work was great, the data matched our requirements, and communication was smooth throughout the project. Thank you for your professionalism and dedication. Looking forward to working together again in the future.
50 $-100 $
Preis
3 Tagen
Dauer
Hilfreich?H hardytryer

Serbien
Great work! The data was accurate, well organized, and exactly what we needed. Communication was clear throughout the project, and despite the challenges, they stayed committed and delivered. I would definitely recommend working with them again.
100 $-200 $
Preis
2 Wochen
Dauer
Hilfreich?H hadleylyas923

Großbritannien
Really great to work with, made the process easy and was quick to respond and make any changes. Would definitely work with again
50 $-100 $
Preis
7 Tagen
Dauer
Hilfreich?C 
craigjburton44

Vereinigte Staaten
Auftrag abgebrochen
I feel the communication was good at first and a bit throughout but I was more than patient and waiting days on end for delivery. I applaud that he was trying to help think of a better way to do what I needed but he kept telling me it would be delivered "today" and nothing was ever delivered. I still...
50 $
Preis
5 Wochen
Dauer
Hilfreich?H hugomendonca92

Portugal
great work. thanks
50 $-100 $
Preis
2 Wochen
Dauer
Hilfreich?

