Ich baue einen zuverlässigen Web Scraper mit Playwright und Nodejs oder Typescript

Die meisten Scraper funktionieren am ersten Tag und sterben beim ersten Layout-Änderung der Website. Ich baue die Art, die dauerhaft läuft.

Ich arbeite mit Playwright und Node oder TypeScript, sodass Logins, unendliches Scrollen, Popups und alle üblichen JavaScript-Extravaganzen abgedeckt sind. Daten werden sauber im JSON-, CSV-, Google Sheets-Format oder direkt in eine Datenbank ausgegeben. Für wiederkehrende Jobs füge ich Planung, Wiederholungen und Änderungsüberwachung hinzu, damit du weißt, was neu ist, was sich geändert hat und was seit dem letzten Lauf verschwunden ist – anstatt jedes Mal einen Roh-Dump zu bekommen und manuell zu vergleichen.

Ich betreibe diese Art von Pipeline für meine eigenen Projekte in der Produktion, es ist nichts, was ich auf deine Kosten herausfinde.

Eine Sache vor deiner Nachricht. Ich scrape nur öffentlich zugängliche Daten und halte die Request-Raten höflich. Kein Umgehen von Paywalls, kein Scraping hinter einem Login von jemand anderem.

Sag mir die Website, die Felder, die du brauchst, und wie oft, und ich sage dir schnell, ob es machbar ist und wie viel es kostet.