Ich werde wiederverwendbare Scrapy-Spider erstellen, um Daten abzurufen, die Sie benötigen

Daten nahezu aller öffentlichen Websites können bei Bedarf erfasst und verwendet werden. Dieser Vorgang gestaltet sich jedoch wesentlich schwieriger, wenn die Websitebesitzer nicht über eine Art API verfügen, um problemlos an saubere Daten zu gelangen.

Solche Probleme können durch Web Scraping gelöst werden. Das bedeutet, dass wir Code schreiben, der die Daten abruft, bereinigt, vorverarbeitet und sie möglicherweise irgendwohin sendet oder sie einfach in einer Datei oder Datenbank speichert.

In den letzten Jahren hatte ich Gelegenheit, zu ähnlichen Zwecken an vielen Websites zu arbeiten. Ich habe Dutzende Scrapy Spiders erstellt, einige repariert und sie sogar vollständig in beliebte, bestehende Website-Backends wie Django oder Flask integriert, mit der Möglichkeit, Daten nahezu in Echtzeit abzurufen.

Wenn Sie vor einem ähnlichen Problem/einer ähnlichen Aufgabe stehen, können Sie mich gerne kontaktieren. Vielleicht können wir den Web Scraping- Teil vollständig automatisieren und in Ihre vorhandenen Backend -Systeme integrieren oder unser eigenes System schreiben, um Ihre Arbeit einfacher , schneller und effizienter zu machen .