Ich werde jede von Ihnen bereitgestellte Website löschen und die Excel-Datenverarbeitung durchführen

Ich bin professionell Softwareentwickler mit über 8 Jahren Erfahrung in der Web-App-Entwicklung und schreibe seit mehr als 4 Jahren Crawler zum Scrapen von Websites. Alle meine Scraper (Crawler) habe ich in PHP entwickelt. Für das Parsen und Extrahieren von HTML-Daten nutze ich einfache HTML DOM, PHP Dom Document, DOM-Parser, xpath usw. Die Datenverarbeitung umfasst Ausgaben in Form von json, xml und Excel-Tabellen. Ich verwende auch PHP-Bibliotheken wie curl mit Headern und Parametern, um Seiteninhalte abzurufen. Dabei setze ich Optimierungstechniken ein, um Aufrufe an Drittanbieter-Websites zu minimieren und die Funktionalität zu beschleunigen.

Das Schreiben von Scrappern basiert auf der Struktur der zu crawlen Websites. Die Struktur variiert von Seite zu Seite. Ich werde die Struktur der Website überprüfen.

Um die Datenmenge zu maximieren, wende ich XPATH, reguläre Ausdrücke und DOM-Techniken an, um genaue und möglichst viele Daten zu extrahieren. Das PHP-Skript wird automatisch über die Website ausgeführt. Dieses Skript ist in Bezug auf Zeit und Durchsatz optimal.