Datenverarbeitung

Die Datenaufbereitung bezieht sich auf eine Phase, die der Datenanalyse vorausgeht und umfasst die Datenerhebung sowie die vorläufige Vorbereitung. Obwohl es auch eine kurze Analyse beinhalten kann, liegt der Hauptfokus auf verschiedenen Methoden der Datenerhebung, die nicht aus deinem Unternehmen stammen.

Bei der Datenaufbereitung geht es darum, Daten systematisch oder in großen Mengen zu erfassen. Die Datenaufbereitung konzentriert sich auf Datenquellen und wie man schnell und ohne großen Aufwand an Daten kommt.

Da die Datenaufbereitung das Erfassen und Bereinigen von Daten beinhaltet, gibt es zwei primäre Situationen, in denen du diese Art von Dienstleistungen benötigst. 

Im ersten Fall hast du vielleicht keine der Daten, die du brauchst, um eine geschäftsbezogene Frage zu beantworten. Falls du zum Beispiel eine Marktanalyse planst, aber noch keine Mitbewerber- oder Preisdaten besitzt, benötigst du die Datenaufbereitung, um Marktdaten zu erfassen. 

Die zweite Situation ist, wenn du eine Menge roher, ungeordneter Daten hast, mit denen dein Datenanalyst nicht einfach arbeiten kann. Es kann sinnvoll sein, die vorläufige Datenaufbereitung auszulagern, wenn dies geschieht.

Zu den Dienstleistungen der Datenaufbereitung gehören in erster Linie das Erfassen von Daten durch Web-Scraping, Herunterladen, Abrufen über API oder durch das Abfragen einer Datenbank. Die Datenerfassung kann eine einmalige Aktivität oder auch zu den Routinearbeiten gehören. 

Der nächste wichtige Schritt ist die Datenbereinigung, einschließlich Formatierung, Arbeit mit Ausreißern und anderen Anomalien, Standardisierung und Normalisierung sowie andere Transformationen. 

Nach Abschluss der Datenaufbereitung und nach Absprache mit dem Verkäufer kannst du den Quellcode und die dazugehörige Dokumentation der Datenaufbereitungsverfahren erwerben, um sie später selbst zu nutzen.

Obwohl es keine Grenzen gibt, zeigt der Markt für Datenaufbereitungs-Dienstleistungen ein paar Tendenzen auf. Die meiste Zeit brauchst du Marketingdaten, wie z. B. Kontaktinformationen, Preise und Produktbewertungen. Börsennotierungen und Börsendaten bilden eine weitere große Gruppe von Daten, die typischerweise durch Datenaufbereitungs-Dienstleistungen erworben werden. Bei der letzten Art von Information geht es um Medien – z. B. Bloginhalte, Nachrichtenartikel und soziale Medien.

Du wirst feststellen, dass die meisten Daten, die bei der Datenaufbereitung involviert sind, öffentlich im Internet oder über offene Datenbanken verfügbar sind.

Die Datenerfassung kann manuell oder auch automatisiert erfolgen. Automatisierte Methoden nutzen Programmiersprachen, wie Python, Ruby, PHP, Java, Javascript, R und andere. Die gleichen Sprachen können für die Datenbereinigung, -formatierung und -modellierung verwendet werden. Alternativ gibt es mehrere Tools, die für die Datenaufbereitung verwendet werden können, angefangen von Excel-Sheets für Anfänger bis hin zu fortgeschrittenen Tools wie MATLAB.

In den meisten Fällen wirst du einen soliden Speicher für deine Daten benötigen: gute Optionen sind solche aus der AWS-Familie oder basierend auf der Apache-Technologie. Die endgültigen Ergebnisse werden normalerweise als Tabellenkalkulation in Excel, OpenOffice oder Google geliefert.