Nutzen Sie unsere kostenlose Open Source Lösung simple data migration
In nahezu jedem Unternehmen ist ein ERP-System oder Warenwirtschaftssystem im Einsatz. Bekanntlich gelten „Daten als das neue Öl“ und in den ERP-Systemen schlummert davon jede Menge. Selten bieten diese Systeme jedoch die Auswertungs- oder Analysemöglichkeit, die Sie sich als Unternehmer wünschen oder die mit den vorhandenen Rohdaten möglich wären.
Wenn das ERP-System diese Möglichkeiten selbst nicht bereitstellt, dann kommt der cm&p-Lösungsansatz ins Spiel: Mit den von uns entwickelten „Monitorings“ greifen wir auf den Datenbestand Ihres ERP-Systems zu. Gemeinsam mit Ihnen entwickeln wir individuelle Reports, bauen diese auf und – auf Wunsch – betreiben sie danach auch dauerhaft als „Monitoring“ für Ihr Unternehmen. Alles was wir dafür benötigen, ist ein direkter Zugang zu Ihrem ERP-System. Genau hier setzt unsere Vorgehensweise der „simple data migration“ an …
1. Grundlage: Warum Microsoft Power BI?
Falls Sie noch keine Berührungspunkte mit Power BI hatten, empfehlen wir Ihnen für eine kurze Vorstellung des Tools zunächst einen Blick auf unsere Systemlandschaftskarte.
PowerBI punktet durch seine größtmögliche Sicherheit, dem ausgeklügelten Berechtigungssystem. Es ist, wie Excel oder Outlook, ein mittlerweile sehr verbreitetes Programm, welches durch eine benutzerfreundliche Oberfläche für Endnutzer gut bedienbar und verständlich ist. Außerdem lässt es sich problemlos in die eigene Microsoft Welt als zusätzlichen Baustein integrieren.
Für uns als Entwickler ist Power Bi eine gut administrierbare Technik, die die Anforderungen unserer Kunden gut lösen kann. Als Microsoft Silver Partner mit zusätzlicher Zertifizierung in der Kompetenz Data Analytics werden wir auch zukünftig unsere Power Bi Lösungen weiter ausbauen.
2. Wie kommen Ihre ERP-Daten in die Power BI Datenbank?
Die Grundlage für jeden Power BI Report und jedes Datenanalyseprojekt sind gute und aktuelle Daten. Um ein aussagekräftiges Dashboard zu erstellen, welches den Verantwortlichen dabei helfen kann, Daten-basierte und damit „richtigere“ Geschäftsentscheidungen zu treffen, müssen wir auf saubere, strukturierte und aktuelle Daten zugreifen können. Um die Sicherheit Ihrer Daten zu gewährleisten, benötigen wir außerdem eine einfache Methode, um die Daten von Ihrem ERP-System auf unseren Berichtsserver (Microsoft Cloud) zu übertragen.
Diese grundlegenden Anforderungen klingen zunächst einfach, sind aber in der Praxis selten problemlos. Viele unserer Kunden verwenden ein ERP-System, welches auf einem lokalen Computer installiert ist, und es existiert keine direkte Möglichkeit, eine externe Verbindung zu der Datenbank herzustellen, in der die Daten gespeichert sind. Zwar gibt es Möglichkeiten des Datenexports, doch werden diese in der Regel in Form von Excel oder csv-Dateien durchgeführt, die uns dann unverschlüsselt per E-Mail zugesandt werden und die wir dann manuell in unsere Datenbank importieren müssen.
Nutzt ein Kunde Systeme verschiedener Anbieter, können die Daten sogar in unterschiedlichen Datenbankstrukturen gespeichert sein, was das Abrufen der Daten sehr langsam macht, insbesondere wenn jede Datenquelle einen eigenen Datenkonnektor erfordert.
Um diese Probleme zu lösen, haben wir das Skript „simple data migration“ entwickelt, das die Datengrundlage eines einheitlichen BI-Berichts mit Daten aus verschiedenen Systemen schafft.
3. Wie funktioniert „simple data migration“?
Für die Technik-orientierten Leser erfolgt jetzt ein kurzer Exkurs in die Welt der Datenbank-Technologie. Alle anderen dürfen diesen Punkt gerne überspringen.
Die Technologie, die der einfachen Datenmigration zugrunde liegt, ist die Programmiersprache Python. Hinter Python steckt eine große Community an Entwicklern und Daten-Ingenieuren die laufend an der Weiterentwicklung arbeiten. Mit den daraus entstandenen Entwicklungen ist Python in der Lage, Daten aus den unterschiedlichsten Datenquellen zu lesen und große Mengen an Daten effizient und schnell zu verarbeiten.
1. Daten-Konnektoren
In unserem nachfolgenden Beispiel haben wir die SQL-Datenkonnektoren verwendet, um Daten aus zwei verschiedenen Datenbanktechnologien zu lesen und zu schreiben. Es existiert eine riesige freizugängliche Bibliothek von Datenkonnektoren in Python, je nach Anforderung des Benutzers.
2. Daten-Abfrage
In dem Beispielskript haben wir eine Abfrage programmiert, um alle Daten aus einer Tabelle zu lesen. Diese Abfrage kann beliebig modifiziert werden, oder sogar komplett ausgetauscht werden, um Daten abzufragen, die nicht von SQL stammen, wie z.B. durch Web APIs.
3. Daten-Verarbeitung
Wir verwenden die Python Bibliothek „Pandas“ als Grundlage für unser Skript. Diese kann eine Vielzahl von Datenformaten in eine strukturierte Datentabelle umwandeln und verfügt über eine große Sammlung von Tools, mit denen Daten schnell bereinigt und transformiert werden können.
Wir haben das Skript für die „simple data migration“ als Open Source zur Verfügung gestellt, so dass es jeder für sein eigenes Datenanalyseprojekt verwenden oder anpassen kann. Hier kommen Sie zum Skript: https://github.com/codeblooded47/simple-database-migration
4. Wie können Sie „simple data migration“ anwenden?
Mit ein paar einfachen Anpassungen kann das „simple data migration“-Skript für eine Vielzahl von Benutzern und Zwecken angepasst werden.
1. Datenexport-Funktion
Die benutzerfreundlichste Methode, BI-Programme sicher mit Daten aus Systemen wie ERP/CRM-Systemen zu verbinden, ist eine Datenexportfunktion, welche die für den Bericht benötigten Daten in eine sichere Datenbank schreiben kann. Die Datenmigration vereinfacht die erforderliche Programmierung enorm, so dass ein Entwickler das Skript nur noch mit der benötigten Datenabfrage versorgen und einen Auslöser für das Skript programmieren muss.
2. Zugriff auf sonst unzugängliche Daten
Datenanalysten benötigen einen zuverlässigen Weg, um auf Qualitätsdaten zuzugreifen, ohne manuell endlose Excel-Listen verarbeiten zu müssen. Mit der Datenmigration kann ein Analyst das Skript mit dem erforderlichen Konnektor und der Abfrage auf dem Computer des Kunden installieren, und die Daten werden regelmäßig, z.B. nächtlich mit der eigenen Berichtsdatenbank des Analysten synchronisiert.
3. Aufbau einer benutzerdefinierten Reporting-Datenbank
Als weitere Anwendung des „simple data migration“ kann das Skript so modifiziert werden, dass Daten aus verschiedenen Systemen wie Controlling, Marketing, Websites usw. in eine einzige Datenbank gezogen werden. Auf diese Weise kann ein Datenanalyst schnell Einblicke in die Leistung eines Unternehmens gewinnen, ohne einzeln auf die Daten aus den verschiedenen Systemen zugreifen zu müssen.
Obwohl das Skript an sich sehr „einfach“ ist, glauben wir, dass es Entwicklern, Analytikern und Endkunden helfen kann, auf die Daten zuzugreifen, die sie für den Aufbau einer aussagekräftigen Berichtslösung benötigen. Sofern Sie eigene Ressourcen dafür haben, wünschen wir Ihnen viel Erfolg bei der Umsetzung Ihrer internen Berichtslösung. Für alle anderen haben wir selbstverständlich eine cm&p-Lösung parat.
5. Aufbau Ihrer individuellen Monitoring-Lösung mit cm&p
Klassischerweise startet jedes unserer Projekte mit einem Griff zum Hörer: Rufen Sie uns an und schildern uns ihre Herausforderung oder schreiben uns eine E-Mail. Wenn wir der Auffassung sind, dass wir Ihr Problem lösen können, dann vereinbaren wir einen Phase-Alpha-Workshop. In einem ca. 3-stündigen Online-Workshop erarbeiten wir detailliert Ihre Ziel-Vorstellung, beschreiben die dafür notwendigen technischen Voraussetzungen und entwerfen erste Ideen für Ihre Lösung.
Sofern wir für Ihre Anforderung in anderen Projekten bereits Standards entwickelt haben, zeigen wir Ihnen diese als Best-Practice. Auf dieser Basis erhalten Sie ein vertieftes Verständnis darüber, wie Ihr individuelles Monitoring künftig aussehen kann. Und wir sind in der Lage ein konkretes Angebot für ihre Bedürfnisse zu stellen.
Danach geht es genauso pragmatisch und agil weiter, wie wir gestartet sind: In definierten Sprints bauen wir Ihr Monitoring auf, stimmen den aktuellen Stand regelmäßig mit Ihnen ab, holen Ihr Feedback ein und integrieren dieses bis zur Fertigstellung einer Test-Lösung. Üblicherweise dauert das 6-8 Wochen. Nach der sich anschließenden 14-tägigen Testphase in Ihrem Unternehmen wird der Monitor final bereitgestellt – auf von Ihnen administrierten Servern oder als von uns betriebene Monitoring-Lösung mit individuellen Zusatz-Leistungen.
Interessiert? Dann freuen wir uns über Ihre Kontaktaufnahme über unser Kontaktformular oder unter der 069 15043528-0 an.