Das Wissensportal für IT-Professionals. Entdecke die Tiefe und Breite unseres IT-Contents in exklusiven Themenchannels und Magazinmarken.

SIGS DATACOM GmbH

Lindlaustraße 2c, 53842 Troisdorf

Tel: +49 (0)2241/2341-100

kundenservice@sigs-datacom.de

Die Evolution zu containerbasierten Datenplattformen

Ein Data Lake ist ein zentraler Datenspeicher für die Analyse von Daten. Im Gegensatz zum Enterprise Data Warehouse, dessen Hauptaspekt es ist, einen konsistenten Blick auf alle für ein Unternehmen relevanten Daten in einer für Analysen aufbereiteten Form zu bieten, liegt ein Schwerpunkt des Data Lake in der (historisierten) Speicherung aller Daten aus den Quellsystemen in ihrer ursprünglichen Form, erweitert um daraus abgeleitete für die Analyse optimierte Daten. Dies bedeutet, dass in einem Data Lake sowohl strukturierte als auch semistrukturierte und unstrukturierte Daten enthalten sind. Der traditionelle Ansatz, einen Data Lake aufzubauen, basiert auf der Hadoop-Technologie [Woo19].

Unter anderem durch den breiteren Einsatz von Künstlicher Intelligenz (KI) sind nun aber neue Herausforderungen an Data Lakes entstanden. Dies beinhaltet auch neue Ansätze zur Implementierung von Entwicklungsprozessen. So wurden – analog zu DevOps aus der Applikationswelt – Prozesse für eine datengetriebene Entwicklung (Machine Learning Operations, „MLOps“) geschaffen. Darüber hinaus wurde die Komplexität für das Betreiben von Hadoop-Clustern häufig unterschätzt. Zudem ergab sich die Notwendigk…