Massenverarbeitung in Java – der Einstieg
Wenn wir größere Mengen von Daten verarbeiten wollen, werden oft komplexere Systeme herangezogen, wie zum Beispiel Apache Spark mit Databricks, Apache Flink oder Snowflake. Aber wie wir in der Vergangenheit schon öfter diskutiert haben, kann mit effizienter Programmierung und den richtigen Werkzeugen das auch in einem lokalen Java-Programm erfolgen.
Am Anfang des Jahres hatte Gunnar Morling die Idee, einen Wettbewerb zu starten, bei dem es darum geht, eine Milliarde Zeilen mit Temperaturdaten von Städten zu verarbeiten, die „One Billion Row Challenge“ [1BRC].
Abb. 1: Die Herausforderung
Dabei sollte für jede Stadt die minimale, maximale und durchschnittliche Temperatur berechnet werden.
Der Wettbewerb lief während des Monats Januar und es gab…