Digital ist manchmal ein riesiges Datenvolumen! Und diese Daten sind zur Sprache unserer Aktivitäten geworden. Um sie zum Sprechen zu bringen, müssen wir sie sammeln, formatieren, analysieren, konsolidieren, speichern, verbreiten... Es gibt so viele Operationen, die in sogenannten Big Data zusammengefasst werden. Heute ist Hadoop die führende Plattform für Big Data. Dieses Software-Framework, das für die Speicherung und Verarbeitung großer Datenmengen verwendet wird, wird von vielen Unternehmen für ihre Big Data-Projekte verwendet. Hadoop ist ein Open-Source-Software-Framework zum Speichern von Daten und zum Starten von Anwendungen auf Standard-Maschinenclustern. Diese Lösung bietet massiven Speicherplatz für alle Arten von Daten, enorme Rechenleistung und die Möglichkeit, eine nahezu unbegrenzte Menge an Aufgaben zu übernehmen. Das auf Java basierende Framework ist Teil des Apache-Projekts, das von der Apache Software Foundation gesponsert wird. Nach den ersten Forschungs- und Entwicklungsarbeiten konnten wir feststellen, dass es drei große Big-Data-Architekturfamilien gibt: Architektur Typ „Data Lake“ Architektur Typ „Lambda“ Architektur Typ Kappa... Jede dieser Architekturen entspricht präzisen Anwendungsfällen und unterschiedlichen technologischen Sperren. Bei Soyhuce arbeiten wir viel an Architekturthemen wie „datalake“. Wir stoßen auf eine starke Nachfrage nach Echtzeitproblemen, die wir durch die Optimierung von Abfragen und die Nutzung von überdimensionalen Infrastrukturen lösen. Mit dem Ziel, die neuen Technologien und die Auswirkungen der CO2-Bilanz unserer Arbeit zu beherrschen, möchten wir lambda-ähnliche Architekturen untersuchen, die für diese Art von Problemen geeignet sind.