Digitaalisuus on joskus valtava määrä dataa! Näistä tiedoista on tullut toimintamme kieli. Saadaksemme heidät puhumaan, meidän on kerättävä ne, muotoiltava ne, analysoitava ne, vakiinnutettava ne, tallennettava ne, levitettävä niitä... Niin monet toiminnot on ryhmitelty niin sanottuun Big Dataan. Nykyään Hadoop on tärkein Big Data -alusta. Tätä ohjelmistokehystä ja sen eri komponentteja käytetään valtavien datamäärien tallentamiseen ja käsittelyyn monissa yrityksissä. Hadoop on avoimen lähdekoodin ohjelmistokehys tietojen tallentamiseen ja sovellusten käynnistämiseen tavallisissa koneklustereissa. Tämä ratkaisu tarjoaa massiivisen tallennustilan kaikentyyppiselle datalle, valtavan käsittelytehon ja kyvyn tukea lähes rajattomasti tehtäviä. Tämä kehys on osa Apache-projektia, jota tukee Apache Software Foundation. Alustavan T & K-työn jälkeen havaitsimme, että on olemassa kolme big big data -arkkitehtuuriperhettä: Datajärven arkkitehtuuri ”lambda” arkkitehtuuri Kappa tyyppi arkkitehtuuri... Jokainen näistä arkkitehtuureista vastaa tiettyihin liiketoiminnan käyttötapauksiin ja erilaisiin teknisiin lukkoihin. Soyhucen sisällä työskentelemme paljon ”datalake”-arkkitehtuurin parissa. Vastaamme suureen kysyntään reaaliaikaisista ongelmista, jotka ratkaisemme tekemällä kyselyjen optimointia ja käyttämällä ylimitoitettua infrastruktuuria. Jotta voimme hallita uusia teknologioita ja työmme hiilitaseen vaikutuksia, haluamme tutkia lambda-tyyppisiä arkkitehtuureja, jotka soveltuvat tämäntyyppiseen ongelmaan.