Digitalni su ponekad velike količine podataka! I ti su podaci postali jezik naših aktivnosti. Da bismo ih natjerali da govore, moramo ih prikupiti, oblikovati, analizirati, konsolidirati, pohraniti, širiti ih... Toliko je operacija grupirano u ono što se zove Big Data. Danas je Hadoop glavna platforma velikih podataka. Koristi se za pohranu i obradu velikih količina podataka, ovaj softverski okvir i njegove različite komponente koriste mnoge tvrtke za svoje projekte velikih podataka. Hadoop je softverski okvir otvorenog koda za pohranu podataka i pokretanje aplikacija na standardnim strojnim klasterima. Ovo rješenje nudi ogroman prostor za pohranu svih vrsta podataka, ogromnu snagu obrade i mogućnost podržavanja gotovo neograničene količine zadataka. Na temelju Jave, ovaj je okvir dio projekta Apache, kojeg sponzorira Apache Software Foundation. Nakon početnog istraživanja i razvoja utvrdili smo da postoje tri velike obitelji arhitekture velikih podataka: Arhitektura podatkovnog jezera „lambda” arhitektura Kappa tipa arhitektura... Svaka od tih arhitektura odgovara na specifične slučajeve poslovne upotrebe i različite tehnološke brave. Unutar Soyhucea puno radimo na temama „datalake” arhitekture. Zadovoljavamo veliku potražnju oko pitanja u stvarnom vremenu, koje rješavamo optimizacijom upita i korištenjem prevelike infrastrukture. S ciljem savladavanja novih tehnologija, kao i utjecaja ugljične ravnoteže našeg rada, želimo proučiti lambda-tip arhitekture koje su prilagođene ovoj vrsti problema.
