Skaitmeniniai duomenys kartais yra milžiniški duomenų kiekiai! Šie duomenys tapo mūsų veiklos kalba. Kad jie kalbėtų, turime juos rinkti, formatuoti, analizuoti, konsoliduoti, saugoti, skleisti... Tiek daug operacijų sugrupuotos į tai, kas vadinama didžiaisiais duomenimis. Šiandien „Hadoop“ yra pagrindinė didžiųjų duomenų platforma. Naudojama didelių duomenų kiekių saugojimui ir apdorojimui, ši programinės įrangos sistema ir įvairūs jos komponentai yra naudojami daugelio įmonių didelių duomenų projektams. „Hadoop“ yra atviro kodo programinės įrangos sistema, skirta duomenims saugoti ir taikyti standartinėse mašinų grupėse. Šis sprendimas suteikia didžiulę saugojimo vietą visų tipų duomenims, milžinišką apdorojimo galią ir gebėjimą palaikyti beveik neribotą užduočių kiekį. Remiantis Java, ši sistema yra „Apache“ projekto, kurį remia „Apache Software Foundation“, dalis. Po pradinių mokslinių tyrimų ir technologinės plėtros darbų nustatėme, kad egzistuoja trys didelės didžiųjų duomenų architektūros šeimos: Duomenų ežero architektūra „lambda“ architektūra Kappa tipo architektūra... Kiekviena iš šių architektūrų reaguoja į konkrečius verslo naudojimo atvejus ir skirtingus technologinius užraktus. Soyhuce mes daug dirbame „datalake“ architektūros temomis. Mes patenkiname didelę paklausą, susijusią su realaus laiko problemomis, kurias išsprendžiame optimizuodami užklausas ir naudodami pernelyg didelę infrastruktūrą. Siekdami įsisavinti naujas technologijas, taip pat mūsų darbo anglies balanso poveikį, norime ištirti lambda tipo architektūrą, pritaikytą šios rūšies problemai.