Дигитализацията понякога е огромен обем от данни! И тези данни се превърнаха в езика на нашите дейности. За да ги накараме да говорят, трябва да ги съберем, форматираме, анализираме, консолидираме, съхраняваме, разпространяваме... Толкова много операции са групирани в това, което се нарича Big Data. Днес Hadoop е основната платформа за големи информационни масиви. Използва се за съхранение и обработка на огромни обеми от данни, тази софтуерна рамка и различните ѝ компоненти се използват от много компании за техните проекти за големи данни. Hadoop е софтуерна рамка с отворен код за съхранение на данни и стартиране на приложения на стандартни машинни клъстери. Това решение предлага масивно пространство за съхранение на всички видове данни, огромна мощност за обработка и възможност за поддръжка на практически неограничен брой задачи. Базирана на Java, тази рамка е част от проекта Apache, спонсориран от Apache Software Foundation. След първоначалната научноизследователска и развойна дейност установихме, че съществуват три големи семейства за архитектура на големи масиви от данни: Архитектура на езерото „ламбда“ архитектура Капа тип архитектура... Всяка от тези архитектури отговаря на конкретни случаи на бизнес употреба и различни технологични ключалки. В рамките на Soyhuce, ние работим много по темите на „datalake“ архитектура. Ние отговаряме на голямо търсене около проблеми в реално време, които решаваме чрез оптимизация на заявки и използване на извънгабаритна инфраструктура. С оглед овладяването на новите технологии, както и въздействието на въглеродния баланс на нашата работа, бихме искали да проучим архитектури от ламбда тип, които са адаптирани към този тип проблеми.