Το ψηφιακό είναι μερικές φορές τεράστιος όγκος δεδομένων! Και αυτά τα δεδομένα έχουν γίνει η γλώσσα των δραστηριοτήτων μας. Για να τα κάνουμε να μιλήσουν, πρέπει να τα συλλέξουμε, να τα διαμορφώσουμε, να τα αναλύσουμε, να τα ενοποιήσουμε, να τα αποθηκεύσουμε, να τα διαδώσουμε... Τόσες πολλές λειτουργίες ομαδοποιούνται σε αυτό που ονομάζεται Big Data. Σήμερα, το Hadoop είναι η κύρια πλατφόρμα Big Data. Χρησιμοποιείται για την αποθήκευση και επεξεργασία τεράστιων όγκων δεδομένων, αυτό το πλαίσιο λογισμικού και τα διάφορα συστατικά του χρησιμοποιούνται από πολλές εταιρείες για τα μεγάλα έργα τους. Το Hadoop είναι ένα πλαίσιο λογισμικού ανοιχτού κώδικα για την αποθήκευση δεδομένων και την εκκίνηση εφαρμογών σε τυποποιημένα συμπλέγματα μηχανών. Αυτή η λύση προσφέρει τεράστιο χώρο αποθήκευσης για όλους τους τύπους δεδομένων, τεράστια ισχύ επεξεργασίας και τη δυνατότητα να υποστηρίξει σχεδόν απεριόριστο αριθμό εργασιών. Βασισμένο στην Java, αυτό το πλαίσιο είναι μέρος του προγράμματος Apache, που χρηματοδοτείται από το Apache Software Foundation. Μετά την αρχική έρευνα και ανάπτυξη, διαπιστώσαμε ότι υπάρχουν τρεις μεγάλες οικογένειες αρχιτεκτονικής μεγάλων δεδομένων: Data Lake αρχιτεκτονική «λάμδα» αρχιτεκτονική τύπου Kappa αρχιτεκτονική... Κάθε μία από αυτές τις αρχιτεκτονικές ανταποκρίνεται σε συγκεκριμένες περιπτώσεις επιχειρηματικής χρήσης και σε διαφορετικές τεχνολογικές κλειδαριές. Μέσα στο Soyhuce, δουλεύουμε πολύ πάνω στα θέματα της αρχιτεκτονικής «datalake». Ανταποκρινόμαστε σε μια υψηλή ζήτηση γύρω από ζητήματα σε πραγματικό χρόνο, τα οποία επιλύουμε κάνοντας βελτιστοποίηση ερωτημάτων και τη χρήση υπερμεγέθων υποδομών. Με στόχο την εκμάθηση των νέων τεχνολογιών, καθώς και τον αντίκτυπο του ισοζυγίου άνθρακα της εργασίας μας, επιθυμούμε να μελετήσουμε αρχιτεκτονικές τύπου λάμδα που είναι προσαρμοσμένες σε αυτό το είδος προβλήματος.