Hadoop – Η δύναμη του ελέφαντα

Συνολικά ο Ουίλιαμς θεώρησε ότι το έργο ήταν φιλόδοξο, αλλά είχε πάει γρήγορα και καλά, και ότι η ομάδα ήταν σε θέση να χρησιμοποιήσει Hadoop και Hbase για να οικοδομήσει μια σημαντικά βελτιωμένη εμπειρία αναζήτησης.

eBay Readies Επόμενη γενιά αναζήτησης που χτίστηκε με Hadoop και Hbase

Το eBay παρουσίασε ένα κεντρικό σημείωμα στο Hadoop World, περιγράφοντας την αρχιτεκτονική της εντελώς ανακατασκευασμένης μηχανής αναζήτησης, Cassini, Slated to Live το 2012. Αναδεικνύει όλα τα μεταδεδομένα περιεχομένου και χρήστη για να παράγουν καλύτερες βαθμολογίες και να ανανεώσουν τους ευρετηρίου ωριαίου. Είναι κατασκευασμένο χρησιμοποιώντας το Apache Hadoop για ωριαίες ενημερώσεις ευρετηρίου και Apache HBase για την παροχή τυχαίας πρόσβασης σε πληροφορίες στοιχείων. Χιου εα. Ο Williams, η αναζήτηση VP, η εμπειρία και οι πλατφόρμες για τις αγορές του eBay, έδωσαν το Keynote, όπου περιέγραψε την κλίμακα, τις τεχνολογίες που χρησιμοποιούνται και τις εμπειρίες από μια προσπάθεια 18 μηνών από περισσότερους από 100 μηχανικούς για την πλήρη ανοικοδόμηση της αναζήτησης του βασικού χώρου του eBay. Η νέα πλατφόρμα, Cassini, θα υποστηρίξει:

• 97 εκατομμύρια ενεργοί αγοραστές και πωλητές
• 250 εκατομμύρια ερωτήματα την ημέρα
• 200 εκατομμύρια αντικείμενα ζουν σε περισσότερες από 50.000 κατηγορίες

Το eBay αποθηκεύει ήδη 9 PB δεδομένων σε συστάδες Hadoop και Teradata για ανάλυση, αλλά αυτή θα είναι η πρώτη εφαρμογή παραγωγής που χρησιμοποιούν απευθείας. Το νέο σύστημα θα είναι πιο εκτεταμένο από το τρέχον (Galileo):

Παλιό σύστημα: Galileo	Νέο σύστημα: Cassini
10 παράγοντες που χρησιμοποιούνται για την κατάταξη	100 παράγοντες που χρησιμοποιούνται για την κατάταξη
Ο αγώνας μόνο για τίτλο από προεπιλογή	Χρησιμοποιήστε όλα τα δεδομένα για να ταιριάζουν από προεπιλογή
Χειροκίνητη παρέμβαση για ανάπτυξη, παρακολούθηση, αποκατάσταση	Αυτοματοποιημένη ανάπτυξη, παρακολούθηση, αποκατάσταση

Η Cassini θα διατηρήσει 90 ημέρες ιστορικών δεδομένων online – επί του παρόντος 1 δισεκατομμύριο αντικείμενα και θα περιλαμβάνει δεδομένα χρήστη και συμπεριφοράς για κατάταξη. Το μεγαλύτερο μέρος της εργασίας που απαιτείται για την υποστήριξη του συστήματος αναζήτησης γίνεται σε ωριαίες εργασίες παρτίδας που τρέχουν στο Hadoop. Διαφορετικά είδη ευρετηρίων θα δημιουργηθούν στο ίδιο σύμπλεγμα (βελτίωση έναντι του Galileo, το οποίο είχε διαφορετικές συστάδες για κάθε είδος ευρετηρίασης). Το περιβάλλον Hadoop επιτρέπει στο eBay να αποκαταστήσει ή να αναταξινομεί ολόκληρο το απόθεμα του ιστότοπου καθώς δημιουργούνται βελτιώσεις.

Τα στοιχεία αποθηκεύονται στο HBase και κανονικά σαρώνονται κατά τη διάρκεια των ωριαίων ενημερώσεων ευρετηρίου. Όταν παρατίθεται ένα νέο στοιχείο, θα κοιτάξει ψηλά στο HBase και θα προστεθεί στον ζωντανό δείκτη μέσα σε λίγα λεπτά. Το HBase επιτρέπει επίσης το χύδην και τα πρόσθετα στοιχεία που γράφουν και τα γρήγορα αντικείμενα διαβάζουν και γράφουν για σχολιασμό αντικειμένων.

Ο Ουίλιαμς ανέφερε ότι η ομάδα ήταν εξοικειωμένη με το τρέξιμο Hadoop και είχε εργαστεί αξιόπιστα με λίγα προβλήματα. Αντίθετα, ανέφερε ότι η “βόλτα μέχρι στιγμής με το HBase ήταν ανώμαλο.”Ο Ουίλιαμς σημείωσε ότι το eBay παραμένει αφοσιωμένο στην τεχνολογία, συνεισφέρει διορθώσεις σε θέματα που βρήκαν, μαθαίνουν γρήγορα και ότι οι τελευταίες δύο εβδομάδες έχουν περάσει ομαλά. Η ομάδα της μηχανικής ήταν νέα στη χρήση του HBase και έτρεξε σε ορισμένα θέματα κατά τη δοκιμή σε κλίμακα, όπως:

• Διαμόρφωση συμπλέγματος παραγωγής για το φόρτο εργασίας τους
• θέματα υλικού
• Σταθερότητα: ασταθείς διακομιστές περιοχής, ασταθής κύριος, περιοχές που έχουν κολλήσει σε μετάβαση
• Παρακολούθηση της υγείας HBase: Συχνά τα προβλήματα δεν έχουν εντοπιστεί μέχρι να επηρεάσουν τη ζωντανή υπηρεσία – η ομάδα προσθέτει πολλά παρακολούθηση
• Διαχείριση εργασιών MAPREDUCE πολλαπλών σταδίων

Συνολικά ο Ουίλιαμς θεώρησε ότι το έργο ήταν φιλόδοξο, αλλά είχε πάει γρήγορα και καλά, και ότι η ομάδα ήταν σε θέση να χρησιμοποιήσει Hadoop και Hbase για να οικοδομήσει μια σημαντικά βελτιωμένη εμπειρία αναζήτησης.

Hadoop – Η δύναμη του ελέφαντα

Σε μια προηγούμενη ανάρτηση, ο Junling συζήτησε την εξόρυξη δεδομένων και την ανάγκη μας να επεξεργαστούμε petabytes δεδομένων για να αποκτήσουμε πληροφορίες από πληροφορίες. Χρησιμοποιούμε διάφορα εργαλεία και συστήματα για να μας βοηθήσουν με αυτήν την εργασία. Αυτό που θα συζητήσω εδώ είναι ο Apache Hadoop.

Δημιουργήθηκε από τον Doug Cutting το 2006, ο οποίος το ονόμασε μετά τον γεμιστό κίτρινο ελέφαντα του γιου του και βασίζεται στο χαρτί MapReduce της Google το 2004, ο Hadoop είναι ένα πλαίσιο ανοιχτού κώδικα για κλιμακωτά, κλιμακωτά, κατανεμημένα υπολογισμό στο υλικό εμπορευμάτων.

Το MapReduce είναι ένα ευέλικτο μοντέλο προγραμματισμού για την επεξεργασία μεγάλων συνόλων δεδομένων:
Χάρτης λαμβάνει ζεύγη κλειδιών/αξίας ως εισροή και παράγει μια ενδιάμεση έξοδο ενός άλλου τύπου ζευγών κλειδιού/αξίας, ενώ Περιορίζω Παίρνει τα πλήκτρα που παράγονται στο βήμα του χάρτη μαζί με μια λίστα τιμών που σχετίζονται με το ίδιο κλειδί για την παραγωγή της τελικής εξόδου των ζευγών κλειδιών/τιμών.

Χάρτης (Key1, Value1) -> Λίστα (Key2, Value2)
Περιορίζω (Key2, List (Value2)) -> Λίστα (Key3, Value3)

Οικοσύστημα

Αθηνά, το πρώτο μας μεγάλο σύμπλεγμα τέθηκε σε χρήση νωρίτερα αυτό το έτος.
Ας δούμε τη στοίβα από κάτω προς τα πάνω:

• Πυρήνας – Ο χρόνος εκτέλεσης Hadoop, μερικές κοινές επιχειρήσεις κοινής ωφέλειας και το σύστημα αρχείων Hadoop (HDFS). Το σύστημα αρχείων είναι βελτιστοποιημένο για την ανάγνωση και τη σύνταξη μεγάλων μπλοκ δεδομένων (128 MB έως 256 MB).
• ΜΕΙΩΣΗ ΧΑΡΤΗ – Παρέχει τα API και τα εξαρτήματα για την ανάπτυξη και την εκτέλεση εργασιών.
• Πρόσβαση δεδομένων – Τα πιο σημαντικά πλαίσια πρόσβασης δεδομένων σήμερα είναι το HBase, το Pig and Hive.
  • Βάσης -Πολυδιάστατη χωρική βάση δεδομένων με προσανατολισμό στη στήλη εμπνευσμένη από το Bigtable της Google. Το HBase παρέχει ταξινομημένη πρόσβαση δεδομένων διατηρώντας χωρίσματα ή περιοχές δεδομένων. Η υποκείμενη αποθήκευση είναι HDFS.
  • Χοίρος (Λατινική) – Μια διαδικασία διαδικασίας που παρέχει δυνατότητες φόρτωσης, φίλτρου, μετασχηματισμού, εκχυλίσματος, συσσωματωμάτων, ενωμένων δεδομένων και ομάδων δεδομένων. Αναπτύσσω

Ερωτήσεις:

1. Τι είναι ο Apache Hadoop?

Το Apache Hadoop είναι ένα πλαίσιο ανοιχτού κώδικα για ανεκτική σε σφάλματα, κλιμακωτά, κατανεμημένα υπολογισμό στο υλικό των εμπορευμάτων. Δημιουργήθηκε από το Doug Cutting το 2006 με βάση το χαρτί MapReduce της Google.

2. Τι είναι το MapReduce?

Το MapReduce είναι ένα ευέλικτο μοντέλο προγραμματισμού για την επεξεργασία μεγάλων συνόλων δεδομένων. Παίρνει ζεύγη κλειδιών/τιμών ως εισροή στο βήμα χάρτη και δημιουργεί μια ενδιάμεση έξοδο άλλου τύπου ζεύγους κλειδιού/αξίας. Το βήμα μείωσης παίρνει τα πλήκτρα που παράγονται στο βήμα του χάρτη μαζί με μια λίστα τιμών που σχετίζονται με το ίδιο κλειδί για την παραγωγή της τελικής εξόδου των ζευγών κλειδιών/τιμών.

3. Τι ονομάζεται νέα μηχανή αναζήτησης του eBay?

Η νέα μηχανή αναζήτησης του eBay ονομάζεται Cassini.

4. Ποιες τεχνολογίες χρησιμοποιούνται στη μηχανή αναζήτησης του eBay?

Η μηχανή αναζήτησης του eBay χρησιμοποιεί το Apache Hadoop για ωριαίες ενημερώσεις ευρετηρίου και Apache HBase για να παρέχει τυχαία πρόσβαση σε πληροφορίες στοιχείων.

5. Ποιες είναι οι βελτιώσεις στη νέα μηχανή αναζήτησης σε σύγκριση με το παλιό σύστημα?

Η νέα μηχανή αναζήτησης (Cassini) χρησιμοποιεί 100 παράγοντες για κατάταξη σε σύγκριση με το παλιό σύστημα (Galileo) που χρησιμοποίησε 10 παράγοντες. Χρησιμοποιεί επίσης όλα τα διαθέσιμα δεδομένα για να ταιριάζει από προεπιλογή, υποστηρίζει την αυτοματοποιημένη ανάπτυξη, παρακολούθηση και αποκατάσταση και περιλαμβάνει 90 ημέρες ιστορικών δεδομένων online.

6. Πώς αποθηκεύονται τα δεδομένα στη νέα μηχανή αναζήτησης?

Τα αντικείμενα αποθηκεύονται στο HBase, το οποίο επιτρέπει τις γρήγορες ανάγνωσεις στοιχείων και γράφει για σχολιασμό αντικειμένων.

7. Ποιες είναι μερικές προκλήσεις που αντιμετωπίζει το eBay κατά τη χρήση του HBase?

Το eBay αντιμετώπισε προκλήσεις, όπως διαμόρφωση συμπλέγματος παραγωγής, προβλήματα υλικού, σταθερότητα διακομιστών περιοχής και Master και παρακολούθηση της HBase Health. Εργάζονται ενεργά για την επίλυση αυτών των ζητημάτων.

8. Πόσα δεδομένα αποθηκεύουν το eBay σε συστάδες Hadoop και Teradata?

Το eBay αποθηκεύει επί του παρόντος 9 pb δεδομένων σε συστάδες Hadoop και Teradata.

9. Τι είναι το hbase?

Το HBase είναι μια πολυδιάστατη χωρική βάση δεδομένων που εμπνέεται από το Bigtable της Google. Παρέχει ταξινομημένη πρόσβαση δεδομένων διατηρώντας διαμερίσματα ή περιοχές δεδομένων.

10. Τι είναι το Pig?

Το Pig είναι μια διαδικαστική γλώσσα που παρέχει δυνατότητες φόρτωσης, φιλτράρισμα, μετασχηματισμό, εκχύλισμα, συσσωμάτωση, σύνδεση και δεδομένα ομάδας.

11. Ποιος είναι ο σκοπός των HDFs?

Το HDFS (Hadoop Distributed File System) είναι η υποκείμενη αποθήκευση για το Hadoop. Είναι βελτιστοποιημένο για την ανάγνωση και τη συγγραφή μεγάλων μπλοκ δεδομένων.

12. Ποιος είναι ο σκοπός της Αθηνάς?

Η Αθηνά είναι ένα μεγάλο σύμπλεγμα που χρησιμοποιείται από το eBay για δεδομένα επεξεργασίας. Είναι μέρος του οικοσυστήματος Hadoop του eBay.

13. Πόσο καιρό χρειάστηκε η ομάδα του eBay για να ανοικοδομήσει την αναζήτηση του βασικού ιστότοπού τους?

Χρειάστηκε η ομάδα του eBay 18 μήνες για να ανοικοδομήσει πλήρως την αναζήτηση του βασικού ιστότοπού τους.

14. Ποια είναι η κλίμακα της νέας μηχανής αναζήτησης του eBay?

Η νέα μηχανή αναζήτησης του eBay, Cassini, θα υποστηρίξει 97 εκατομμύρια ενεργούς αγοραστές και πωλητές, θα χειριστεί 250 εκατομμύρια ερωτήματα την ημέρα και θα έχουν 200 εκατομμύρια αντικείμενα ζουν σε πάνω από 50.000 κατηγορίες.

15. Τι βελτιώσεις φέρνει ο Hadoop στο σύστημα αναζήτησης του eBay?

Το Hadoop επιτρέπει στο eBay να παράγει διαφορετικά είδη ευρετηρίων στο ίδιο σύμπλεγμα, αποκατάσταση ή αναταξινόμηση ολόκληρου του αποθέματος του ιστότοπου και εκτελεί ωριαίες θέσεις εργασίας για την υποστήριξη του συστήματος αναζήτησης.

Hadoop – Η δύναμη του ελέφαντα

Συνολικά ο Ουίλιαμς θεώρησε ότι το έργο ήταν φιλόδοξο, αλλά είχε πάει γρήγορα και καλά, και ότι η ομάδα ήταν σε θέση να χρησιμοποιήσει Hadoop και Hbase για να οικοδομήσει μια σημαντικά βελτιωμένη εμπειρία αναζήτησης.

eBay Readies Επόμενη γενιά αναζήτησης που χτίστηκε με Hadoop και Hbase

Το eBay παρουσίασε ένα κεντρικό σημείωμα στο Hadoop World, περιγράφοντας την αρχιτεκτονική της εντελώς ανακατασκευασμένης μηχανής αναζήτησης, Cassini, Slated to Live το 2012. Αναδεικνύει όλα τα μεταδεδομένα περιεχομένου και χρήστη για να παράγουν καλύτερες βαθμολογίες και να ανανεώσουν τους ευρετηρίου ωριαίου. Είναι κατασκευασμένο χρησιμοποιώντας το Apache Hadoop για ωριαίες ενημερώσεις ευρετηρίου και Apache HBase για την παροχή τυχαίας πρόσβασης σε πληροφορίες στοιχείων. Χιου εα. Williams the VP Search, Experience & Platforms for eBay Marketplaces παρέδωσε το Keynote, όπου περιέγραψε την κλίμακα, τις χρησιμοποιούμενες τεχνολογίες και τις εμπειρίες από μια 18μηνη προσπάθεια από περισσότερους από 100 μηχανικούς για την πλήρη ανοικοδόμηση της αναζήτησης του βασικού ιστότοπου του eBay. Η νέα πλατφόρμα, Cassini, θα υποστηρίξει:

• 97 εκατομμύρια ενεργοί αγοραστές και πωλητές
• 250 εκατομμύρια ερωτήματα την ημέρα
• 200 εκατομμύρια αντικείμενα ζουν σε περισσότερες από 50.000 κατηγορίες

Το eBay αποθηκεύει ήδη 9 PB δεδομένων σε συστάδες Hadoop και Teradata για ανάλυση, αλλά αυτή θα είναι η πρώτη εφαρμογή παραγωγής που χρησιμοποιούν απευθείας. Το νέο σύστημα θα είναι πιο εκτεταμένο από το τρέχον (Galileo):

Παλιό σύστημα: Galileo	Νέο σύστημα: Cassini
10 παράγοντες που χρησιμοποιούνται για την κατάταξη	100 παράγοντες που χρησιμοποιούνται για την κατάταξη
Ο αγώνας μόνο για τίτλο από προεπιλογή	Χρησιμοποιήστε όλα τα δεδομένα για να ταιριάζουν από προεπιλογή
Χειροκίνητη παρέμβαση για ανάπτυξη, παρακολούθηση, αποκατάσταση	Αυτοματοποιημένη ανάπτυξη, παρακολούθηση, αποκατάσταση

Η Cassini θα διατηρήσει 90 ημέρες ιστορικών δεδομένων online – επί του παρόντος 1 δισεκατομμύριο αντικείμενα και θα περιλαμβάνει δεδομένα χρήστη και συμπεριφοράς για κατάταξη. Το μεγαλύτερο μέρος της εργασίας που απαιτείται για την υποστήριξη του συστήματος αναζήτησης γίνεται σε ωριαίες εργασίες παρτίδας που τρέχουν στο Hadoop. Διαφορετικά είδη ευρετηρίων θα δημιουργηθούν στο ίδιο σύμπλεγμα (βελτίωση έναντι του Galileo, το οποίο είχε διαφορετικές συστάδες για κάθε είδος ευρετηρίασης). Το περιβάλλον Hadoop επιτρέπει στο eBay να αποκαταστήσει ή να αναταξινομεί ολόκληρο το απόθεμα του ιστότοπου καθώς δημιουργούνται βελτιώσεις.

Τα στοιχεία αποθηκεύονται στο HBase και κανονικά σαρώνονται κατά τη διάρκεια των ωριαίων ενημερώσεων ευρετηρίου. Όταν παρατίθεται ένα νέο στοιχείο, θα κοιτάξει ψηλά στο HBase και θα προστεθεί στον ζωντανό δείκτη μέσα σε λίγα λεπτά. Το HBase επιτρέπει επίσης το χύδην και τα πρόσθετα στοιχεία που γράφουν και τα γρήγορα αντικείμενα διαβάζουν και γράφουν για σχολιασμό αντικειμένων.

Ο Ουίλιαμς ανέφερε ότι η ομάδα ήταν εξοικειωμένη με το τρέξιμο Hadoop και είχε εργαστεί αξιόπιστα με λίγα προβλήματα. Αντίθετα, ανέφερε ότι η “βόλτα μέχρι στιγμής με το HBase ήταν ανώμαλο.”Ο Ουίλιαμς σημείωσε ότι το eBay παραμένει αφοσιωμένο στην τεχνολογία, συνεισφέρει διορθώσεις σε θέματα που βρήκαν, μαθαίνουν γρήγορα και ότι οι τελευταίες δύο εβδομάδες έχουν περάσει ομαλά. Η ομάδα της μηχανικής ήταν νέα στη χρήση του HBase και έτρεξε σε ορισμένα θέματα κατά τη δοκιμή σε κλίμακα, όπως:

* Διαμόρφωση συμπλέγματος παραγωγής για το φόρτο εργασίας τους

* Θέματα υλικού

* Σταθερότητα: ασταθείς διακομιστές περιοχής, ασταθής κύριος, περιοχές που έχουν κολλήσει σε μετάβαση

* Παρακολούθηση της υγείας HBase: Συχνά τα προβλήματα δεν έχουν εντοπιστεί μέχρι να επηρεάσουν τη ζωντανή υπηρεσία – η ομάδα προσθέτει πολλά παρακολούθηση

* Διαχείριση εργασιών MAPREDUCE πολλαπλών σταδίων

Συνολικά ο Ουίλιαμς θεώρησε ότι το έργο ήταν φιλόδοξο, αλλά είχε πάει γρήγορα και καλά, και ότι η ομάδα ήταν σε θέση να χρησιμοποιήσει Hadoop και Hbase για να οικοδομήσει μια σημαντικά βελτιωμένη εμπειρία αναζήτησης.

Hadoop – Η δύναμη του ελέφαντα

Σε μια προηγούμενη ανάρτηση, ο Junling συζήτησε την εξόρυξη δεδομένων και την ανάγκη μας να επεξεργαστούμε petabytes δεδομένων για να αποκτήσουμε πληροφορίες από πληροφορίες. Χρησιμοποιούμε διάφορα εργαλεία και συστήματα για να μας βοηθήσουν με αυτήν την εργασία. αυτό που εγώ’Θα συζητήσω εδώ είναι ο Apache Hadoop.

Δημιουργήθηκε από τον Doug Cutting το 2006 που το ονόμασε μετά το γιο του’S γεμιστό κίτρινο ελέφαντα και βασίζεται στο Google’S MapReduce Paper Το 2004, το Hadoop είναι ένα πλαίσιο ανοιχτού κώδικα για ανεκτικά σε σφάλματα, κλιμακωτά, κατανεμημένα υπολογισμό στο υλικό των εμπορευμάτων.

Το MapReduce είναι ένα ευέλικτο μοντέλο προγραμματισμού για την επεξεργασία μεγάλων συνόλων δεδομένων:
Χάρτης λαμβάνει ζεύγη κλειδιών/αξίας ως εισροή και παράγει μια ενδιάμεση έξοδο ενός άλλου τύπου ζευγών κλειδιού/αξίας, ενώ Περιορίζω Παίρνει τα πλήκτρα που παράγονται στο βήμα του χάρτη μαζί με μια λίστα τιμών που σχετίζονται με το ίδιο κλειδί για την παραγωγή της τελικής εξόδου των ζευγών κλειδιών/τιμών.

Χάρτης (Key1, Value1) -> Λίστα (Key2, Value2)
Περιορίζω (Key2, List (Value2)) -> Λίστα (Key3, Value3)

Οικοσύστημα

Αθηνά, το πρώτο μας μεγάλο σύμπλεγμα τέθηκε σε χρήση νωρίτερα αυτό το έτος.
Αφήνω’Κοιτάξτε τη στοίβα από κάτω προς τα πάνω:

• Πυρήνας – Ο χρόνος εκτέλεσης Hadoop, μερικές κοινές επιχειρήσεις κοινής ωφέλειας και το σύστημα αρχείων Hadoop (HDFS). Το σύστημα αρχείων είναι βελτιστοποιημένο για την ανάγνωση και τη σύνταξη μεγάλων μπλοκ δεδομένων (128 MB έως 256 MB).
• ΜΕΙΩΣΗ ΧΑΡΤΗ – Παρέχει τα API και τα εξαρτήματα για την ανάπτυξη και την εκτέλεση εργασιών.
• Πρόσβαση δεδομένων – Τα πιο σημαντικά πλαίσια πρόσβασης δεδομένων σήμερα είναι το HBase, το Pig and Hive.
  • Βάσης – Πολυδιάστατη χωρική βάση δεδομένων προσανατολισμένη στη στήλη εμπνευσμένη από την Google’είναι μεγάλος. Το HBase παρέχει ταξινομημένη πρόσβαση δεδομένων διατηρώντας χωρίσματα ή περιοχές δεδομένων. Η υποκείμενη αποθήκευση είναι HDFS.
  • Χοίρος(Λατινικά) – Μια διαδικαστική γλώσσα που παρέχει δυνατότητες φόρτωσης, φίλτρου, μετασχηματισμού, εξαγωγής, συσσωμάτωσης, συμμετοχής και ομάδων δεδομένων. Οι προγραμματιστές χρησιμοποιούν χοίρο για την κατασκευή αγωγών δεδομένων και εργοστασίων.
  • Κυψέλη – Μια δηλωτική γλώσσα με τη σύνταξη SQL που χρησιμοποιείται για την κατασκευή δεδομένων Warehouse. Η διασύνδεση SQL καθιστά την HIVE μια ελκυστική επιλογή για τους προγραμματιστές να επικυρώσουν γρήγορα τα δεδομένα, για τους διαχειριστές προϊόντων και για τους αναλυτές.

  Υποδομή

  Οι διακομιστές επιχειρήσεων μας εκτελούν 64-bit Redhat Linux.

  • Ονομασία Είναι ο κύριος διακομιστής υπεύθυνος για τη διαχείριση των HDFs.
  • Εργάτης είναι υπεύθυνος για τον συντονισμό των θέσεων εργασίας και των καθηκόντων που σχετίζονται με τις θέσεις εργασίας.
  • Hbasemaster Αποθηκεύει τη ρίζα αποθήκευσης για HBase και διευκολύνει το συντονισμό με μπλοκ ή περιοχές αποθήκευσης.
  • Ζωφάνος είναι ένας κατανεμημένος συντονιστής κλειδώματος που παρέχει συνέπεια για το HBase.

  Οι κόμβοι αποθήκευσης και υπολογιστών είναι μονάδες 1U που εκτελούν το Cent OS με 2 μηχανήματα Quad Core και χώρο αποθήκευσης 12 έως 24TB. Συσκευάζουμε τα ράφια μας με 38 έως 42 από αυτές τις μονάδες για να έχουμε ένα πολύ πυκνό δίκτυο.

  Από την πλευρά της δικτύωσης, χρησιμοποιούμε κορυφαίους διακόπτες rack με εύρος ζώνης κόμβου 1GBPS. Οι διακόπτες rack ανεβάζουν στους διακόπτες πυρήνα με ρυθμό γραμμής 40gpbs για να υποστηρίξουν το υψηλό εύρος ζώνης που είναι απαραίτητο για να ανακατεύονται τα δεδομένα γύρω.

  Χρονοδρομολόγηση

  Το σύμπλεγμα μας χρησιμοποιείται από πολλές ομάδες στο eBay, για παραγωγή καθώς και για εφάπαξ θέσεις εργασίας. Χρησιμοποιούμε τον Hadoop’Ο δίκαιος προγραμματιστής για τη διαχείριση των κατανομών, τον καθορίστε τις ομάδες εργασίας για ομάδες, την εκχώρηση βάρη, τον όριο των ταυτόχρονων θέσεων εργασίας ανά χρήστη και την ομάδα, ορίσετε χρονικά όρια προτίμησης και καθυστερημένο προγραμματισμό.

  Προμήθεια δεδομένων

  

  Σε καθημερινή βάση καταναλώνουμε περίπου 8 έως 10 TB νέων δεδομένων.

  Δρόμος μπροστά

  Εδώ είναι μερικές από τις προκλήσεις στις οποίες εργαζόμαστε καθώς οικοδομούμε την υποδομή μας:

  • Επεκτασιμότητα
    Στην τρέχουσα ενσάρκωση, το Namenode Master Server έχει προβλήματα κλιμάκωσης. Καθώς το σύστημα αρχείων του συμπλέγματος μεγαλώνει, το ίδιο συμβαίνει και με το αποτύπωμα μνήμης καθώς διατηρεί ολόκληρα τα μεταδεδομένα στη μνήμη. Για 1 pb αποθήκευσης περίπου 1 GB μνήμης είναι απαραίτητη. Πιθανές λύσεις είναι ο ιεραρχικός χώρος διαχωρισμού χώρου ονομάτων ή η αξιοποίηση του zookeeper σε συνδυασμό με το HBase για τη διαχείριση μεταδεδομένων.
  • Διαθεσιμότητα
    Ονομασία’Η διαθεσιμότητα είναι κρίσιμη για το φόρτο εργασίας της παραγωγής. Η κοινότητα ανοιχτού κώδικα εργάζεται σε αρκετές επιλογές ψυχρού, ζεστού και ζεστού αναμονή, όπως το σημείο ελέγχου και τους κόμβους δημιουργίας αντιγράφων ασφαλείας. Οι κόμβοι Avatar αλλάζουν το avatar από το δευτερεύον όνομα Namenode. Τεχνικές αναπαραγωγής μεταδεδομένων περιοδικών. Αξιολογούμε αυτά για να οικοδομήσουμε τα συστάδες παραγωγής μας.
  • Ανακάλυψη δεδομένων
    Υποστήριξη διαχείρισης δεδομένων, ανακάλυψης και διαχείρισης σχήματος πάνω από ένα σύστημα που εγγενώς δεν υποστηρίζει τη δομή. Ένα νέο έργο προτείνει να συνδυάσει την κυψέλη’S Store Metadata and Owl σε ένα νέο σύστημα, που ονομάζεται Howl. Η προσπάθειά μας είναι να συνδέσουμε αυτό στην πλατφόρμα Analytics, έτσι ώστε οι χρήστες μας να μπορούν εύκολα να ανακαλύψουν δεδομένα στα διάφορα συστήματα δεδομένων.
  • Μετακίνηση δεδομένων
    Εργαζόμαστε σε εργαλεία κίνησης δεδομένων δημοσίευσης/συνδρομής για την υποστήριξη αντιγράφων και συμφιλίωσης δεδομένων σε όλα τα διαφορετικά υποσυστήματα μας, όπως η Warehouse Data Warehouse και το HDFS.
  • Πολιτικές
    Ενεργοποιήστε τις πολιτικές καλής διατήρησης, αρχειακών και αντιγράφων ασφαλείας με τη διαχείριση της χωρητικότητας αποθήκευσης μέσω των ποσοστώσεων (οι τρέχουσες ποσοστώσεις Hadoop χρειάζονται κάποια εργασία). Εργαζόμαστε για τον καθορισμό αυτών των διαφορετικών συστάδων με βάση το φόρτο εργασίας και τα χαρακτηριστικά των συστάδων.
  • Μετρήσεις, μετρήσεις, μετρήσεις
    Δημιουργούμε ισχυρά εργαλεία που δημιουργούν μετρήσεις για την προμήθεια δεδομένων, την κατανάλωση, τον προϋπολογισμό και την αξιοποίηση. Οι υπάρχουσες μετρήσεις που εκτίθενται από μερικούς από τους διακομιστές Hadoop Enterprise είτε δεν είναι αρκετές είτε μεταβατικές που κάνουν τα πρότυπα της χρήσης συμπλέγματος δύσκολο να δουν.

  Το eBay αλλάζει τον τρόπο με τον οποίο συλλέγει, μετασχηματίζει και χρησιμοποιεί δεδομένα για τη δημιουργία επιχειρηματικών πληροφοριών. Εμείς’Επαναφορά, και εμείς’Αγαπώ να σας βοηθήσω.

  Anil Madan
  Διευθυντής Τεχνολογίας, Ανάπτυξη πλατφόρμας ανάλυσης

  Πώς το eBay χρησιμοποιεί μεγάλα δεδομένα και μηχανική μάθηση για να οδηγήσει την επιχειρηματική αξία

  Ο ψηφιακός μετασχηματισμός, αν και δεν είναι νέος, έχει αλλάξει τεράστια με την έλευση νέων τεχνολογιών για τις μεγάλες αναλύσεις δεδομένων και τη μηχανική μάθηση. Το κλειδί για τις προσπάθειες ψηφιακού μετασχηματισμού της περισσότερης εταιρείας είναι να αξιοποιήσετε τις γνώσεις από διάφορους τύπους δεδομένων την κατάλληλη στιγμή. Ευτυχώς, οι οργανισμοί έχουν τώρα πρόσβαση σε ένα ευρύ φάσμα λύσεων για την επίτευξη αυτού του στόχου.

  Πώς οι ηγέτες στο χώρο πλησιάζουν το πρόβλημα σήμερα? Πρόσφατα είχα μια συζήτηση με τον Seshu Adunuthula, ανώτερο διευθυντή υποδομής αναλύσεων στο eBay, για να συζητήσουμε αυτό το θέμα. Το eBay ήταν πάντα μια ψηφιακή επιχείρηση, αλλά ακόμη και οι ηγέτες των εταιρειών που γεννήθηκαν ως ψηφιακές επιχειρήσεις αγκαλιάζουν τις τελευταίες ψηφιακές τεχνολογίες για να ενισχύσουν τις υπάρχουσες διαδικασίες τους και να οικοδομήσουν νέες εμπειρίες. Σύμφωνα με τον Adunuthula, “τα δεδομένα είναι το πιο σημαντικό πλεονέκτημα του eBay.”Το eBay διαχειρίζεται περίπου 1 δισεκατομμύριο ζωντανές λίστες και 164 εκατομμύρια ενεργούς αγοραστές καθημερινά. Από αυτά, το eBay λαμβάνει 10 εκατομμύρια νέες λίστες μέσω κινητού κάθε εβδομάδα . Σαφώς, η εταιρεία ως μεγάλος όγκος δεδομένων, αλλά το κλειδί για τη μελλοντική της επιτυχία θα είναι το πόσο γρήγορα μπορεί να μετατρέψει τα δεδομένα σε μια εξατομικευμένη εμπειρία που οδηγεί τις πωλήσεις.

  Σχεδιασμός και ενημέρωση μιας τεχνικής στρατηγικής

  Η πρώτη πρόκληση eBay που παλεύει ήταν η εύρεση μιας πλατφόρμας, εκτός από την παραδοσιακή αποθήκη δεδομένων του, που ήταν σε θέση να αποθηκεύσει ένα τεράστιο ποσό δεδομένων που ποικίλλουν ανά τύπο. Η Adunuthula δήλωσε ότι ο τύπος των δεδομένων, η δομή των δεδομένων και η απαιτούμενη ταχύτητα ανάλυσης σήμαινε ότι η εταιρεία έπρεπε να εξελιχθεί από μια παραδοσιακή δομή αποθήκης δεδομένων σε αυτό που ονομάζει Λίμνες δεδομένων. Για παράδειγμα, η εταιρεία πρέπει να διατηρήσει περίπου εννέα τέταρτα των ιστορικών τάσεων για να παράσχει πληροφορίες για αντικείμενα όπως η ανάπτυξη του έτους. Πρέπει επίσης να αναλύσει δεδομένα σε πραγματικό χρόνο για να βοηθήσει τους αγοραστές σε όλο τον κύκλο πώλησης.

  Η δυνατότητα υποστήριξης δεδομένων στην κλίμακα μιας εταιρείας Διαδικτύου ήταν βασική σκέψη στην επιλογή των τεχνολογιών και των συνεργατών. Η εταιρεία επέλεξε να συνεργαστεί με το προϊόν Hadoop της Hortonwork, επειδή προσέφερε μια πλατφόρμα ανοιχτού κώδικα που ήταν εξαιρετικά κλιμακωτή και ο πωλητής ήταν πρόθυμος να συνεργαστεί με το eBay για να σχεδιάσει βελτιώσεις προϊόντων. Με ένα θεμέλιο των Hadoop και HortonWorks, τα άλλα δύο συστατικά της στρατηγικής πλατφόρμας δεδομένων του eBay είναι αυτό που ονομάζει ροές και υπηρεσίες.

  Μια μεγάλη τεχνική πρόκληση για το eBay και κάθε επιχείρηση έντασης δεδομένων είναι να αναπτύξει ένα σύστημα που μπορεί να αναλύσει και να ενεργήσει γρήγορα σε δεδομένα καθώς φτάνει στα συστήματα του οργανισμού (που ονομάζονται δεδομένα streaming). Υπάρχουν πολλές ταχέως εξελισσόμενες μεθόδους για την υποστήριξη της ανάλυσης δεδομένων ροής. Το eBay συνεργάζεται επί του παρόντος με διάφορα εργαλεία όπως το Apache Spark, Storm, Kafka και Hortonworks HDF. Το στρώμα υπηρεσιών δεδομένων της στρατηγικής της παρέχει λειτουργίες που επιτρέπουν σε μια εταιρεία να έχει πρόσβαση και δεδομένα ερωτημάτων. Επιτρέπει στους αναλυτές δεδομένων της εταιρείας να αναζητούν ετικέτες πληροφοριών που έχουν συσχετιστεί με τα δεδομένα (που ονομάζονται μεταδεδομένα) και καθιστούν αναλώσιμη σε όσο το δυνατόν περισσότερους ανθρώπους με το σωστό επίπεδο ασφάλειας και δικαιωμάτων (που ονομάζεται Διακυβέρνηση δεδομένων). Χρησιμοποιεί επίσης μια διαδραστική μηχανή ερωτημάτων στο Hadoop που ονομάζεται Presto. Η εταιρεία βρίσκεται στην πρώτη γραμμή της χρήσης μεγάλων λύσεων δεδομένων και συμβάλλει ενεργά στη γνώση της πίσω στην κοινότητα ανοιχτού κώδικα.

  Η τρέχουσα στρατηγική μεγάλων δεδομένων του eBay αντιπροσωπεύει μερικούς από τους πιθανούς συνδυασμούς και επιλογές που είναι διαθέσιμες σε εταιρείες που επιδιώκουν να επεξεργαστούν ένα μεγάλο όγκο δεδομένων που δεν είναι παρόμοιοι σε μορφή και συνδυασμούς δεδομένων που μπορεί να χρειαστεί να αναλυθούν σε πραγματικό χρόνο ή να αποθηκευτούν για ανάλυση σε μεταγενέστερη ημερομηνία. Φυσικά, η επιλογή των λύσεων μεγάλων δεδομένων εξαρτάται από το τι προσπαθείτε να ολοκληρώσετε ως επιχείρηση.

  Χρήση μιας μεγάλης πλατφόρμας εκμάθησης δεδομένων και μηχανών για την παροχή επιχειρηματικής αξίας

  Στην περίπτωση του eBay, η εταιρεία χρησιμοποιεί μεγάλες λύσεις μάθησης δεδομένων και μηχανών για την αντιμετώπιση περιπτώσεων χρήσης όπως εξατομίκευση, merchandising και δοκιμές A/B για νέα χαρακτηριστικά για τη βελτίωση της εμπειρίας του χρήστη. Για παράδειγμα, η εξατομίκευση των μοντέλων eBay σε πέντε τέταρτα δομημένων (e.σολ. Ένα δισεκατομμύριο καταχωρίσεις, αγορές κ.λπ.) και μη δομημένη (σύνοψη συμπεριφορικής δραστηριότητας, σύννεφα λέξεων, κονκάρδες κ.λπ.) δεδομένα. Το Merchandising βελτιώθηκε χρησιμοποιώντας την ανάλυση και τη μηχανική μάθηση για να προτείνει παρόμοια αντικείμενα σε βασικές τοποθετήσεις στον ιστότοπο και το κινητό. Τα στοιχεία, όπως η Deal Discovery, χρησιμοποιούν μηχανική μάθηση για να βρουν πρότυπα σε δομημένα δεδομένα. Η eBay δημιουργεί επίσης προγνωστικά μοντέλα μηχανικής μάθησης για ανίχνευση απάτης, λήψη λογαριασμού και επιτρέποντας την πρόβλεψη κινδύνου αγοραστή/πωλητή. Σαφώς, το eBay έχει δαπανήσει τεράστιο χρόνο και πόρους για την επίτευξη αυτού του επιπέδου εμπειρογνωμοσύνης στην επεξεργασία δεδομένων και τη βελτίωση της ροής εργασίας των επιχειρήσεων. Για το eBay και πολλούς άλλους, το ταξίδι δεν έχει τελειώσει. Η εταιρεία θέλει να συνεχίσει να βελτιστοποιεί την αναλυτική ροή και να βελτιώσει τη διακυβέρνηση των δεδομένων.

  Τι πρέπει να κάνετε στη συνέχεια?

  Για εκείνες τις εταιρείες που ξεκινούν, η Adunuthula προσέφερε λίγα λόγια συμβουλών Sage. Η μεγαλύτερη πρόκληση είναι η διακυβέρνηση των δεδομένων και η αποτροπή της να γίνει η Άγρια Δύση. Μια επιχείρηση δεν μπορεί να πετάξει τα πάντα σε ένα σύστημα και να ανησυχεί για τη διακυβέρνηση αργότερα. Εάν δημιουργείτε μια στρατηγική δεδομένων σήμερα, ξεκινήστε με τη διακυβέρνηση.

  Τα παραδείγματα αυτού θα μπορούσαν να περιλαμβάνουν τον καθορισμό της διαδικασίας για την πρόσβαση σε διαφορετικούς ανθρώπους και τον τρόπο ενεργοποίησης της συμμόρφωσης με PCI στα σύνολα δεδομένων για τους λιανοπωλητές. Η στρατηγική θα πρέπει να περιγράψει τον τρόπο ανίχνευσης δεδομένων και πώς να εξελίσσει τη διαδικασία. Σημείωσε ότι υπάρχουν νέες λύσεις, όπως ο Atlas και ο Navigator, που αναδύονται σήμερα. Ωστόσο, το τοπίο αλλάζει συνεχώς. Εάν ξεκινάτε το ταξίδι σήμερα, μια επιχείρηση μπορεί να θέσει σε εφαρμογή τη διακυβέρνηση δεδομένων πριν δημιουργήσει μαζικά σύνολα δεδομένων, αποθήκες δεδομένων και λίμνες δεδομένων. Είναι ευκολότερο να προσθέσετε τη διακυβέρνηση των δεδομένων στην αρχή της διαδικασίας.

  Από τις συζητήσεις με τους πελάτες μου, έχω μάθει ότι υπάρχουν αρκετά σημαντικά βήματα για την οικοδόμηση μιας μεγάλης στρατηγικής δεδομένων που περιλαμβάνει:

  • Ορισμός μιας γρήγορης νίκης και μιας μακροπρόθεσμης περίπτωσης χρήσης. Η οικοδόμηση μιας αυστηρής περίπτωσης χρήσης είναι απαραίτητη για την απόκτηση χρηματοδότησης και την επίδειξη άμεσης αξίας από τις προσπάθειες στρατηγικής δεδομένων σας. Για παράδειγμα, πολλές εταιρείες ορίζουν μια περίπτωση χρήσης που περιλαμβάνει τη σύνδεση και την ανάλυση νέων πηγών δεδομένων για την κατανόηση των αγοραστικών συμπεριφορών. Η επιλογή μιας περίπτωσης στενής χρήσης επιτρέπει στους αναλυτές δεδομένων να δοκιμάσουν νέες τεχνολογίες και να παρέχουν νέες ιδέες στην επιχείρηση.
  • Αξιολόγηση αυτού που χρειάζεστε σε έναν συνεργάτη δεδομένων. Το eBay έχει μια εξελιγμένη ομάδα μηχανικών και ξέρει τι προσπαθούσε να επιτύχει. Η εταιρεία αναζητούσε έναν συνεργάτη για να βοηθήσει στην παροχή κλίμακας και βοήθειας στη βελτίωση των λύσεων ανοιχτού κώδικα. Μια εταιρεία μπορεί επίσης να χρειαστεί ο συνεργάτης της για να παρέχει περισσότερη κατάρτιση, συμβουλευτικές υπηρεσίες και αρχιτεκτονικές αναφοράς που βασίζονται στη βιομηχανία.
  • Δημιουργία του σωστού οικοσυστήματος. Δεν υπάρχει μια λύση αποθήκευσης και αναλυτικών δεδομένων που θα λύσει όλες τις περιπτώσεις χρήσης μιας εταιρείας. Σε ορισμένες περιοχές, οι υπάρχουσες λύσεις αποθήκης δεδομένων μιας εταιρείας λειτουργούν τέλεια. Σε άλλες περιπτώσεις, θα χρειαστείτε αναλυτικά στοιχεία συνεχούς ροής. Ομοίως, δεν υπάρχει ούτε ένα εργαλείο ή προμηθευτής που θα παρέχει όλα όσα χρειάζεστε. Ο σημερινός κόσμος ανάλυσης δεδομένων απαιτεί ένα οικοσύστημα εργαλείων και συνεργατών. Αναζητήστε εταιρικές σχέσεις μεταξύ των πωλητών που θα διευκολύνουν τις προκλήσεις ενσωμάτωσης.
  • Ψάχνετε για νέες περιπτώσεις χρήσης. Αντί να αναπαράγετε αυτό που έχετε, μια επιχείρηση θα πρέπει να αναζητήσει τρόπους με τους οποίους μπορούν να αποκτηθούν και να αναλυθούν νέα δεδομένα για να βελτιώσουν τις επιχειρηματικές σας διαδικασίες. Μέρος του οφέλους αυτών των νέων εργαλείων δεδομένων και ανάλυσης είναι να ανακαλύψετε μοτίβα, ανωμαλίες και νέες ιδέες που δεν υπήρχαν στο σύστημα ανάλυσης δεδομένων παλαιού τύπου σας. Οι ηγέτες των επιχειρήσεων θα πρέπει να συνεργαστούν μαζί του για να αναζητήσουν τρόπους που οι νέες λύσεις αποθήκευσης δεδομένων και αναλυτικών στοιχείων μπορούν να απαντήσουν σε ερωτήσεις που δεν ήταν εύκολο να απαντήσουν στο παρελθόν.

  Χρησιμοποιεί το eBay Hadoop?

  • Οι CIOs αναλαμβάνουν την οργανωτική προσαρμοστικότητα, οι CIOs της ανθεκτικότητας και άλλα στελέχη τεχνολογίας στήριξαν τις οργανώσεις τους κάνουν ό, τι χρειάζεται για να παραμείνουν ευέλικτοι σε μια περίοδο απρόβλεπτων .
  • Η FTC εξετάζει τον ανταγωνισμό στο Cloud Computing Η Ομοσπονδιακή Επιτροπή Εμπορίου εξετάζει τον αντίκτυπο μιας χούφτας εταιρειών μεγάλων τεχνολογιών όπως το Amazon, η Microsoft και η Google .
  • U.μικρό. Η κρίση του χρέους θα μπορούσε να χτυπήσει κυβερνητικούς εργολάβους σκληροί κυβερνητικοί εργολάβοι θα πρέπει να προετοιμαστούν τώρα για το u.μικρό. να αθετήσει το χρέος του, το οποίο θα είχε ως αποτέλεσμα τις διακοπές πληρωμών μεταξύ άλλων .
  • Το κλείσιμο του βιβλίου για τη διάσκεψη RSA 2023 AI, η ασφάλεια σύννεφων, ο εκσυγχρονισμός SOC και η υγιεινή ασφαλείας και η διαχείριση της στάσης ήταν όλα καυτά θέματα στο RSAC στο Σαν Φρανσίσκο .
  • Η κινεζική Apt εκμεταλλεύεται το υλικολογισμικό δρομολογητή TP-Link μέσω τεχνολογιών λογισμικού ελέγχου εμφυτεύματος, δήλωσε ότι το κακόβουλο εμφύτευμα, το οποίο αποδόθηκε στον κινέζικο κατάλληλο “Camaro Dragon”, ήταν υλικολογισμικό .
  • Προστασία από τις τρέχουσες και μελλοντικές απειλές με τις τρέχουσες και τις μελλοντικές απειλές στον κυβερνοχώρο, όπως το ransomware, το γενετικό AI, το κβαντικό υπολογισμό και η αύξηση της επιτήρησης, είναι .
  • Το Sonic NOS αντιμετωπίζει προκλήσεις που ταιριάζουν με το mainstream Gartner εκτιμά ότι λιγότερες από 200 επιχειρήσεις έχουν ηχητική παραγωγή, από μια πιθανή αγορά δεδομένων των 100.000. Ενας.
  • 12 Κοινά πρωτόκολλα δικτύου και οι λειτουργίες τους που εξηγούνται από τη δικτύωση καθιστούν το διαδικτυακό έργο, αλλά ούτε μπορεί να πετύχει χωρίς πρωτόκολλα. Τα κοινά πρωτόκολλα δικτύου και οι λειτουργίες τους είναι .
  • Python Interpreter vs. IDE: Ποιοι μηχανικοί δικτύων πρέπει να γνωρίζουν όταν χρησιμοποιούν την Python για αυτοματοποίηση δικτύου, οι μηχανικοί δικτύων συχνά εργάζονται με διερμηνείς και ολοκληρωμένο περιβάλλον ανάπτυξης .
  • Κάντε τις λειτουργίες mainframe αποτελεσματικές με αυτές τις στρατηγικές mainframes επηρεάζουν τις οργανωτικές κατώτατες γραμμές. Ένας εμπειρογνώμονας περιγράφει ορισμένες βασικές στρατηγικές για τη διατήρηση της αξιοπιστίας ενώ διατηρώντας παράλληλα .
  • Πώς να χρησιμοποιήσετε το chatgpt για το mainframe application management chatgpt μπορεί να βοηθήσει τους διαχειριστές να διαχειριστούν τις εφαρμογές mainframe με τη μετατροπή, τη βελτιστοποίηση και τη βελτίωση του κώδικα. Επίσης, μπορεί να δημιουργήσει .
  • Εξερευνήστε τον αντίκτυπο της κβαντικής πληροφορικής στην κρυπτογραφία Όταν οι κβαντικοί υπολογιστές είναι διαθέσιμοι, πολλοί τύποι κρυπτογράφησης θα είναι ευάλωτοι. Μάθετε γιατί και τι ερευνάται, .
  • Ο Qlik ολοκληρώνει την αγορά του Talend, ενισχύει την ενσωμάτωση σουίτα με την απόκτηση, ο μακροπρόθεσμος πωλητής αναλύσεων προσθέτει μια προσέγγιση υφάσματος δεδομένων και βελτιωμένη ποιότητα δεδομένων και δύναμη διακυβέρνησης .
  • Οι βάσεις δεδομένων mainframe διδάσκουν ένα παλιό σκυλί νέα κόλπα επιβίωσης που προβλέπεται να ξεθωριάσει υπέρ των πιο σύγχρονων αρχιτεκτονικών, τα mainframes εξακολουθούν να διαδραματίζουν αναπόσπαστο ρόλο στην εταιρική πληροφορική .
  • Δεδομένα πλέγμα vs. Άλλες επιλογές διαχείρισης δεδομένων Δεδομένα Δεδομένα παίρνουν μια αποκεντρωμένη προσέγγιση στη διαχείριση δεδομένων και την απόρριψη της αξίας από τα δεδομένα. Μοιράζεται ομοιότητες με δεδομένα .