Big Movies, Big Data: Netflix abbraccia NoSQL nel cloud

Accettando tutti i cookie, accetti il ​​nostro utilizzo dei cookie per fornire e mantenere i nostri servizi e il nostro sito, migliorare la qualità di Reddit, personalizzare i contenuti e pubblicità Reddit e misurare l’efficacia della pubblicità.

Riepilogo

Netflix, con 33 milioni di abbonati in oltre 40 paesi, ha dovuto adattare i suoi dati e le strategie di archiviazione poiché il suo servizio di streaming è cresciuto. La società è migrata dall’uso del database Oracle al database NOSQL Cassandra, migliorando la disponibilità ed eliminando i tempi di inattività causati dalle modifiche allo schema del database. Con l’aumento della domanda di disponibilità a causa di più clienti che utilizzano il servizio di streaming di Netflix, la società doveva rivalutare il proprio approccio di dati e archiviazione.

Netflix inizialmente utilizzava il database Oracle come back -end per il suo servizio di streaming. Tuttavia, man mano che la base di clienti e i dati sono cresciuti rapidamente, l’azienda ha capito che era necessario ridimensionare e migliorare la disponibilità. Per risolvere questo problema, Netflix ha spostato i suoi dati su Amazon Web Services e ha sostituito Oracle con Apache Cassandra, un database NoSQL open source noto per la sua scalabilità e affidabilità.

Uno dei principali svantaggi dell’utilizzo di un database SQL centrale come Oracle era il rischio di un singolo punto di guasto. L’architettura distribuita di Cassandra ha fornito una migliore flessibilità per creare e gestire i cluster di dati, specialmente nel cloud. La migrazione da Oracle a Cassandra ha anche eliminato la necessità di tempi di inattività durante i cambiamenti dello schema, migliorando la disponibilità e la scalabilità.

Oggi Cassandra è il database preferito per quasi tutte le esigenze di dati di Netflix, comprese le informazioni sull’account del cliente, le valutazioni dei film, i metadati, i segnalibri e i registri. L’uso di Cassandra ha permesso a Netflix di ridimensionare i propri servizi a livello globale, rispondendo rapidamente ai cambiamenti e alle richieste in diverse regioni del mondo.

Punti chiave

1. Netflix è migrato dall’utilizzo di Oracle a Cassandra come database principale.

Passando a Cassandra, Netflix ha migliorato la disponibilità ed eliminato i tempi di inattività causati dai cambiamenti dello schema.

2. La rapida crescita del servizio di streaming di Netflix ha richiesto una rivalutazione dei suoi dati e strategie di archiviazione.

Con l’aumentare della base di clienti e dei dati, la società doveva ridimensionare e garantire la disponibilità per soddisfare la crescente domanda.

3. L’architettura distribuita di Cassandra offre una migliore flessibilità e scalabilità rispetto a un database SQL centrale come Oracle.

Cassandra consente a Netflix di creare e gestire rapidamente i cluster di dati, specialmente nel cloud.

4. Netflix ha inizialmente migrato i suoi dati da Oracle al database distribuito SimpledB di Amazon prima di passare a Cassandra.

Ciò ha permesso a Netflix di affrontare le limitazioni di un database SQL e testare la scalabilità e l’affidabilità di Cassandra.

5. Con Cassandra, Netflix ha guadagnato una migliore agilità commerciale e la capacità di ridimensionare a livello globale.

Netflix non deve più pianificare la capacità in anticipo e può creare rapidamente cluster Cassandra in qualsiasi regione del mondo.

6. I cambiamenti dello schema in cassandra non richiedono tempi di inattività.

A differenza di Oracle, non ci sono schemi per cambiare a Cassandra, eliminando i tempi di inattività e migliorando la disponibilità.

7. Netflix memorizza il 95% dei suoi dati in Cassandra.

Ciò include informazioni sull’account del cliente, valutazioni dei film, metadati, segnalibri e registri.

8. Mentre la gestione di più istanze Cassandra richiede più amministrazione, tendono a rompersi in momenti diversi.

Ciò garantisce che solo piccoli pezzi del sistema siano interessati contemporaneamente, piuttosto che l’intero sistema.

9. Cassandra ha fornito a Netflix la possibilità di adattarsi rapidamente e rispondere alle mutevoli esigenze e all’espansione del mercato.

Netflix può facilmente ridimensionare i propri servizi a nuove regioni, soddisfacendo esigenze e preferenze di streaming diverse.

10. La migrazione a Cassandra ha avuto successo per Netflix, consentendogli di gestire grandi volumi di dati e mantenere un servizio di streaming affidabile.

L’uso di Cassandra ha aiutato Netflix a mantenere la soddisfazione dei clienti e a far crescere la sua portata globale.

Domande

1. Perché Netflix è migrato da Oracle a Cassandra?

Netflix è emigrato da Oracle a Cassandra per migliorare la disponibilità ed eliminare i tempi di inattività durante le modifiche allo schema.

2. Quali sono state le sfide che Netflix ha dovuto affrontare con un database SQL come Oracle?

Netflix ha affrontato sfide come un singolo punto di fallimento, scalabilità limitata e tempi di inattività durante le variazioni dello schema con Oracle.

3. In che modo l’architettura distribuita di Cassandra a beneficio di Netflix?

L’architettura distribuita di Cassandra offre una migliore flessibilità e scalabilità, consentendo a Netflix di creare e gestire rapidamente i cluster di dati, specialmente nel cloud.

4. In che modo Netflix ha inizialmente testato la scalabilità e l’affidabilità di Cassandra?

Netflix ha inizialmente migrato i suoi dati da Oracle al database distribuito SimpledB di Amazon prima di passare a Cassandra.

5. Quali vantaggi offre Cassandra a Netflix in termini di agilità aziendale e scalabilità globale?

Cassandra fornisce a Netflix una migliore agilità commerciale, poiché non è più necessario pianificare la capacità in anticipo e può creare cluster in qualsiasi regione del mondo rapidamente.

6. Perché i tempi di inattività non sono più richiesti per i cambiamenti dello schema in Cassandra?

Cassandra non richiede modifiche allo schema, eliminando la necessità di tempi di inattività e migliorando la disponibilità.

7. Quale percentuale dei dati di Netflix è archiviata in Cassandra?

Quasi il 95% di tutti i dati di Netflix, tra cui informazioni sull’account del cliente, valutazioni di film, metadati, segnalibri e tronchi, è archiviato in Cassandra.

8. In che modo la gestione di più istanze Cassandra influisce sull’amministrazione?

Sebbene richieda più amministrazione, la gestione di più istanze Cassandra assicura che solo piccoli pezzi del sistema siano interessati contemporaneamente in caso di fallimento.

9. In che modo Cassandra ha permesso a Netflix di adattarsi e rispondere alle mutevoli esigenze e all’espansione del mercato?

Cassandra ha fornito a Netflix la possibilità di ridimensionare rapidamente i propri servizi a nuove regioni, accogliendo diverse esigenze di streaming e preferenze.

10. In che modo la migrazione a Cassandra ha beneficiato del servizio di streaming di Netflix?

La migrazione a Cassandra ha permesso a Netflix di gestire grandi volumi di dati e mantenere un servizio di streaming affidabile, garantendo la soddisfazione del cliente e la crescita globale.

Big Movies, Big Data: Netflix abbraccia NoSQL nel cloud

Accettando tutti i cookie, accetti il ​​nostro utilizzo dei cookie per fornire e mantenere i nostri servizi e il nostro sito, migliorare la qualità di Reddit, personalizzare i contenuti e pubblicità Reddit e misurare l’efficacia della pubblicità.

Netflix usa Oracle

Reddit e i suoi partner usano cookie e tecnologie simili per offrirti un’esperienza migliore.

Accettando tutti i cookie, accetti il ​​nostro utilizzo dei cookie per fornire e mantenere i nostri servizi e il nostro sito, migliorare la qualità di Reddit, personalizzare i contenuti e pubblicità Reddit e misurare l’efficacia della pubblicità.

Rifiutando i cookie non essenziali, Reddit può ancora utilizzare alcuni cookie per garantire la corretta funzionalità della nostra piattaforma.

Per ulteriori informazioni, consultare il nostro avviso sui cookie e la nostra politica sulla privacy .

Ottieni l’app Reddit

Scansiona questo codice QR per scaricare ora l’app

O dai un’occhiata negli app store

r/oraclecloud

r/oraclecloud

Subbreddit per coloro che sviluppano o archifino soluzioni sulla nuvola Oracle in PAAS o IAAS.

Membri online

di Unkypoo

Netflix via. Oracle Cloud VM VPN

Ho un’istanza nel Regno Unito nella nuvola Oracle e ho la configurazione di Wireguard.

Sul mio router (grida a gl.Inet beryl) Imposta il client Wireguard, collego i miei dispositivi personali i.e. MacBook, PC, telefono ecc. E sembrano mostrare come nel Regno Unito, posso accedere a BBC Iplayer, Channel 4 ecc.

Tuttavia, quando provo Netflix, si elimina e mi mostra solo ciò che è disponibile nella mia posizione geografica.

L’unico modo in cui potrebbe accadere sarebbe che Netflix sta usando i miei dati GPS. Dato che ho eseguito numerosi test per escludere varie positivi come la perdita di DNS ecc. E tutto il resto funziona tranne Netflix.

Qualcuno ha avuto esperienza simile e qualsiasi metodo utilizzando il quale è stato in grado di bypassare/rettificarlo?

Big Movies, Big Data: Netflix abbraccia NoSQL nel cloud

Netflix è la grande Kahuna di un’azienda di media web, con 33 milioni di abbonati in oltre 40 paesi. Dato che il servizio di streaming “Watch Now” di Netflix è cresciuto, la società ha dovuto ripensare i suoi dati e le strategie di archiviazione per far fronte ai carichi di lavoro in mongolfiera gestiti nel cloud. Oggi, la società è quasi completa nella sua migrazione da Oracle al database NOSQL Cassandra, migliorando la disponibilità ed eliminando essenzialmente i tempi di inattività sostenuti dalle modifiche allo schema del database.

Netflix ha lanciato il suo servizio di streaming nel 2007, utilizzando il database Oracle come back -end. “Avevamo un singolo data center, il che significava che avevamo un unico punto di fallimento”, spiega Adrian Cockcroft, Cloud Architect a Netflix. “Stavamo avvicinando i limiti al traffico e alla capacità. Ora che le persone possono guardare la programmazione di streaming Netflix dai loro telefoni, da dispositivi Wii, scatole Roku e molti altri, la domanda di disponibilità aumenta continuamente. Abbiamo più clienti ogni trimestre, più clienti utilizzano lo streaming e utilizzano lo streaming a una tariffa maggiore.”

I dati sono cresciuti più velocemente della base di clienti, afferma Cockcroft: Il numero di richieste API nel gennaio 2011 è stato 37 volte superiore alle richieste nel gennaio 2010. La società sapeva che le interruzioni o lo streaming di scarsa qualità potevano scacciare i clienti. “Sapevamo che dovevamo uscire dal data center, in modo da poter continuare a correre e continuare a crescere”, afferma Cockcroft.

Nel 2010, Netflix ha iniziato a spostare i suoi dati su Amazon Web Services. Il passo successivo è stato sostituire il suo database Oracle con Apache Cassandra, un database NOSQL open source noto per la sua scalabilità e affidabilità di livello aziendale. “Per noi, il problema con un database SQL centrale era che tutto era in un posto II che è conveniente solo fino a quando non fallisce”, spiega Cockcroft. “E poiché questi database sono costosi, tendi a mettere tutto lì dentro. Quindi tutto fallisce in una volta.”

Un altro problema era che lo schema modifica i tempi di inattività del sistema richiesti. “Ogni due settimane, avremmo almeno 10 minuti di inattività per inserire il nuovo schema”, spiega. “I limiti di un database SQL hanno influito sulla nostra disponibilità e scalabilità.”

La società ha scelto Cassandra da DataStax per la sua flessibilità per creare e gestire rapidamente i cluster di dati, in particolare nel cloud. Christos Kalantzis, Manager of Cloud and Platform Engineering di Netflix, spiega che “soluzioni come Oracle non funzionano molto bene su hardware virtualizzato . L’architettura di Cassandra e la disponibilità e la messa a punto della coerenza e la scalabilità hanno reso una scelta chiara.”Per risolvere questi problemi, Netflix inizialmente migrava i dati da Oracle al database distribuito SimpledB di Amazon e infine ha spostato tali dati su Cassandra.

“Con Cassandra, otteniamo una migliore agilità commerciale”, afferma Cockcroft. “Non dobbiamo pianificare la capacità in anticipo, non abbiamo bisogno di chiedere il permesso alle altre persone di costruire cose per noi e non ci preoccupiamo di rimanere senza spazio o di potere. Posso creare un cluster Cassandra in qualsiasi regione del mondo in 10 minuti “, afferma Cockcroft. “Quando i ragazzi del marketing decidono che vogliamo passare a una certa parte del mondo, siamo pronti.”

Inoltre, i tempi di inattività dovuti alle modifiche allo schema non sono più necessari. “Non ci sono schemi che cambino a Cassandra – quindi non ci sono tempi di inattività”, afferma Cockcroft.

Naturalmente, con molteplici istanze di Cassandra, ci sono più sistemi da gestire che con il database Oracle monolitico. Ma Cockcroft sottolinea: “Tendono a rompersi in momenti diversi, quindi stai perdendo piccoli pezzi del sistema, piuttosto che l’intero sistema contemporaneamente. Inoltre, ogni negozio è più semplice da amministrare.”

Oggi Cassandra è il database preferito per quasi tutte le esigenze di database su Netflix. L’azienda memorizza il 95 percento di tutti i suoi dati in Cassandra, tra cui informazioni sull’account del cliente, valutazioni dei film, metadati cinematografici, segnalibri per film e tronchi.

Netflix gestisce più di 50 cluster Cassandra con oltre 750 nodi. Al massimo elaborano oltre 50.000 letture al secondo e 100.000 scritture al secondo in tutti i loro cluster. In media elaborano più di 2.1 miliardo di letture in un giorno e più di 4.3 miliardi di scritture in un giorno.

Cassandra è fornito una nuova base più solida per Netflix. Come dice Cockcroft, “ci consente di fornire il servizio su cui i nostri membri si affidano.”

Questo articolo, “Big Movies, Big Data: Netflix abbraccia NoSQL nel cloud”, è stato originariamente pubblicato su Infoworld.com. Leggi di più sul blog di Think Big Data di Andrew Lampitt e continua gli ultimi sviluppi di Big Data su InfoWorld.com per le ultime notizie sulla tecnologia aziendale, segui Inforld.com su Twitter.

• Open source
• Gestione dati
• Jakarta EE
• Sviluppo software
• Big Data
• Database NoSQL
• Giava

Copyright © 2013 IDG Communications, Inc.

ERP Netflix utilizza un sistema Oracle come spina dorsale

La parte nonostante di un’attività ammortizzabile è chiamata A) ammortamento accumulato. b) Valore realizzabile netto. c) valore residuo stimato. d) Valore attuale netto.

L’enorme crescita di Wang Lab ha lasciato l’azienda un problema serio. I clienti aspettavano spesso mesi per Wang di riempire gli ordini ed elaborare fatture. Ripetuti tentativi da parte di Wang a corto di personale

ERP Netflix utilizza un sistema Oracle come spina dorsale della loro attività

sistema di gestione. Viene utilizzato per gestire l’inventario, le prestazioni finanziarie e dell’azienda e i dati dei clienti. È anche al centro del sistema cinematografico. Oltre a gestire i dati aziendali, l’intera libreria DVD è rappresentata ed è rappresentata nel sito Web insieme ai dati dei clienti. Le prestazioni e la logistica dell’azienda sono anche gestite attraverso il sistema Oracle. La società è stata costruita da zero utilizzando questo sistema. Netflix usa “Micro Strategia per i rapporti e l’analisi di dati finanziari, campagne di marketing e raccomandazioni cinematografiche” La micro strategia consentirà a Netflix di ottenere preziose informazioni con dati di raccomandazione del film personalizzati e dati di marketing significativi, ciò consentirà a Netflix di valutare meglio e creare straordinarie campagne di marketing. CRM Un sistema CRM utilizza informazioni sui clienti per ottenere approfondimenti sulle loro esigenze e desideri per cercare di servirli meglio. Netflix ha software intelligente. Ad esempio, Netflix utilizza un sistema di raccomandazione; Questa applicazione interattiva raccoglie i dati su una persona e trae conclusioni da essi. Da lì, questo sistema di raccomandazioni suggerirà film basati su elementi precedentemente visualizzati o sull’utente’S Somiglianza con altri utenti. Netflix utilizza anche software di business intelligence per la loro azienda nota come micro strategia. Netflix usa “Micro Strategia per i rapporti e l’analisi di dati finanziari, campagne di marketing e raccomandazioni cinematografiche” La micro strategia consentirà a Netflix di ottenere preziose informazioni con dati di raccomandazione del film personalizzati e dati di marketing significativi, ciò consentirà a Netflix di valutare meglio e creare straordinarie campagne di marketing. Netflix fornisce un adeguato assistenza clienti ai propri clienti, il che si rivela un grande approccio filosofico e di successo. Rispondendo efficacemente al proprio cliente’Le esigenze di S si dimostreranno di costruire relazioni fedeli e di lunga durata con i loro clienti. Internet per utilizzare Netflix, i consumatori si iscrivono a un abbonamento sulla società’S sito web. Per un prezzo mensile basso, i membri di Netflix guardano immediatamente film e programmi TV illimitati in streaming su Internet su PC, Mac e TV tramite una vasta gamma di dispositivi. Internet consente alle persone di accedere al proprio account Netflix su uno di tutti i dispositivi che hanno WiFi o Internet Access Netflix #2 Netflix è stato fondato nel 1997 e da allora è diventato il mondo’Sing da un servizio di abbonamento Internet per guardare film e programmi TV con 24 milioni di U.S. membri e oltre 1 milione in Canada.

Prodotto Netflix è un sito Web personalizzato che fornisce ai suoi utenti l’accesso online ai noleggi di film e televisori. La catena del valore Netflix raccoglie ogni film’S recensioni al botteghino e valutazioni TV, nonché cliente’S Ricerca e comportamenti click che vengono quindi inseriti in uno strumento online chiamato CineMatch che analizza questi dati per fornire consigli personalizzati per ciascun utente.

Voglio leggere tutte e 10 le pagine?

Anteprima di 6 di 10 pagine caricare i tuoi documenti di studio o diventare un membro.

Visualizza il documento completo

Voglio leggere tutte e 10 le pagine?

Anteprima di 6 di 10 pagine caricare i tuoi documenti di studio o diventare un membro.

Visualizza il documento completo

Fine dell’anteprima

Voglio leggere tutte e 10 le pagine? Carica i tuoi documenti di studio o diventa un membro.

Visualizza il documento completo

Azienda

Ottieni un eroe del corso

Strumenti di studio

Aiuto

Legale

• Politica sul copyright
• Integrità accademica
• Il nostro codice d’onore
• politica sulla riservatezza
• Termini di utilizzo
• Attribuzioni

Come funziona Netflix

Mi sono mai chiesto cosa succede dietro le quinte del nostro servizio di streaming di contenuti preferito?

Bene, tu’Rimariamo fortunato mentre spiegherò il back-end di Netflix su Amazon Web Services (AWS) e proverò a semplificarlo.

Netflix utilizza due servizi cloud, vale a dire Amazon Web Services e Open Connect, entrambi i quali funzionano senza intoppi per consegnarci come esperienza di visualizzazione eccezionale degli utenti.

Open Connect è ciò che Netflix utilizza come rete di consegna dei contenuti e non si tufferà in profondità nell’argomento.

Cliente

Netflix supporta una vasta gamma di dispositivi vanno da smartphone, smart TV, PC e loro diversi sistemi operativi.

Tutto inizia con te premendo quel pulsante Click e viene effettuata una richiesta ai server Netflix che sono principalmente ospitati su AWS.

Bilanciamento del carico elastico AWS

La richiesta insieme a più altre richieste viene inoltrata al saldo del carico elastico di Amazon per instradarsi verso il traffico diverse istanze EC2.

Il carico è bilanciato in diverse zone che sono conosciute come schema di bilanciamento a due livelli.

Prima che venga disponibile un video, si verificano preelaborazione, questo va dalla ricerca di errori, convertendo il video in un diverso formato o risoluzione, ecc., Questo è noto come transcodifica.

Il transcodifica viene eseguito per adattarsi ai vari dispositivi supportati dalla piattaforma, poiché puoi immaginare che uno smartphone necessiti di una risoluzione minore e dispositivi di grandi dimensioni come Smart TV necessita di una risoluzione più elevata.

I file sono anche ottimizzati in base alla velocità di rete, quando il fornitore di servizi Internet (ISP) sta vivendo una rete lenta, quindi la risoluzione potrebbe essere ridotta.

Se hai velocità molto veloci, è giusto ricevere il tuo video in alta risoluzione.

Ciò è ottenuto dalla creazione di più copie dello stesso film, in diverse risoluzioni.

Un film potrebbe essere un file da 60 GB che è suddiviso in diversi pezzi che sono a bordo in una coda, mentre escono dalla coda che vengono raccolti da diversi lavoratori EC2 e si sono uniti in Amazon S3.

Zuul

Questo è un servizio gateway creato da Netflix che fornisce routing e monitoraggio dinamici.

La richiesta inviata dal tuo dispositivo ora colpisce il proxy netty, che lo invia al filtro in entrata e può essere utilizzata per l’autenticazione, il routing o la decorazione di questa richiesta.

A seguito di ciò, la richiesta viene inviata al filtro del punto finale che viene utilizzato per restituire come richiesta statica o inoltrare la richiesta ai servizi di back-end.

Una volta ricevuta una risposta da un servizio back -end, il filtro endpoint lo trasferirà nei filtri in uscita.

Il filtro in uscita esegue un processo noto come gzipping sul contenuto e aggiunge o rimuove l’intestazione. Una volta completati i due processi, una risposta viene inviata al proxy netty.

Hystrix

Con così tanti processi che si verificano è sicuramente necessario un meccanismo di tolleranza agli errori.

Il diagramma sopra illustra gli endpoint in un sistema, se gli endpoint 4 e 5 lanciano errori, quindi l’intero sistema non dovrebbe soffrire, quindi un hysterix viene utilizzato per isolare gli endpoint.

Hysterix è semplicemente spiegato un algoritmo che decora i microservizi indicati anche come endpoint in un sistema.

Microservizi

I microservizi sono fondamentali per alimentare l’infrastruttura API Netflix, poiché una richiesta dell’utente viene effettuata nella chiamata a qualsiasi endpoint, passa agli altri punti finali attraverso un processo iterativo.

I microservizi possono essere distribuiti in diverse istanze utilizzando HTTP o chiamate di procedura remota (RPC).

Il problema comune con un sistema alimentato a microservizio è che qualsiasi nodo può fallire e l’intero sistema può cascata in fallimento, come possiamo controllarlo?

Come accennato in precedenza in un modo è l’algoritmo Hysterix che isola i punti finali e l’altro sta riducendo le dipendenze dai nodi vitali.

Sopra abbiamo due diagrammi, uno è del nodo A e delle sue dipendenze, e l’altro è il nodo D e le sue dipendenze.

Confrontando i due diagrammi che possiamo vedere che il nodo A ha più dipendenze e nodo B solo una, quindi il nodo D è il nodo affidabile e scalabile da cui possiamo eseguire servizi importanti.

Con l’ingegneria del software dovremmo sempre guardare al caso migliore e peggiore, un sistema come Netflix Crashing dovrebbe significare che sono disponibili almeno funzionalità di base per i clienti.

Gli endpoint critici come la ricerca, il gioco, la navigazione dovrebbero sempre essere assegnati meno dipendenze.

Un’altra caratteristica chiave in un sistema di microservizio FAILSAFE ha endpoint di stato senza stato, se un endpoint è giù, l’utente dovrebbe ottenere una risposta da qualsiasi altro nodo/endpoint.

EV Cache

EvCache è un livello di memorizzazione nella cache personalizzato di proprietà di Netflix che si basa su Mamcache D e Spymemcache D. Utilizza più cluster distribuiti su istanze EC2 per ridurre la pressione sui punti finali.

Quando il sistema EvCache client riceve letture e scrive, li distribuisce a tutti i nodi disponibili in quel cluster, ciò significa che la cache è distribuita uniformemente all’interno della rete.

Banca dati

Netflix utilizza due diversi sistemi di database, vale a dire Mysql e Apache Cassandra.

Il mio SQL è un sistema di gestione del database relazionale (RDBMS) e Cassandra è il sistema NoSQL.

MySQL viene utilizzato per archiviare informazioni utente come informazioni di fatturazione, transazioni in quanto richiedono la conformità delle risorse.

Il resto dei dati come i big data e la cronologia di visualizzazione degli utenti sono archiviati nel sistema di database Cassandra.

Il mio SQL è stato distribuito su istanze di Amazon Large EC2 utilizzando un Master NODB per Master Setup.

Quando viene realizzata una scrittura, viene anche replicata all’altro nodo principale, quindi verrà inviato solo un aggiornamento per le domande che sono state fatte al master.

Le repliche per ogni nodo sono fatte per gestire la scalabilità e l’affidabilità degli RDBM, queste repliche sono disponibili a livello locale e tra i data center.

Quando un nodo principale fallisce le configurazioni DNS vengono fatte per reindirizzare le query al master giusto.

Cassandra

Apache Cassandra ha guadagnato la sua reputazione come sistema di database open source senza schema SQL in grado di gestire grandi quantità di dati.

Netflix ha adottato questo sistema di gestione della base di dati per gestire i loro big data, poiché Netflix ha iniziato a accumularsi e riempire i nodi Cassandra.

Il rapporto tra le letture dell’utente e le scritture è diventato da 9 a 1 spinto al team di ingegneria di Netflix per ottimizzare il sistema di database.

È stato sviluppato un sistema di lavoro programmato che ha separato i dati nei seguenti; cronologia della visione dal vivo e cronologia della visione compressa, con la storia della visione dal vivo la più recente.

I lavori programmati hanno compresso la vecchia storia di visualizzazione che è mantenuta fino a quando non è necessario, la recente storia di visualizzazione viene utilizzata per la costruzione di modelli di apprendimento automatico.

Apache Kafka e Chukwa

Apache Chukwa viene utilizzato per la raccolta di registri dai sistemi distribuiti, deriva dalla scalabilità e robustezza Hadoop.

Tutti i registri e gli eventi di diverse parti (Hysterix e Filter inbound) all’interno del sistema vengono inviati a Chukwa.

Questi dati vengono quindi visualizzati e analizzati con la dashboard build-in. Chukwa inoltra i dati ad Amazon S3 e una copia di questi dati viene inviata ad Apache Kafka.

I dati vengono quindi instradati con il servizio di routing Kafkas a vari meccanismi sincronizzati come Amazon S3, Elastic Search e altri Kafka secondari.

Ricerca elastica

Gli eventi e i tronchi fluiscono attraverso Chukwa, Kafka e la fermata finale è la ricerca elastica.

Ci sono circa 150 cluster e 3500 istanze che gestiscono la ricerca elastica sul backend AWS.

Il caso di utilizzo pratico della ricerca elastica sarebbe errori di streaming sperimentati dai clienti; Il servizio clienti può semplicemente cercare l’errore utilizzando i dettagli del cliente e l’errore verrà visualizzato, insieme ai dettagli dell’errore.

La ricerca elastica può anche essere utilizzata per visualizzare; Iscriviti, accedi e tieni traccia dell’utilizzo.

Guarda anche:

https: // docs.AWS.Amazon.com/awsec2/ultimo/userguide/concetti.htmlhttps: // www.Loginworks.com/blogs/how-netflix-us-data-to-win-the-race/
https: // github.com/netflix/hystrix
https: // github.com/netflix/zuul

Se questo post è stato utile, fai clic sul pulsante CLAP �� di seguito per mostrare il tuo supporto per l’autore ��