סרטים גדולים, נתונים גדולים: נטפליקס מחבקת את NOSQL בענן

על ידי קבלת כל העוגיות, אתה מסכים לשימוש שלנו בעוגיות כדי לספק ולתחזק את השירותים והאתר שלנו, לשפר את איכות Reddit, להתאים אישית את התוכן Reddit ופרסום, ומדוד את יעילות הפרסום.

סיכום

נטפליקס, עם 33 מיליון מנויים בלמעלה מ -40 מדינות, נאלצה להתאים את הנתונים והאסטרטגיות שלה ככל ששירות הסטרימינג שלה גדל. החברה היגרה משימוש במסד הנתונים של Oracle למסד הנתונים של NOSQL קסנדרה, משפרת את הזמינות וביטול השבתה הנגרמת על ידי שינויים בסכימת מסד נתונים. עם העלייה בביקוש לזמינות עקב לקוחות רבים יותר המשתמשים בשירות הסטרימינג של נטפליקס, החברה הייתה צריכה להעריך מחדש את הנתונים והגישת האחסון שלה.

נטפליקס השתמשה בתחילה במסד הנתונים של Oracle כקצה האחורי לשירות הסטרימינג שלה. עם זאת, ככל שבסיס הלקוחות והנתונים גדלו במהירות, החברה הבינה שהיא צריכה לקנה מידה ולשפר את הזמינות. כדי לטפל בכך, נטפליקס העבירה את הנתונים שלה לשירותי האינטרנט של אמזון והחליפה את אורקל ב- Apache Cassandra, מסד נתונים NOSQL עם קוד פתוח הידוע במדרגיותו ואמינותו.

אחד החסרונות העיקריים בשימוש במסד נתונים מרכזי של SQL כמו אורקל היה הסיכון לנקודה יחידה של כישלון. הארכיטקטורה המופצת של קסנדרה סיפקה גמישות טובה יותר ליצור ולנהל אשכולות נתונים, במיוחד בענן. ההגירה מאורקל לקסנדרה ביטלה גם את הצורך בהשבתה במהלך שינויים בסכימה, ושיפר את הזמינות והמדרגיות.

כיום, קסנדרה היא בסיס הנתונים המועדף כמעט על כל צרכי הנתונים של נטפליקס, כולל מידע על חשבון לקוחות, דירוג סרטים, מטא נתונים, סימניות ויומנים. השימוש בקסנדרה איפשר לנטפליקס להגדיל את שירותיה ברחבי העולם, והגיב במהירות לשינויים ודרישות באזורים שונים בעולם.

נקודות מפתח

1. נטפליקס היגרה משימוש באורקל לקסנדרה כמסד הנתונים הראשי שלה.

על ידי מעבר לקסנדרה, נטפליקס שיפרה את הזמינות וחיסלה את השבתה שנגרמה כתוצאה משינויי סכימה.

2. הצמיחה המהירה של שירות הסטרימינג של נטפליקס חייבה הערכה מחודשת של הנתונים ואסטרטגיות האחסון שלה.

ככל שבסיס הלקוחות והנתונים גדלו, החברה הייתה צריכה לקנה מידה ולהבטיח זמינות כדי לעמוד בביקוש ההולך וגובר.

3. הארכיטקטורה המופצת של קסנדרה מספקת גמישות ומדרגיות טובים יותר בהשוואה למסד נתונים מרכזי של SQL כמו Oracle.

קסנדרה מאפשרת לנטפליקס ליצור ולנהל אשכולות נתונים במהירות, במיוחד בענן.

4. נטפליקס העברה בתחילה את הנתונים שלה מאורקל למסד הנתונים המופץ של Amazon לפני המעבר לקסנדרה.

זה איפשר לנטפליקס לטפל במגבלות של מסד נתונים של SQL ולבחון את המדרגיות והאמינות של קסנדרה.

5. עם קסנדרה, נטפליקס צברה זריזות עסקית טובה יותר ויכולת להתרחש באופן גלובלי.

נטפליקס כבר לא צריכה לתכנן קיבולת מראש ויכולה ליצור אשכולות קסנדרה בכל אזור בעולם במהירות.

6. שינויים בסכימה בקסנדרה אינם דורשים השבתה.

בניגוד לאורקל, אין סכמות לשינוי בקסנדרה, ביטול השבתה ושיפור הזמינות.

7. נטפליקס מאחסנת 95% מהנתונים שלה בקאסנדרה.

זה כולל מידע על חשבון לקוחות, דירוג סרטים, מטא נתונים, סימניות ויומנים.

8. בעוד שניהול מקרים מרובים של קסנדרה דורש יותר ניהול, הם נוטים להישבר בזמנים שונים.

זה מבטיח שרק חתיכות קטנות של המערכת מושפעות בבת אחת, ולא על המערכת כולה.

9. קסנדרה סיפקה לנטפליקס את היכולת להתאים ולהגיב במהירות לדרישות המשתנות והרחבת השוק.

נטפליקס יכולה בקלות לקנה מידה את שירותיה לאזורים חדשים, תוך התאמה של צרכי הזרמה והעדפות משתנים.

10. ההגירה לקסנדרה הצליחה עבור נטפליקס, ומאפשרת לה לטפל בנפחים גדולים של נתונים ולשמור על שירות סטרימינג אמין.

השימוש בקסנדרה עזר לנטפליקס לשמור על שביעות רצון הלקוחות ולהגדיל את טווח ההגעה הגלובלי שלה.

שאלות

1. מדוע נטפליקס נודדת מאורקל לקסנדרה?

נטפליקס העברה מאורקל לקסנדרה כדי לשפר את הזמינות ולבטל את השבתה במהלך שינויים בסכימה.

2. מה היו האתגרים שנטפליקס מתמודדת עם מסד נתונים של SQL כמו אורקל?

נטפליקס התמודדה עם אתגרים כמו נקודה יחידה של כישלון, מדרגיות מוגבלת והשבתה במהלך שינויים בסכימה עם אורקל.

3. איך הארכיטקטורה המופצת של קסנדרה מועילה לנטפליקס?

הארכיטקטורה המופצת של קסנדרה מספקת גמישות ומדרגיות טובים יותר, ומאפשרת לנטפליקס ליצור ולנהל אשכולות נתונים במהירות, במיוחד בענן.

4. כיצד נטפליקס בדקה בתחילה את המדרגיות והאמינות של קסנדרה?

נטפליקס העברה בתחילה את הנתונים שלה מאורקל למסד הנתונים המופץ של Amazon לפני המעבר לקסנדרה.

5. אילו יתרונות מציעה קסנדרה נטפליקס מבחינת זריזות עסקית ומדרגיות גלובלית?

קסנדרה מספקת לנטפליקס זריזות עסקית טובה יותר, מכיוון שהם כבר לא צריכים לתכנן יכולת מראש ויכולים ליצור אשכולות בכל אזור בעולם במהירות.

6. מדוע השבתה כבר לא נדרשת לשינויי סכימה בקסנדרה?

קסנדרה אינה דורשת שינויים בסכימה, מבטל את הצורך בהשבתה ושיפור הזמינות.

7. איזה אחוז מהנתונים של נטפליקס מאוחסנים בקאסנדרה?

כמעט 95% מכל הנתונים של נטפליקס, כולל מידע על חשבון לקוחות, דירוג סרטים, מטא נתונים, סימניות ויומנים, מאוחסן בקאסנדרה.

8. כיצד משפיעה על ניהול מקרים מרובים של קסנדרה?

אמנם זה דורש יותר ניהול, אולם ניהול מקרים מרובים של קסנדרה מבטיח שרק חתיכות קטנות מהמערכת מושפעות בבת אחת במקרה של כישלון.

9. איך קסנדרה אפשרה לנטפליקס להסתגל ולהגיב לדרישות משתנות והרחבת שוק?

קסנדרה סיפקה לנטפליקס את היכולת להדרג במהירות את שירותיה לאזורים חדשים, תוך התאמה של צרכי הזרמה והעדפות שונות.

10. כיצד הגירה ההגירה לקסנדרה?

ההגירה לקסנדרה אפשרה לנטפליקס לטפל בנפחים גדולים של נתונים ולשמור על שירות סטרימינג אמין, להבטיח את שביעות רצון הלקוחות והצמיחה העולמית.

סרטים גדולים, נתונים גדולים: נטפליקס מחבקת את NOSQL בענן

על ידי קבלת כל העוגיות, אתה מסכים לשימוש שלנו בעוגיות כדי לספק ולתחזק את השירותים והאתר שלנו, לשפר את איכות Reddit, להתאים אישית את התוכן Reddit ופרסום, ומדוד את יעילות הפרסום.

האם נטפליקס משתמשת באורקל

Reddit ושותפיה משתמשים בעוגיות וטכנולוגיות דומות כדי לספק לך חוויה טובה יותר.

על ידי קבלת כל העוגיות, אתה מסכים לשימוש שלנו בעוגיות כדי לספק ולתחזק את השירותים והאתר שלנו, לשפר את איכות Reddit, להתאים אישית את התוכן Reddit ופרסום, ומדוד את יעילות הפרסום.

על ידי דחיית עוגיות לא חיוניות, Reddit עשוי עדיין להשתמש בעוגיות מסוימות כדי להבטיח את הפונקציונליות המתאימה של הפלטפורמה שלנו.

למידע נוסף, אנא עיין בהודעת העוגיות שלנו ומדיניות הפרטיות שלנו .

קבל את אפליקציית Reddit

סרוק את קוד ה- QR הזה כדי להוריד את האפליקציה עכשיו

או לבדוק את זה בחנויות האפליקציות

r/oraclecloud

r/oraclecloud

Subreddit עבור אלה שמתפתחים או ארכיטקטורים בפתרונות בענן Oracle בשני PaaS או IAAS.

חברים ברשת

מאת unkypoo

נטפליקס דרך. Oracle Cloud VM VPN

יש לי מופע בבריטניה בענן Oracle ויש לי הגדרת Wireguard.

על הנתב שלי (צעק ל- GL.inet beryl) אני מגדיר את לקוח Wireguard, חבר את המכשירים האישיים שלי i.ה. מקבוק, מחשב, טלפון וכו ‘. ונראה שהם מופיעים כמו בבריטניה, אני יכול לגשת ל- BBC iplayer, ערוץ 4 וכו ‘.

עם זאת, כשאני מנסה את נטפליקס, זה פשוט מחבר ורק מראה לי מה זמין במיקומי הגיאוגרפי שלי.

הדרך היחידה שהיא יכולה לקרות היא שנטפליקס משתמשת בנתוני ה- GPS שלי. מכיוון שניהלתי בדיקות רבות כדי לשלול יכולות שונות כמו דליפת DNS וכו ‘. וכל השאר עובד מלבד נטפליקס.

האם למישהו היה ניסיון דומה וכל שיטה המשתמשת בה הם הצליחו לעקוף/לתקן זאת?

סרטים גדולים, נתונים גדולים: נטפליקס מחבקת את NOSQL בענן

נטפליקס היא הקאהונה הגדולה של עסקים במדיה ברשת, עם 33 מיליון מנויים בלמעלה מ- 40 מדינות. ככל ששירות הסטרימינג “Watch Now” של נטפליקס גדל, החברה נאלצה לחשוב מחדש על נתונים ואסטרטגיות האחסון שלה כדי להתמודד עם עומסי העבודה המנוהלים בענן. כיום החברה כמעט שלמה בהגירה מאורקל למסד הנתונים של NOSQL קסנדרה, משפרת את הזמינות ובעצם ביטול השבתה שנגרמה על ידי שינויים בסכימת מסד נתונים.

נטפליקס השיקה את שירות הסטרימינג שלה בשנת 2007, תוך שימוש במסד הנתונים של אורקל כקצה האחורי. “היה לנו מרכז נתונים יחיד, מה שאומר שהיה לנו נקודת כישלון יחידה”, מסביר אדריאן קוקקרופט, אדריכל ענן בנטפליקס. “התקרבנו למגבלות על טראף ויכולת. כעת, כשאנשים יכולים לצפות בתכנות של נטפליקס הזרמה מהטלפונים שלהם, ממכשירי Wii, תיבות רוקו ורבים אחרים, הביקוש לזמינות גדל כל הזמן. יש לנו יותר לקוחות בכל רבע.”

הנתונים צמחו מהר כמו בסיס הלקוחות, אומר קוקקרופט: מספר בקשות ה- API בינואר 2011 היה גבוה פי 37 מהבקשות בינואר 2010. החברה ידעה כי הפסקות או סטרימינג באיכות ירודה יכולים להסיט את הלקוחות. “ידענו שאנחנו צריכים לצאת ממרכז הנתונים, כדי שנוכל להמשיך לרוץ ולהמשיך לצמוח”, אומר קוקקרופט.

בשנת 2010, נטפליקס החלה להעביר את הנתונים שלה לשירותי אינטרנט של אמזון. השלב הבא היה להחליף את מסד הנתונים של Oracle ב- Apache Cassandra, מסד נתונים של קוד פתוח NOSQL הידוע בזכות המדרגיות שלו ואמינות הארגון שלו. “עבורנו, הבעיה עם מסד נתונים מרכזי של SQL הייתה שהכל היה במקום השני שנוח רק עד שהוא נכשל”, מסביר קוקקרופט. “ומכיוון שמאגרי המידע האלה יקרים, אתה נוטה להכניס את הכל שם. ואז הכל נכשל בבת אחת.”

בעיה נוספת הייתה ששינויי סכימה דרשו השבתה של המערכת. “כל שבועיים היו לנו לפחות 10 דקות של השבתה להכניס את הסכימה החדשה”, הוא מסביר. “המגבלות של מסד נתונים של SQL השפיעו על זמינותנו ומדרגיותנו.”

החברה בחרה בקסנדרה מ- DataStax בגלל הגמישות שלה ליצור ולנהל אשכולות נתונים במהירות, במיוחד בענן. כריסטוס קלנטיס, מנהל הנדסת ענן ופלטפורמות של נטפליקס, מסביר כי “פתרונות כמו אורקל לא פועלים היטב על חומרה וירטואלית . הארכיטקטורה של קסנדרה וכוונון הזמינות והעקביות והמדרגיות הפכו אותה לבחירה ברורה.”כדי לטפל בבעיות אלה, נטפליקס העבירה תחילה נתונים מאורקל למסד הנתונים המופץ של אמזון – ובסופו של דבר העבירה את הנתונים לקאסנדרה.

“עם קסנדרה, אנו מקבלים זריזות עסקית טובה יותר”, אומר קוקקרופט. “אנחנו לא צריכים לתכנן יכולת מראש, אנחנו לא צריכים לבקש רשות של אנשים אחרים לבנות עבורנו דברים ואנחנו לא דואגים להיגמר החלל או הכוח. אני יכול ליצור אשכול קסנדרה בכל אזור בעולם בעוד 10 דקות “, אומר קוקקרופט. “כאשר החבר’ה השיווק מחליטים שאנחנו רוצים לעבור לחלק מסוים של העולם, אנחנו מוכנים.”

בנוסף, השבתה עקב שינויים בסכימה כבר לא נדרשת. “אין סכמות לשינוי בקסנדרה – לכן אין זמן השבתה”, אומר קוקקרופט.

כמובן, עם מספר מקרים של קסנדרה, יש יותר מערכות לניהול מאשר עם מסד הנתונים המונוליטי של אורקל. אבל קוקקרופט מציין, “הם נוטים להישבר בזמנים שונים, כך שאתה מאבד חתיכות קטנות מהמערכת, ולא את המערכת כולה בבת אחת. כמו כן, כל חנות פשוט יותר לניהול.”

כיום, קסנדרה היא בסיס הנתונים המועדף כמעט על כל צרכי בסיס הנתונים בנטפליקס. החברה מאחסנת 95 אחוז מכל הנתונים שלה בקסנדרה, כולל מידע על חשבון לקוחות, דירוג סרטים, מטא נתונים של סרטים, סימניות סרטים ויומנים.

נטפליקס מפעילה יותר מ- 50 אשכולות קסנדרה עם למעלה מ- 750 צמתים. בשיא הם מעבדים יותר מ- 50,000 קריאות בשנייה ו -100,000 כותבים בשנייה בכל האשכולות שלהם. בממוצע הם מעבדים יותר מ -2.מיליארד קוראים ביום אחד ויותר מ -4.3 מיליארד כותבים ביום אחד.

Cassandra IS סיפקה בסיס חדש ומוצק יותר עבור נטפליקס. כמו שאומר קוקקרופט, “זה מאפשר לנו לספק את השירות שחברינו סומכים.”

מאמר זה, “סרטים גדולים, נתונים גדולים: נטפליקס מחבק את NoSQL בענן”, פורסם במקור ב- Infoworld.com. קרא עוד מבלוג Think Big Data של אנדרו למפיט, והמשיך בהתפתחויות האחרונות בנתונים גדולים ב- Infoworld.com לחדשות הטכנולוגיה העסקית האחרונה, עקוב אחר InfoWorld.com בטוויטר.

• קוד פתוח
• ניהול נתונים
• Jakarta EE
• פיתוח תוכנה
• נתונים גדולים
• מסדי נתונים של NOSQL
• ג’אווה

זכויות יוצרים © 2013 IDG Communications, Inc.

ERP Netflix משתמשת במערכת אורקל כעמוד השדרה

החלק הבלתי מורגש של נכס פחת נקרא א) פחת שנצבר. ב) ערך מימוש נטו. ג) ערך שיורי משוער. ד) ערך נוכחי נטו.

הצמיחה האדירה של מעבדת וואנג הותירה את החברה עם בעיה רצינית. לקוחות היו מחכים לעתים קרובות חודשים לוואנג למלא הזמנות ועבד חשבוניות. פיתויים חוזרים ונשנים של וואנג המוחלטים של וואנג

ERP Netflix משתמשת במערכת אורקל כעמוד השדרה של העסק שלהם

מערכת ניהול. הוא משמש לניהול ביצועי מלאי, פיננסי וחברה ונתוני לקוחות. זה גם בבסיס מערכת הסינטאץ ‘. בנוסף לניהול נתונים עסקיים, כל ספריית ה- DVD מיוצגת ומיוצגת באתר יחד עם נתוני לקוחות. ביצועי החברה ולוגיסטיקה מנוהלים גם דרך מערכת Oracle. החברה נבנתה מהיסוד באמצעות מערכת זו. נטפליקס משתמשת “אסטרטגיית מיקרו לדיווח וניתוח של נתונים פיננסיים, קמפיינים שיווקיים והמלצות סרטים” אסטרטגיית מיקרו תאפשר לנטפליקס להשיג תובנה חשובה עם נתוני המלצות סרטים מותאמים אישית ונתוני שיווק משמעותיים, זה יאפשר לנטפליקס להעריך טוב יותר וליצור קמפיינים שיווקיים יוצאי דופן. CRM מערכת CRM משתמשת במידע על לקוחות כדי להשיג תובנות על צרכיהם ורצונם על מנת לנסות ולשרת אותם טוב יותר. ל- Netflix יש תוכנה אינטליגנטית. לדוגמה, נטפליקס משתמשת במערכת ממליצים; יישום אינטראקטיבי זה אוסף נתונים על אדם ומסיק מהם מסקנות. משם, מערכת ממליצים זו תציע סרטים המבוססים על פריטים שנצפו בעבר או על המשתמש’S דמיון למשתמשים אחרים. נטפליקס משתמשת גם בתוכנת בינה עסקית עבור החברה שלהם המכונה מיקרו אסטרטגיה. נטפליקס משתמשת “אסטרטגיית מיקרו לדיווח וניתוח של נתונים פיננסיים, קמפיינים שיווקיים והמלצות סרטים” אסטרטגיית מיקרו תאפשר לנטפליקס להשיג תובנה חשובה עם נתוני המלצות סרטים מותאמים אישית ונתוני שיווק משמעותיים, זה יאפשר לנטפליקס להעריך טוב יותר וליצור קמפיינים שיווקיים יוצאי דופן. נטפליקס מספקת תמיכת לקוחות נאותה ללקוחותיהם, מה שמוכיח כגישה פילוסופית ומוצלחת נהדרת. בתגובה יעילה ללקוח שלהם’הצרכים יוכיחו לבנות קשרים נאמנים וארוכי טווח עם הלקוחות שלהם. אינטרנט לשימוש בנטפליקס, הצרכנים נרשמים למנוי בחברה’s אתר האינטרנט. במחיר חודשי אחד נמוך, חברי נטפליקס צופים באופן מיידי בסרטים ותוכניות טלוויזיה ללא הגבלה הזורמות דרך האינטרנט למחשבים אישיים, מקינטוש וטלוויזיות באמצעות מגוון רחב של מכשירים. האינטרנט מאפשר לאנשים להיכנס לחשבון נטפליקס שלהם בכל אחד מהמכשירים שיש להם WiFi או גישה לאינטרנט נטפליקס #2 נטפליקס הוקמה בשנת 1997 ומאז הפכה לעולם’S שירות מנוי אינטרנט מוביל לצפייה בסרטים ותכניות טלוויזיה עם 24 מיליון U.ג. חברים ומעל מיליון בקנדה.

Product Netflix הוא אתר מותאם אישית המספק למשתמשים שלו גישה מקוונת להשכרה של תכניות סרטים וטלוויזיה. שרשרת ערך נטפליקס אוספת כל סרט’S ביקורות על קופות ודירוג טלוויזיה וכן לקוחות’S חיפוש ולחץ על התנהגויות שמוזנים לאחר מכן לכלי מקוון בשם CineMatch המנתח נתונים אלה על מנת לספק המלצות מותאמות אישית לכל משתמש.

רוצה לקרוא את כל 10 העמודים?

תצוגה מקדימה של 6 מתוך 10 עמודים מעלה את מסמכי הלימוד שלך או הופכים לחבר.

צפה במסמך מלא

רוצה לקרוא את כל 10 העמודים?

תצוגה מקדימה של 6 מתוך 10 עמודים מעלה את מסמכי הלימוד שלך או הופכים לחבר.

צפה במסמך מלא

סוף התצוגה המקדימה

רוצה לקרוא את כל 10 העמודים? העלה את מסמכי הלימוד שלך או הפך לחבר.

צפה במסמך מלא

חֶברָה

קבל גיבור קורס

כלי לימוד

עֶזרָה

משפטי

• מדיניות זכויות יוצרים
• יושרה אקדמית
• קוד הכבוד שלנו
• מדיניות הפרטיות
• תנאי שימוש
• ייחוס

איך נטפליקס עובדת

תהית אי פעם מה קורה מאחורי הקלעים של שירות הזרמת התוכן האהוב עלינו?

ובכן אתה’מחדש במזל שכן אסביר את הקצה האחורי של נטפליקס ב- Amazon Web Services (AWS) ואנסה לפשט את זה.

נטפליקס משתמשת בשני שירותי ענן, כלומר שירותי אינטרנט של אמזון ו- Open Connect, ששניהם עובדים בצורה חלקה כדי לספק אותנו כניסיון הצפייה יוצא הדופן של המשתמשים.

Open Connect זה מה שנטפליקס משתמשת כרשת משלוחי התוכן שלה, ולא תצלול עמוק לנושא.

לָקוּחַ

נטפליקס תומכת במגוון רחב של מכשירים נעים בין סמארטפונים, טלוויזיות חכמות, מחשבים אישיים ומערכות ההפעלה השונות שלהם.

הכל מתחיל בכך שאתה לוחץ על כפתור הלחיצה והבקשה לשרתי נטפליקס המתארחים בעיקר ב- AWS.

איזון עומסים אלסטי AWS

הבקשה יחד עם בקשות מרובות אחרות מועברת למאזן העומס האלסטי של אמזון כדי לעבור לתנועה מקרים EC2 שונים.

העומס מאוזן באזורים שונים המכונה תוכנית האיזון הדו-שכבתית.

לפני שסרטון זמין, עיבוד מקדים מתרחש זה נע בין מציאת שגיאות, והמיר הסרטון לפורמט או רזולוציה אחרת וכו ‘, זה מכונה קידוד.

קידוד מתבצע כדי להתאים למכשירים השונים הנתמכים על ידי הפלטפורמה, מכיוון שאתה יכול לדמיין שסמארטפון זקוק לרזולוציה קטנה יותר ומכשירים גדולים כמו טלוויזיות חכמות זקוקות לרזולוציה גבוהה יותר.

קבצים מותאמים גם על פי מהירות הרשת, כאשר ספק שירותי האינטרנט שלך (ISP) חווה רשת איטית אז הרזולוציה עשויה להיות ירידה.

אם יש לך מהירויות מהירות מאוד, זה רק הוגן שתקבל את הסרטון שלך ברזולוציה גבוהה.

זה מושג על ידי יצירת עותקים מרובים של אותו סרט, ברזולוציות שונות.

סרט עשוי להיות קובץ של 60 ג’יגה -בייט אשר מחולק לנתחים שונים אשר משולבים לתור, כאשר הם יוצאים מהתור שהם נאספים על ידי עובדי EC2 שונים ומתמזגים לאמזון S3.

זול

זהו שירות Gateway שנוצר על ידי Netflix המספק ניתוב ומעקב דינאמי.

הבקשה ששלחת מהמכשיר שלך פוגעת כעת ב- Netty Proxy, ששולחת אותו למסנן הנכנס וניתן להשתמש בה לאימות, ניתוב או לקישוט בקשה זו.

בעקבות זאת, הבקשה נשלחת למסנן נקודת הקצה המשמש להחזרת בקשה סטטית או להעביר את בקשתך לשירותי הקצה האחורי.

לאחר קבלת תגובה משירות Backend, מסנן נקודת הקצה יעביר אותו למסננים היוצאים.

המסנן היוצא מבצע תהליך המכונה Gzipping בתוכן ומוסיף או מסיר את הכותרת. לאחר השלמת שני התהליכים, תגובה נשלחת חזרה ל- Netty Proxy.

Hystrix

עם כל כך הרבה תהליכים שקורים, בהחלט יש צורך במנגנון סובלנות לתקלות.

התרשים לעיל ממחיש נקודות קצה במערכת, אם נקודות קצה 4 ו -5 שגיאות זורקות אז המערכת כולה לא צריכה לסבול, ומכאן שהיסטריקס משמש לבידוד נקודות קצה.

פשוט מוסבר היסטריקס הוא אלגוריתם המקשט שירותי מיקרו המכונה גם נקודות קצה במערכת.

שירותי מיקרו

שירותי מיקרו הם המפתח להפעלת תשתית ה- API של Netflix, מכיוון שבקשת משתמש מגיעה בשיחה נעשית לכל נקודת קצה, עוברת לנקודות הסיום האחרות בתהליך איטרטיבי.

ניתן להפיץ את שירותי המיקרו במקרים שונים באמצעות שיחות HTTP או שיחות נוהל מרחוק (RPC).

הבעיה הנפוצה עם מערכת המופעלת על שירות מיקרו היא כל צומת יכול להיכשל והמערכת כולה יכולה להתפלל לכישלון, כיצד אנו שולטים בכך?

כפי שהוזכר לעיל דרך אחת היא האלגוריתם ההיסטריקס המבודד נקודות סיום והשני מפחית את התלות בצמתים חיוניים.

מעל יש לנו שתי דיאגרמות, האחת היא של צומת A ותלותו, והשנייה היא צומת D ותלותו.

בהשוואה בין שתי הדיאגרמות אנו יכולים לראות שלצומת A יש תלות מרובות וצומת B רק אחד, ומכאן שצומת D הוא הצומת האמין והניתן להרחבה עליו אנו יכולים להפעיל שירותים חשובים.

בעזרת הנדסת תוכנה עלינו להסתכל תמיד על המקרה הטוב והגרוע ביותר, מערכת כמו נטפליקס מתרסקת אמורה להיות לפחות פונקציות בסיסיות זמינות עבור לקוחות.

תמיד תמיד יש להקצות נקודות קצה קריטיות כמו חיפוש, משחק, ניווט פחות תלות.

לתכונה מפתח נוספת במערכת שירותי מיקרו של Failsafe יש נקודות קצה חסרות מדינה, אם נקודת קצה למטה, המשתמש צריך לקבל תגובה מכל צומת/נקודת קצה אחרת.

מטמון EV

Evcache היא שכבת מטמון בהתאמה אישית בבעלות נטפליקס המבוססת על mamcache d ו- spymemcache d. הוא משתמש באשכולות מרובים שנפרסים במקרים EC2 כדי להפחית את הלחץ על נקודות הסיום.

כאשר מערכת Evcache של הלקוח מקבלת קריאות וכותבת שהיא מפיצה אותם לכל צומת זמין באשכול זה, פירוש הדבר שהמטמון מופץ באופן שווה בתוך הרשת.

מאגר מידע

Netflix משתמשת בשתי מערכות מסדי נתונים שונות, כלומר MySQL ו- Apache Cassandra.

SQL שלי היא מערכת ניהול מסדי נתונים יחסית (RDBMS) וקאסנדרה היא מערכת NOSQL.

MySQL משמש לאחסון מידע על משתמשים כגון מידע על חיוב, עסקאות מכיוון שאלו זקוקים לתאימות לנכס.

שאר הנתונים כמו נתונים גדולים והיסטוריית הצגת משתמשים מאוחסנים במערכת מסד הנתונים של קסנדרה.

ה- SQL שלי נפרס במקרים גדולים של אמזון EC2 באמצעות אדון NODB למערך המאסטר.

כאשר מתבצעת כתיבה, היא משוכפלת גם לצומת הראשי האחר, אז יישלח רק עדכון לשאלות שנעשו למאסטר.

העתקים עבור כל צומת ונעשים כדי להתמודד עם יכולת המדרגיות והאמינות של ה- RDBMS, העתקים אלה זמינים באופן מקומי ובמרכזי נתונים.

כאשר צומת אב אחד נכשל בתצורות DNS נעשות להפניה מחדש של שאילתות למאסטר הימני.

קסנדרה

אפאצ’י קסנדרה זכתה למוניטין שלה כמערכת מסד נתונים ללא סכמה של קוד פתוח ללא SQL שיכולה להתמודד עם כמויות גדולות של נתונים.

נטפליקס אימצה מערכת ניהול בסיס נתונים זו כדי לטפל בנתונים הגדולים שלהם, כאשר נטפליקס גדלה נתונים החלו להיערם ולמלא צמתים של קסנדרה.

היחס בין קריאות המשתמש ל- Writs הפך ל -9 עד 1 להניע את צוות ההנדסה בנטפליקס כדי לייעל את מערכת מסד הנתונים.

פותחה מערכת עבודה מתוזמנת המפרידה בין נתונים לדברים הבאים; היסטוריה של צפייה חיה והיסטוריה של צפייה דחוסה, כאשר היסטוריה של צפייה חיה היא האחרונה.

המשרות המתוכננות דחוסו את היסטוריית הצפייה הישנה שנשמרת עד שצריך לכל מטרה, היסטוריית הצפייה האחרונה משמשת לבניית דגמי למידת מכונות.

אפאצ’ה קפקא וצ’וקווה

Apache Chukwa משמש לאיסוף יומנים ממערכות מבוזרות, זה נובע מדרגיות Hadoop וחוסן.

כל היומנים והאירועים מחלקים שונים (היסטריקס ומסנן נכנס) במערכת נשלחים לצ’וקווה.

לאחר מכן נתונים אלה מדמיינים ומנותחים באמצעות לוח המחוונים לבנייה. צ’וקווה מעביר את הנתונים לאמזון S3 והעתק של נתונים אלה נשלח לאפצ’ה קפקא.

לאחר מכן מנותבים את הנתונים באמצעות שירות ניתוב Kafkas למנגנונים מסונכרנים שונים כמו אמזון S3, חיפוש אלסטי וקפקא משני אחר.

חיפוש אלסטי

האירועים והיומנים זורמים דרך צ’וקווה, קפקא והתחנה הסופית היא חיפוש אלסטי.

ישנם כ -150 אשכולות ו -3500 מקרים המטפלים בחיפוש אלסטי ב- AWS Backend.

מקרה מעשי של מקרה של חיפוש אלסטי יהיה הזרמת שגיאות שחווים לקוחות; שירות לקוחות יכול פשוט לחפש את השגיאה באמצעות פרטי הלקוח והשגיאה תמחשה יחד עם פרטי השגיאה.

ניתן להשתמש בחיפוש אלסטי גם כדי להמחיש; הירשם, התחבר ועקוב אחר השימוש.

ראה גם:

https: // מסמכים.aws.אֲמָזוֹנָה.com/awsec2/עדכני/userguide/מושגים.htmlhttps: // www.כניסה ל- LoginWorks.com/blogs/how-netflix-use-data-to-win-the-race/
https: // github.com/netflix/hystrix
https: // github.com/netflix/zuul

אם פוסט זה היה מועיל, אנא לחץ על כפתור CLAP �� למטה מספר פעמים כדי להציג את תמיכתך במחבר ��