Hvordan Netflix-teknologi forbedrer datacenterets effektivitet

Hvordan Netflix-teknologi forbedrer datacenterets effektivitet

Hvad gør anbefalingsmotorer til Amazon og Netflix har at gøre med bedre cloud computing? Takket være et banebrydende system fra Stanford University, er den ene inspirerende den anden.

Når de står overfor deres sædvanlige arbejdsbyrder, bruger de fleste servere omkring 20 procent af deres kapacitet. En af grundene hertil er, fordi brugere af cloud service har en tendens til at overvurdere mængden af ​​beregne de skal bruge.

Systemer oplever også afmatning, da arbejdsbyrderne passeres mellem nyere og ældre fysiske processorkerner eller hardware. Applikationer ændres, og en kode omskrivning kan pålægge en større belastning på serveren. Andre programmer, der deler arbejdsområdet, kan påvirke ydeevnen.

Professor Christos Kozyrakis, lektor i elektroteknologi og datalogi i Stanfords multidask arkitektur og systemteam (MAST), siger om problemet; "Alle har problemer med at underperformere servere."

Datacentre i dag er basisstationerne for utallige processer og beregninger, der foregår i hele netværkssammenhæng på én gang. Hvis vi så meget som muligt kan planlægge applikationsbelastninger i delte miljøer, nyder alle fordelene.

Uanset om det er Google, Amazon eller din egen infrastruktur, er disse arbejdsbyrder fordelt på forskellige infrastrukturer, forskellige steder og nogle gange endda forskellige udbydere på forskellige tidspunkter efter deres behov.

"Hvordan bestemmer du, hvor mange ressourcer de har brug for, og hvilke ressourcer, du giver til hver ansøgning?" Kozyrakis siger. "Hvad vi forsøgte at gøre er at finde ud af alle disse vigtige oplysninger, som gør det muligt for os at gøre et godt stykke arbejde."

Hemmeligheden er, at hver beregning du laver på en server, vil køre bedre under visse omstændigheder end andre - nyere kerner, højere båndbredde tilbage til base, lav databristning osv. - og måden at udnytte, er at finde ud af de særlige parametre, hvorunder Din ansøgning løber bedst.

"Du vil køre det på alle slags maskine du har, med enhver mulig mængde interferens og enhver skalafaktor for at se, hvad der sker", forklarer Kozyrakis. "Men for at gøre det bliver du nødt til at køre det et par tusinde gange, hvilket er naturligvis dumt."

I stedet udsender Stanford-systemet, kaldet 'Quasar', et kort glimt af programmet i aktion (ofte kun et par millisekunder) og søger ligheder i andre arbejdsbyrder, som det allerede er set. Når den har nogle kampe, leder systemet den nye applikation til den bedst mulige infrastruktur og planlægning baseret på den informerede gæt om, hvordan den vil udføre.

Bedste gæt

Hvis ovenstående beskrivelse lader hele processen lyde en smule hit og miss, så tænk på hvordan heuristisk antivirus fungerer ved at scanne koden for indgående filer. Hvis noget ser lidt for meget ud som noget i databasen, der allerede er identificeret som et cyber-ubehageligt, markeres det til kontrol.

Quasar gør noget lignende, men i stedet for at scanne den faktiske kode for en indkommende applikation, brænder den op for længe nok til at se, hvordan den vil opføre sig, så kontrollerer man mod et lager af viden for at finde kampe.

Endnu vigtigere (og ganske enkelt), det virker. "I de eksperimenter, vi har gjort, har vi øget udnyttelsen fra 20 procent op til 60, 70 og i nogle tilfælde 80," siger Kozyrakis.

Han skynder at tilføje, at hæveudnyttelsen i sig selv ikke er svært - tricket er, om du kan gøre det, samtidig med at du har god applikationsydelse. "Hvordan fungerer det med flere kerner eller mere hukommelse? Hvor godt går et program, når du planlægger det på de samme maskiner som andre? Hvis du kender disse ting, kan du gøre et godt stykke arbejde med at planlægge det. "

Ved første øjekast ser det ud til, at markedet for et sådant system ville være cloud service-udbydere selv - hvis de kun ville sikre sig den højest mulige udnyttelse og samtidig bevare de bedste resultater for kunderne.

Kozyrakis er ikke sikker på, om det ville fungere uafhængigt som et privat klyngehåndteringsværktøj eller et servicelag oven på et produkt som Azure eller AWS, men uanset hvilken form Quasar tager i kommerciel verden, chancen for at tredoble udnyttelsen af ​​dit datacenter er nok til at få nogen til at sidde op og tage varsel.

Giv en kommentar

Dette websted bruger Akismet til at reducere spam. Lær, hvordan dine kommentardata behandles.