Microsoft Azure-netværk er ved at fremskynde takket være brugerdefineret hardware

Netværk mellem virtuelle maskiner i Microsoft Azure kommer til at blive meget hurtigere takket være noget nyt hardware, som Microsoft har rullet ud over sin flåde af datacentre.

Firmaet meddelte mandag, at det har implementeret hundredtusindvis af FPGA'er (Field Programmerbare Gate Arrays) på tværs af servere i 15 lande og fem forskellige kontinenter. Chipsne er blevet brugt i en række førsteparts-Microsoft-tjenester, og de begynder nu at accelerere netværk på virksomhedens Azure cloud platform.

Ud over at forbedre netværkshastighederne kan FPGA'erne (som sidder på brugerdefinerede, Microsoft-designede boards, der er forbundet med Azure-servere) også bruges til at forbedre hastigheden af ​​maskinindlæringsopgaver og anden vigtig sky-funktionalitet. Microsoft har ikke sagt præcis, hvad indholdet af bestyrelserne indeholder, bortset fra at afsløre, at de har en FPGA, statisk RAM-chips og hærdede digitale signalprocessorer.

Microsofts implementering af den programmerbare hardware er vigtig, da den tidligere pålidelige stigning i CPU-hastigheder fortsætter med at bremse. FPGA'er kan give en ekstra hastighedsforøgelse i processorkraft til de særlige opgaver, de er konfigureret til at arbejde på, nedskæringer på det tidspunkt, det tager at gøre ting som at styre strømmen af ​​netværkstrafik eller oversætte tekst.

Med Microsoft søger at presse hver ounce af strøm ud af computerens hardware og fodaftryk, at den allerede skal konkurrere med andre spillere på cloud-markedet, kunne denne hardware give virksomheden en fordel.

Accelereret Networking, en ny funktion tilgængelig i beta på mandag, er et eksempel på de funktioner, som en FPGA-implementering muliggør. Mellem to VM'er, som begge har det aktiveret, vil det give brugeren hastigheder så højt som 25Gbps og latens på omkring 100 mikrosekunder, uden ekstra beregning.

Accelerated Networking-meddelelsen kommer kun en uge efter, at Oracle afslørede sit andet generations infrastruktur-as-a-service-tilbud på OpenWorld, som også indeholder off-server, software-defineret netværk for at drive forbedret ydeevne.

Azure CTO Mark Russinovich sagde at bruge FPGA'erne var nøglen til at hjælpe Azure udnytte den netværkshardware, som den satte ind i sine datacentre. Mens hardwaren kunne understøtte 40Gbps-hastigheder, tog en stor mængde CPU-strøm faktisk i bevægelse af al den netværkstrafik med de forskellige software-definerede netværksregler, der er knyttet til den.

"Det er bare ikke økonomisk rentabelt," sagde han i et interview. "Hvorfor tage disse CPU'er væk fra det, vi kan sælge til kunder i virtuelle maskiner, når vi potentielt kunne få det, der ikke er fyldt i FPGA? De kunne tjene det formål såvel som fremtidige formål, og få os bekendt med FPGA'er i vores datacenter. Det blev en ret klar sejr for os. "

Projektet er Doug Burger, en fornem engineer i Microsoft Research's New Experiences and Technologies (NExT) -gruppe. Burger startede FPGA-projektet, kodenavnet Catapult, i 2010. Holdet begyndte først at arbejde med Bing, og derefter udvidet til Azure. Det arbejde førte til det andet, nuværende design af Microsofts FPGA hardware layout.

Et FPGA-kort er tildelt til hver nye Azure-server og er forbundet til NIC (netværkskort), PCIe-bus og top-of-rack-netværksomskifteren. Det betyder, at det er muligt for hver FPGA at tale med andre, og Microsoft kan udnytte mange FPGA'er på tværs af sine datacentre til store job med lav latenstid. Det er især vigtigt for massive maskinlæringsapplikationer.

"Hvis vi vil allokere 1,000 FPGA'er til et enkelt [dybt neuralt netværk], kan vi," sagde Burger. "Vi får den slags skala."

Denne skala kan give massive mængder computerkraft. Hvis Microsoft brugte Azures hele FPGA-implementering til at oversætte engelsksprogede Wikipedia, ville det kun tage en tiendedel af et sekund, sagde Burger på scenen i Ignite.

Microsoft er ikke det eneste firma, der vender sig til brugerdefineret silicium til denne slags arbejde. Google afslørede en Tensor Processing Unit tidligere i år, der skulle accelerere nogle maskinindlæringsopgaver i sin sky. TPU er et applikationsspecifik integreret kredsløb eller ASIC - en specialbygget chip.

Google brugte ASIC'er i stedet for FPGA'er på grund af hastighed og effektivitet. Så hvorfor valgte Microsoft FPGA'er?

Industrien bevæger sig alt for hurtigt for at være sikker på, at en bestemt ASIC vil gøre hvad der skal gøres over tid, sagde Burger. Mens du kun bruger den omprogrammerbare hardware i en FPGA, ville den ikke være god til ydeevne, kan de hærdede SRAM- og DSP-chips på FPGA-boardet fremskynde visse applikationer og reducere ydeevnen.

"Jeg er ikke sikker på at låse kontrolbanen ned i tre år og sige:" Jeg ved hvad jeg skal gøre nu, "sagde Burger.

I øjeblikket er Accelerated Networking kun tilgængelig for DS15v2-forekomster i Azures vestlige amerikanske og vestlige europæiske regioner. Det er kun kompatibelt med Windows Server 2012 R2 og Windows Server 2016 Technical Preview 5, selvom Microsoft planlægger at få det til at fungere med Linux-forekomster snart.

I fremtiden vil Accelerated Networking udvide sig til Azures øvrige virtuelle maskintyper og operativsystemer. Det vil gå fra at være en opt-in forbedring til at være en gratis, opt-out fordel, der vil øge netværkshastigheder som standard.

I fremtiden har Microsoft sagt, at FPGA'erne vil blive brugt til maskinlæringsapplikationer. Burger sagde, at selskabet har oprettet kode for sine kognitive tjenester til at køre i en FPGA-accelereret tilstand, så de kan være næste.

"Dette vil være en rejse for, hvordan vi afslører denne evne til kunder," sagde russinovich. "Jeg tror, ​​at det første, vi taler om, er [dyb læring], hvor vi træner modellerne, og lad kunderne køre dem på CPU'er eller GPU'er i vores datacenter. I fremtiden vil de kunne køre scoringen på FPGA'er, og potentielt også træne modeller selv, hvis de vil på FPGA'erne. Men vi er ude af vejen. "

For Burger er et af de største spørgsmål, hvad den rigtige blanding af FPGA'er og CPU'er er inde i et Azure datacenter. Selvom Microsoft har hundredtusinder af FPGA'er, der allerede er implementeret, er de ikke nok til at imødekomme virksomhedens behov, da flere hold begynder at bruge dem.

"CPU'erne er vigtige og vil fortsat være vigtige for al software og alle disse produkter og tjenester, vi har," sagde han. "Men jeg tror på applikationer, det store gennembrud i skala kommer fra ikke-CPU teknologier."

Kilde

Giv en kommentar

Dette websted bruger Akismet til at reducere spam. Lær, hvordan dine kommentardata behandles.