Scaling-indledning med NVIDIAs T4: En Supermicro-løsning med 320 PCIe-baner

Når man besøgte Supercomputing-konferencen i år, var der masser af store GPU-systemer på skærmen til maskinindlæring. Et stort antal var rettet mod de tunge kort til træning, men også en række systemer, der udelukkende udelukkede. I overholdelse af NVIDIA CEO's mantra af 'jo mere du køber, jo mere du sparer' viste Supermicro mig et af deres skalerbare indledningssystemer baseret på den nyligt udgivne NVIDIA Tesla T4 inference GPU.

Den store server, der er baseret på to Xeon skalerbare processorer og 24-hukommelsesspor, har adgang til 20 PCIe-slots, der hver kører ved PCIe 3.0 x16, til i alt 320 PCIe-baner. Dette opnås ved hjælp af Broadcom 9797-seriens PLX-chips, opdeling af hvert PCIe x16-rotorkompleks fra hver processor til fem x16-links, der hver kan tage en T4-accelerator.

Disse acceleratorer er fuld længde, men halvhøjde, så selvom chassiset understøtter fuldhøjdekort, fortæller Supermicro mig, at hele systemet er designet til at være modulært, hvis kunden ønsker et andet PCIe-layout eller et andet CPU-design, kunne det potentielt arrangeret.

Grunden til, at Supermicro siger, at dette design er skalerbart, er, at de forventer at distribuere det til kunder med varierende antal indledende kort, der er udstyret. Det blev forklaret, at nogle kunder kun vil have en udviklingsplatform til at begynde med, og må kun anmode om at fire kort begynder. Efterhånden som deres behov ændres, eller som ny hardware udvikles, kan nye GPU'er eller nye acceleratorer tilføjes, især hvis et kombinationsbehov udvikler sig. Hver af slots kan køre PCIe 3.0 x16 og op til 75W, som er den søde plet til mange initiativer.

Med kun ét kort ind kiggede det lidt tomt (!)

Der ligner masser af afkøling. Det er nogle store Delta fans, så denne ting bliver høj.

Der er teknisk 21 PCIe-slots i denne konfiguration. Slotten i midten er til et ekstra non-inference-kort, enten en lavdrevet FPGA til offload eller et brugerdefineret netværkskort.

Oprindelig artikel

Giv en kommentar

Dette websted bruger Akismet til at reducere spam. Lær, hvordan dine kommentardata behandles.