Senaste nytt

US Tech Company Cerebras skapar världens största AI-färdiga processor

Livsstil

Författare - Sven Olsson
Bilder 3 2

Cerebras Systems, en amerikansk startup för artificiell intelligens (AI), påstår sig ha skapat en enda processor i storleken på en iPad som kan utföra beräkningsmässig motsvarighet till den mänskliga hjärnan eller motsvarande 100 biljoner synapser.


Cerebras Wafer Scale Engine-2 (WSE-2) påstås också vara det största chip som någonsin producerats av företaget.

Processorn innehåller 2,6 biljoner transistorer

Cerebras WSE-2 är en enda processor byggd på TSMC:s sju nanometer processteknik, med 2,6 biljoner transistorer inproppade i 850 000 AI-optimerade kärnor utplacerade på en enorm yta på 46 225 kvadratmillimeter.


För beräkningar inkluderar enheten 40 GB inbyggt SRAM-minne med en minnesbandbredd på 20 petabyte/sekund som samverkar med 2,4 petabyte off-chip-minne.

AI-modeller med över 120 biljoner parametrar kan bearbetas av datorn

Denna absoluta enhet av en processor finns i Cerebras CS-2 anpassade dator. Det kan lätt ta upp ett fullt serverrack.




Processorn kan hantera komplicerade AI-modeller med över 120 biljoner parametrar på några sekunder.

Parametrar är maskininlärningsalgoritmblock som kapslar in vad maskinen har lärt sig från data som används för att träna den.


Andrew Feldman, VD för Cerebras, förklarar WSE-2:s relevans.

Cerebras VD och grundare Andrew Feldman berättade för VentureBeat att 'större nätverk, som (Microsofts) GPT-3, redan har transformerat landskapet för naturlig språkbehandling (NLP) och möjliggjort det som tidigare var otänkbart.'

'Branschen går förbi ... biljoner-parametermodeller, och vi utökar den gränsen med två storleksordningar, vilket möjliggör hjärnskaliga neurala nätverk med 120 biljoner parametrar,' tillade han.


Ett enda kiselgöt används för att skapa denna massiva CPU

På halvledargjuterier som TSMC är hundratals traditionella stationära datorprocessorer uthuggna av ett 12-tums göt av kisel. Den nya WSE-2-processorn är ett enda chip tillverkat av ett enda göt.

Detta är mer effektivt än att fördela en beräkningsansträngning mellan flera mindre, traditionella arbetsstationsprocessorer.


Cerebras senaste tekniska förbättringar på mjukvarusidan hjälper till.

WSE-2 drar nytta av Cerebras länkade teknologi

Weight Streaming, en mjukvaruexekveringsarkitektur, gör det möjligt för forskare att strömma AI-modellparametrar till chippet från dess anslutna minne utan att behöva oroa sig för latens eller minnesbandbredd. Detta gör det möjligt för forskare att använda allt från en till 192 CS-2-maskiner samtidigt.


Detta är kopplat till Cerebras MemoryX-teknik, som hjälper 2,4 petabyte av off-chip-lagring att effektivt överföra data till processorn.

Varje Cerebras CS-2 kan dock inte lätt skalas upp

Även om forskare kan köra många CS-2-datorer samtidigt, är det mycket svårt att uppskala kapaciteten hos en befintlig CS-2-dator, säger Tom’s Hardware.

Detta beror på den massiva processorn som kräver 15kW ström från en skräddarsydd strömkälla. Det kräver också anpassade kylningstekniker, vilket gör det svårt att montera en annan enhet i waferstorlek i en enda dator.

Cerebras WSE-2 kan beräkna lika mycket som en mänsklig hjärna

Cerebras skapades 2016 och har för närvarande över 350 anställda.

I januari tränade Google en modell med 1,6 biljoner parametrar i jämförelse med Cerebras-chippet. Feldmans Cerebras-system är 1 000 gånger kraftfullare än Googles system och kan behandla 1 000 gånger mer data.

Medan WSE-2 kan hantera 100 biljoner synapser, proppade Intel 768 Loihi 'hjärnchips' för att konkurrera med en mullvadsråttas hjärna 2020.