Amerikaanse AI-chip "zwart paard" om te doden, de grootste chip in de geschiedenis

Volgens een aantal berichten in de buitenlandse media heeft de Amerikaanse AI-chip startup CerebrasSystems onlangs de grootste chip ooit gelanceerd, de chip genaamd "TheCerebrasWaferScaleEngine". (hierna WSE genoemd) heeft 1,2 biljoen transistoren.

In de geschiedenis van de chips, in 1971, had de eerste 4004-processor van Intel slechts 2.300 transistors, en de meest recente geavanceerde micro-apparaatprocessor had slechts 32 miljard transistors. Samsung heeft ook een flash-geheugenchip (eUFS-chip) met 2 biljoen transistors gebouwd, maar deze is niet geschikt voor AI-computing.

WSE, de grootste recordbrekende chip, werd geboren voor AI-computing.

De gegevens laten zien dat de 42.225 vierkante mm chip 400.000 kernen heeft die met elkaar zijn verbonden door een fijnmazig, volledig hardware, intra-mesh netwerk voor communicatie dat 100 PB totale bandbreedte per seconde levert. Meer cores, meer lokaal geheugen en een architectuur met lage latentie en hoge bandbreedte creëren de beste architectuur voor het versnellen van AI-werk. WSE is 56,7 keer groter dan de grootste GPU en heeft 18 GB on-chipsram.

In feite zijn de meeste chips van vandaag multi-chipintegraties op basis van 12-inch silicium. Maar de chip van CerebrasSystems is een afzonderlijke chip waarin transistors zijn verbonden op een enkele kristal-siliciumwafer. Door het onderling verbonden ontwerp kunnen alle transistors als geheel met hoge snelheden werken.

Expliciet uitgelegd, dit product is volledig computerlerend, meer dan rekenkracht en opslagbandbreedte, sorry, het niveau van mensen of nieuwe woordenschat - beat bytes (Petabytes, 1PB = 1024TB = 10 ^ 6GB = 2 ^ 50bit), de snelheid is ongeveer 3.000 keer die van de grootste grafische processor van NVIDIA (GPU, rekenkracht met drijvende komma, vaak gebruikt in AI-gerelateerd onderzoek), en de opslagbandbreedte is 1000 keer.

Een dergelijke krachtige mogelijkheid komt van zijn 1,2 biljoen transistors op de chip. Het is bekend dat de 4004-processor van Intel in 1971 2.300 transistors had. Volgens de wet van Moore, "verdubbelt het aantal transistors op de chip om de 18 maanden", zouden er dit jaar precies 1 biljoen transistors en nog een transistor zijn, en de te realiseren rekenkracht wordt met één punt verhoogd. Ten tweede zijn het chiparchitectuurontwerp en het chipinterconnect- en communicatieschema ook zeer geavanceerd, waardoor de synergie tussen 1,2 biljoen transistors zeer synchroon is, waardoor het nanoseconde-niveau wordt vertraagd. Tijdens runtime is deze 1,2 biljoen transistors als een transistor is gesynchroniseerd.

Op het gebied van kunstmatige intelligentie is de grootte van de chip erg belangrijk. Omdat grote chips informatie sneller verwerken, is de tijd om antwoorden te genereren korter. Verkorting van de observatietijd of "trainingstijd", & quot; stelt onderzoekers in staat om meer ideeën te testen, meer gegevens te gebruiken en nieuwe problemen op te lossen. Google, Facebook, OpenAI, Tencent, Baidu en vele anderen geloven dat de fundamentele beperking van de ontwikkeling van kunstmatige intelligentie tegenwoordig is dat het te lang duurt om het model te trainen. Daarom zal het verminderen van de trainingstijd een belangrijk knelpunt in de voortgang van de industrie wegnemen.

Natuurlijk produceren chipfabrikanten meestal niet om een ​​reden grote chips. Op een enkele wafel verschijnen meestal onzuiverheden tijdens het productieproces. Een beetje onzuiverheid kan falen van de chip veroorzaken en zelfs meerdere chips ernstig afbreken. Als slechts één chip op een enkele wafer wordt gefabriceerd, is de kans dat deze onzuiverheden bevat 100% en onzuiverheden zullen er zeker voor zorgen dat de chip faalt. Maar het chipontwerp van CerebrasSystems is marginaal en zorgt ervoor dat een of een kleine hoeveelheid onzuiverheden niet de hele chip ongeldig maakt.

CEOFeldman van Cerebras Systems zei in een verklaring, "De WSE-chip van het bedrijf is ontworpen voor kunstmatige intelligentie en bevat basisinnovaties die technische uitdagingen oplossen die de chipgrootte tientallen jaren beperken, zoals kruisverbinding *, opbrengst, vermogen. En verpakking. Elke architecturale beslissing is om de prestaties van kunstmatige intelligentie te optimaliseren. Als gevolg hiervan biedt de WSE-chip honderden of duizenden keren bestaande oplossingen, afhankelijk van de werklast, met weinig kracht en ruimte. . Prestaties & quot;

Deze prestatieverbeteringen worden bereikt door alle elementen van neurale netwerktraining te versnellen. Het neurale netwerk is een computationele feedback-lus op meerdere niveaus. Hoe sneller de invoer door de lus gaat, hoe sneller de lus leert of "traint". De manier om sneller input door de lus te krijgen, is door de berekening en communicatie binnen de lus te versnellen.

In de communicatiearchitectuur doorbreekt de clustercommunicatiearchitectuur de bandbreedte en vertraging die wordt veroorzaakt door een deel van het stroomverbruik in de traditionele communicatietechnologie als gevolg van het gebruik van de relaisprocessor op de WSE. Door een tweedimensionale arraystructuur te gebruiken om 400.000 op WSE gebaseerde processors met elkaar te verbinden, bereikt de clusterarchitectuur lage latentie en hoge bandbreedte, met een totale bandbreedte van maximaal 100 slagen per seconde (1017 bytes per seconde). . Zelfs als er geen aanvullende software is geïnstalleerd, kan een dergelijke clusterstructuur wereldwijde informatieverwerking ondersteunen en wordt de ontvangen informatie verwerkt door de bijbehorende processor.

Voor dit product kunnen massaproductie en warmteafvoer de belangrijkste uitdagingen zijn. De komst van WSE, zijn eigen hoogtepunten zijn echter voldoende.

Linley Group hoofdanalist Linley Gwennap zei in een verklaring: "CerebrasSystems heeft grote vooruitgang geboekt op het gebied van verpakkingstechnologie op wafelschaal, en de verwerkingsprestaties op een siliciumchip overtreffen ver de verbeelding. Om deze prestatie te bereiken, heeft het bedrijf een reeks technische uitdagingen opgelost die de industrie al tientallen jaren hebben geteisterd, waaronder het mogelijk maken van snelle, die-to-mode communicatie, het oplossen van fabricagefouten, het verpakken van dergelijke grote chips, het leveren van high-density voedingen en koeling systemen. CerebrasSystems Het samenbrengen van topingenieurs uit verschillende disciplines, het creëren van nieuwe technologieën en het leveren van een product in slechts een paar jaar is een indrukwekkende prestatie. & Quot;

Belangrijkste analist en oprichter van Jimias Research Jim McGregor zei in een verklaring: "Tot nu toe heeft de opnieuw geconfigureerde grafische processor voldaan aan de enorme vraag naar kunstmatige intelligentie voor rekenkracht. De oplossing van vandaag zal honderden van deze opnieuw geconfigureerde grafische afbeeldingen bevatten. De processors zijn met elkaar verbonden en hebben maanden nodig om te installeren, gebruiken honderden kilowatt vermogen en wijzigen de kunstmatige intelligentie software uitgebreid, zelfs maanden om functionaliteit te bereiken. In tegenstelling, single-chip WSE De absolute grootte van de chip maakt meer berekening, beter prestatiegeheugen en grotere bandbreedte mogelijk. WSA-chips voorkomen losse verbindingen, traag geheugen, op cache gebaseerd en integratie via waferschaal pakketintegratietechnieken. De traditionele prestatiebeperkingen die inherent zijn aan grafische processorchips.

CerebrasSystems is opgericht in 2016 en is sinds de oprichting een mysterieus en ingehouden onderneming in de branche, gericht op het aanbieden van dataproducten voor datacenter-training. Het is genoemd '' s werelds meest verwachte 100 chipbedrijven '' door CBInsights. Volgens de gegevens voltooide het bedrijf in 2016 een Series A-financiering van $ 25 miljoen. De investeerder was een bekende venture capitalist Benchmark en ontving later meerdere financieringsrondes. Vanaf september 2017 ontving het in totaal $ 112 miljoen aan financiering, ter waarde van $ 860 miljoen.

De achtergrond van het oprichtingsteam van het bedrijf is ook erg sterk. Mede-oprichter en CEO Andrew Feldman, die het chipbedrijf SeaMicro oprichtte, werd in 2012 door AMD overgenomen voor $ 334 miljoen. Nadat SeaMicro werd overgenomen door AMD, kwamen de oorspronkelijke klasgenoten meestal AMD binnen om hun werk voort te zetten, dus toen Andrew Feldman het voortouw nam om zijn bedrijf voort te zetten, kozen veel oude collega's om te volgen, en de meeste andere belangrijke teamleden waren meestal bij de oprichter Andrew Feldman.

Een van de dingen die het vermelden waard zijn, is Gary Lauterbach. In de jaren negentig, toen Sun midden op de dag was, diende Gary Lauterbach als senior chip-ontwerper van het bedrijf. Later hield hij zich bij SeaMicro vooral bezig met het ontwerpen van een low-power server. Er kan worden gezegd dat het bedrijf aan het begin van de oprichting een groot aantal stroomverbruik ophoopte. De veteraan van het chipontwerp, dit is ongetwijfeld een overwinning voor de gemiddelde startup.

Vervolgens trad in 2018 een ander zwaargewicht toe tot Celebras Systems, en voormalig vice-president van architectuur en datacenter CTO Dhiraj Mallick diende officieel als vice-president van engineering en business. Tijdens zijn ambtstermijn bij Intel steeg de omzet in het tweede kwartaal van 2018 op jaarbasis met $ 1 miljard. In de eerste helft van 2018 werd de omzet van het datacenter van het bedrijf verhoogd naar $ 10 miljard. Het is een erkende technologie en zakelijk genie. Hij is ook een oude collega van AndrewFeldman bij SeaMicro en AMD. Het bedrijf heeft nu 194 werknemers.

CerebrasSystems heeft nog een lange weg te gaan in de toekomst, maar het is niet moeilijk voor te stellen dat AI een golf van computerarchitectuur en chipverpakkingstechnologie met zich meebrengt. We kunnen verwachten dat we getuige zullen zijn van interessantere en zelfs onverwachte AI-chips.