Nvidia Hopper H100: Ogromny procesor graficzny 4 nm zaprojektowany z myślą o sztucznej inteligencji

Dla ogółu społeczeństwa Nvidia jest przede wszystkim wiodącym producentem chipów do kart graficznych, z serią GeForce wiodącą na rynku od ponad dekady. Jednak pod kierownictwem CEO Jensena Huanga, firma zawsze widziała daleko poza rynkiem graczy i bardzo szybko stała się głównym graczem w dziedzinie akceleracji sprzętowej. Obszar, w którym popyt rośnie, nawet wykładniczo, biorąc pod uwagę ogromne zapotrzebowanie na zasoby w obszarach takich jak sztuczna inteligencja i zarządzanie modelami (klimat, drogi itp.).

Dwa różne podejścia

W tym sektorze Nvidia zawsze miała dwa różne podejścia. Pierwszym było dostosowanie swoich architektur graficznych do dwóch wariantów, jednego konsumenckiego i jednego profesjonalnego - jak w przypadku Ampere; drugim było stworzenie dwóch oddzielnych architektur, z których każda była skierowana na określony rynek, jak w przypadku Volta, który został zaprojektowany specjalnie dla sektora akceleracji.

Hopper jest częścią tego drugiego podejścia. Architektura została zaprojektowana dla sektora akceleracji, aby spełnić oczekiwania w zakresie sztucznej inteligencji, a nawet omnichannel. Przynajmniej możemy powiedzieć, że dwa lata po chipie GA100 (architektura Ampere), Nvidia wprowadziła chip H100, który na papierze wygląda całkiem imponująco. Z 80 miliardami tranzystorów rozmieszczonych na powierzchni 814 mm², układ ten jest zupełnie inny od swojego poprzednika, który był "ograniczony" do 54,2 miliarda tranzystorów na powierzchni 828 mm². Liczby te wcale nie są zwodnicze, ponieważ Nvidia porzuciła 7nm proces technologiczny na rzecz 4nm procesu oferowanego przez TSMC (Noda N4). Chip pobiera też maksymalnie 700W, czyli znacznie więcej niż 500W poprzedniej generacji.

Wyposażenie układu

Chip posiada interfejs PCIe 5.0 i jest otoczony maksymalnie 80 GB dedykowanej pamięci HBM3 - wystarczającej do zapewnienia przepustowości na poziomie 3 TB/s. Konkretne jednostki obliczeniowe, które Nvidia nazywa akceleratorami, zostały poddane przeglądowi, dodając rdzeń Tensor czwartej generacji dedykowany sztucznej inteligencji, który ma być sześciokrotnie szybszy niż układ GA100. Liczba rdzeni CUDA wzrosła z 6 912 do 16 896. Daje to surową wydajność trzy razy szybszą niż akcelerator poprzedniej generacji w ciągu zaledwie dwóch lat.

Transformer Engine

Nvidia opracowała również nowy akcelerator o nazwie Transformer Engine. Został on zaprojektowany w celu przyspieszenia przetwarzania modeli związanych ze sztuczną inteligencją, takich jak tłumaczenie w czasie rzeczywistym, interpretacja zapytań, analiza obrazu, a nawet badania nad zdrowiem i klimatem. Trening neuronów, który wcześniej zajmował wiele dni, teraz można wykonać w zaledwie kilka godzin. Fakt ten zainteresuje wielu, nie tylko Google, którego algorytm BERT wykorzystuje tego typu silnik do lepszego zrozumienia zapytań użytkowników i dostarczania coraz dokładniejszych odpowiedzi. Jako przykład, Nvidia podała, że zadanie, które wcześniej zajmowało 7 dni przy użyciu 8000 procesorów graficznych, teraz zajmie zaledwie 20 godzin z układami Hopper.

Nowy procesor graficzny

Nowy procesor graficzny będzie dostępny dla partnerów Nvidii od trzeciego kwartału. Można go nabyć pojedynczo (w formacie PCIe) lub w postaci stojaków DGX z 8 modułami lub szaf SuperPOD z 32 modułami. Maksymalnie 256 modułów można połączyć ze sobą za pomocą przełącznika NVLink zdolnego do komunikacji między modułami z prędkością 70,4 TB/s. Wreszcie, program obejmuje już superkomputery, w szczególności dział Eos firmy Nvidia - superkomputer, z którego firma będzie korzystać samodzielnie i oferować swoim partnerom - w którym znajdzie się 576 szaf DGX reprezentujących 4 608 procesorów graficznych. Eos będzie miał moc obliczeniową 275 petaflopsów w FP64, co czyni go drugim najpotężniejszym superkomputerem na świecie po Fugaku (442 petaflopsów). Teraz pozostaje nam tylko czekać na zapowiedzi Nvidii w sektorze konsumenckim: jest prawdopodobne, że firma ogłosi następcę Ampère w nadchodzących miesiącach.

Kluczowe ustalenia

1. Procesor graficzny Hopper H100 firmy Nvidia, zaprezentowany na targach GTC, oznacza wejście firmy na rynek akceleracji sprzętowej dla sektora profesjonalnego, w szczególności dla aplikacji sztucznej inteligencji. Dzięki imponującej liczbie 80 miliardów tranzystorów wytrawionych w procesie technologicznym 4 nm, H100 jest w stanie sprostać rosnącemu zapotrzebowaniu na akcelerację obliczeń.

2. Historycznie, Nvidia podchodziła do akceleracji sprzętowej z dwiema strategiami: dostosowywanie konsumenckich architektur graficznych do zastosowań profesjonalnych i tworzenie samodzielnych architektur zaprojektowanych dla określonych rynków. Hopper podąża za tym drugim podejściem i został zaprojektowany specjalnie dla sektorów akceleracji, takich jak sztuczna inteligencja i aplikacje wielokanałowe.

3. Układ H100 oferuje znaczące ulepszenia w stosunku do swoich poprzedników. Zawiera 80 miliardów tranzystorów na matrycy o powierzchni 814 mm² wyprodukowanej w procesie 4 nm TSMC. Dzięki maksymalnemu zużyciu energii na poziomie 700 W i do 80 GB dedykowanej pamięci HBM3, układ oferuje znaczny wzrost wydajności.

4. Układ wyposażono w rdzenie tensorowe czwartej generacji zaprojektowane z myślą o sztucznej inteligencji, zapewniające nawet sześciokrotnie wyższą wydajność niż poprzednie wersje. Znacząco wzrosła również liczba rdzeni CUDA, co przekłada się na trzykrotnie wyższą wydajność w porównaniu do "akceleratorów" poprzedniej generacji.

5. Nvidia wprowadza Transformer Engine, zaprojektowany w celu przyspieszenia przetwarzania modeli związanych ze sztuczną inteligencją, w tym tłumaczenia w czasie rzeczywistym, interpretacji zapytań, analizy obrazu oraz badań nad zdrowiem i klimatem. Trening sieci neuronowych, który wcześniej zajmował wiele dni, teraz można przeprowadzić w ciągu kilku godzin.

6. Chociaż architektura Hopper jest skierowana do sektora profesjonalnego, oczekiwania na ogłoszenia w sektorze konsumenckim są nadal wysokie. Mając na horyzoncie następcę architektury Ampère, Nvidia nadal kształtuje krajobraz akcelerowanych obliczeń.