ИИ-ускорители были представлены в рамках мероприятия Vision 2024.
У Intel Gaudi 3 на 50% выше производительность инференса в сравнении с NVIDIA H100. Эффективность больше на 40%, а скорость обучения нейросетей выше в 1,7 раза. Массовое производство устройств стартует в 3 квартале текущего года. Также будет и облачная версия для разработчиков ПО.
Gaudi 3 — это уже третье поколение ускорителей ИИ от Intel. Над ускорителями работали специалисты Habana Labs, которую Intel приобрела в 2019 году за 2 миллиарда долларов.
Производятся новые ИИ-ускорители с использованием 5-нм техпроцесса TSMC. Каждый состоит из двух кристаллов по 64 ядра TPC 5 поколения и 8 движков MME. Объем SRAM составляет 96 МБ, ее скорость 12,8 ТБ/с. Также имеется 128 ГБ памяти HBM2e и 24 контроллера Ethernet RDMA.
Gaudi 3 предложат в двух версиях. Первая — OAM HL-325L с TDP на уровне 900 Вт и производительностью 1835 TFLOPS FP8. Вторая — двухслотовая карта расширения PCIe с TDP на уровне 600 Вт. Производительность при этом та же, 1835 TFLOPS FP8.
Что еще?
