Cerebras ― процессор для ИИ невероятных размеров и возможностей

Анонс процессора Cerebras ― Cerebras Wafer Scale Engine (WSE) или движка Cerebras масштаба кремниевой пластины ― состоялся в рамках ежегодной конференции Hot Chips 31. Глядя на этого кремниевого монстра удивляет даже не то, что его смогли выпустить воплоти. Удивляет смелость замысла и труд разработчиков, рискнувших разработать кристалл площадью 46 225 квадратных миллиметров со сторонами 21,5 см. На изготовление одного процессора уходит целая 300-мм пластина. При малейшей ошибке уровень брака составляет 100 %, а цену вопроса даже трудно представить.

Выпуском Cerebras WSE занимается компания TSMC. Техпроцесс ― 16 нмFinFET. Этот тайваньский производитель тоже заслужил памятник за выпуск Cerebras. Производство подобного чипа потребовало высшего мастерства и решения массы проблем, но оно того стоило, уверяют разработчики. Чип Cerebras ― это фактически суперкомпьютер на чипе с невероятной пропускной способностью, минимальным потреблением и фантастическим параллелизмом. В настоящий момент это идеальное решение для машинного обучения, которое позволит исследователям начать решать задачи чрезвычайной сложности.

Каждый кристалл Cerebras WSE содержит 1,2 трлн транзисторов, организованных в 400 000 ИИ-оптимизированных вычислительных ядер и 18 Гбайт локальной распределённой памяти SRAM. Всё это связано ячеистой сетью с общей производительностью 100 петабит в секунду. Пропускная способность памяти достигает 9 Пбайт/с. Иерархия памяти одноуровневая. Кеш-памяти нет, перекрытия нет, задержки обращения минимальные. Это идеальная архитектура для ускорения задач, связанных с ИИ. Голые цифры: в сравнении с самыми современными графическими ядрами чип Cerebras обеспечивает в 3000 раз больший объём памяти на кристалле и в 10 000 большую скорость обмена с памятью.

Вычислительные ядра Cerebras ― SLAC (Sparse Linear Algebra Cores) ― полностью программируемые и могут быть оптимизированы для работы с любыми нейронными сетями. Более того, архитектура ядер изначально фильтрует данные, представленные нулями. Это освобождает вычислительные ресурсы от необходимости проводить холостые операции умножения на ноль, что для нагрузки разрежёнными данными означает ускорение расчётов и предельную энергоэффективность. Тем самым процессор Cerebras оказывается в сотни или даже тысячи раз эффективнее для машинного обучения в терминах задействованной площади кристалла и его потребления, чем актуальные решения для ИИ и машинного обучения.

Изготовление чипа подобного размера потребовало массу уникальных решений. Его даже упаковывать в корпус пришлось едва ли не вручную. Возникли проблемы с подводом питания к кристаллу и его охлаждением. Отвод тепла стал возможен только жидкостью и лишь с организацией зональной подачи с вертикальной циркуляцией. Тем не менее, все проблемы были решены и чип вышел рабочим. Будет интересно узнать о его практическом применении.

Крутая ВЕЩь, не для домохозяйки, а для серьёзных работ и изысканий где-то пока ТАМ, а потом и народу чавото перепадёт.

Много мусора, громких и трескучих фраз и никакой конкретики.
Особо умилило:

Цитата:

Иерархия памяти одноуровневая. Кеш-памяти нет

Цитата:

чип Cerebras обеспечивает в 3000 раз больший объём памяти на кристалле

Это, вообще - про что? На каком кристалле? Какой памяти? Так там на кристалле ещё и память? Тогда какую площадь от кристалла занимает память? Или всё же там голые вычислительные ядра? Тогда о какой супер-пупер скорости обмена с памятью идёт речь? По каким шинам? Что за внешняя память подключается?
И наконец, главное - что такое ИИ? Самый простой вопрос.
В общем, новость сводится - посмотрите какой большой чип мы смастрячили!

lesss писал(а):

Много мусора, громких и трескучих фраз и никакой конкретики. Особо умилило: Цитата: Иерархия памяти одноуровневая. Кеш-памяти нет Цитата: чип Cerebras обеспечивает в 3000 раз больший объём памяти на кристалле Это, вообще - про что? На каком кристалле? Какой памяти? Так там на кристалле ещё и память? Тогда какую площадь от кристалла занимает память? Или всё же там голые вычислительные ядра? Тогда о какой супер-пупер скорости обмена с памятью идёт речь? По каким шинам? Что за внешняя память подключается? И наконец, главное - что такое ИИ? Самый простой вопрос. В общем, новость сводится - посмотрите какой большой чип мы смастрячили!

Ну ты даёшь... Тут хомячки бегают ручками и флажками машут, а ты принялся вопросы задавать... Не порти людЯм праздник...

OLqqq
Ну, надо же как-то.
На самом деле подоплёка данной новости проста и банальна - реклама.
TSMC - никогда не разрабатывала процессоры, она их только изготавливала на своём оборудовании. И вот рекламой возможностей по изготовлению и является данная новость. Что там за ядра то - не написано, ну запихали от третьего пня кучу, ну - молодцы, вот как могут.

Odisseus83 писал(а):

Скайнет всё ближе...

На каждый скайнет найдутся свои "вмешивающиеся в выборы" товарищи.

lesss писал(а):

Много мусора, громких и трескучих фраз и никакой конкретики.

Больше конкретики есть по ссылкам в новости. На "вражеском" языке. Ты слишком требователен

DartSandy
На "вражеском языке" ровно то же самое - посмотрите какой большой чип мы сделали на своём оборудовании.
Все в TSMC! Мы сделаем вам любой чип по ВАШЕЙ разработке.)

Для такого проца надо и мать с турбонадувом, а то ещё уснёт по дороге.
С такой скоростью, да на простом железе?
Процентов 10 скинет, а остальное в простой!
Пора и мать вместо меди, на оптиковолокно сажать, тогда верняк до Скайнета дотянет.

Не, ребята. Гравитационо-квантовый получше будет.

lesss писал(а):

OLqqq Ну, надо же как-то. На самом деле подоплёка данной новости проста и банальна - реклама. TSMC - никогда не разрабатывала процессоры, она их только изготавливала на своём оборудовании. И вот рекламой возможностей по изготовлению и является данная новость. Что там за ядра то - не написано, ну запихали от третьего пня кучу, ну - молодцы, вот как могут.

Обрати внимание, что хомячки в упор не замечают твоего комментария... Всё так же бегают, подпрыгивают, машут ручками и флажками...
(зомби что-ль???)

OLqqq писал(а):

Обрати внимание, что хомячки в упор не замечают твоего комментария...

Вместо очередного обличения хомячков, кинул бы сам спойлер с конкретикой по существу.

OLqqq писал(а):

(зомби что-ль???)

DartSandy
Ну, а какая может быть конкретика, если с одной стороны - памяти нет, а с другой стороны её в аж в 3000 раз больше на кристалле?
Я вот сижу и пытаюсь это дешифровать.)
Может вы поможете?

Ребят, хочу взять себе такой процессор, вы случайное не в курсе, боксовый вертолет в комплекте или отдельно брать надо?

lesss писал(а):

DartSandy Ну, а какая может быть конкретика, если с одной стороны - памяти нет, а с другой стороны её в аж в 3000 раз больше на кристалле? Я вот сижу и пытаюсь это дешифровать.) Может вы поможете?

если нет Кеш-памяти это не значит что памяти нет .

lexa1980 писал(а):

если нет Кеш-памяти это не значит что памяти нет .

Так сколько, какой и где её есть, да ещё и аж в 3000 раз больше - по сравнению с чем? )

lesss писал(а):

Ну, а какая может быть конкретика

Очевидно, конкретику следует искать в иных источниках, а не в куцей новости. Я этим заниматься точно не буду, не проси.