Революционная технология памяти для искусственного интеллекта

Компания Micron Technology может похвастаться непревзойденной скоростью, емкостью и энергоэффективностью в отрасли AI памяти HBM3 Gen2

Micron Technology выпустила первую в отрасли память HBM2 24 ГБ высотой 24 ГБ с пропускной способностью более 1,2 ТБ/с и скоростью выводов, превышающей 9,2 Гбит/с. Это означает заметное увеличение до 50% по сравнению с доступными в настоящее время решениями. Благодаря 2,5-кратному увеличению производительности на ватт по сравнению с предыдущими итерациями, HBM3 устанавливает новые рекорды по критически важным показателям центра обработки данных с искусственным интеллектом (ИИ), таким как производительность, емкость и энергоэффективность. Эти усовершенствования ускоряют обучение обширных языковых моделей, таких как GPT-4, оптимизируют инфраструктуру вывода ИИ и устанавливают беспрецедентное превосходство в совокупной стоимости владения (TCO). Решение с высокой пропускной способностью памяти (HBM) основано на технологическом узле 1β Dynamic Random-Access Memory (DRAM). Это позволяет собрать кристалл DRAM 24 Гбит/с в куб высотой 8 Гбит/с, соответствующий стандартным размерам корпуса.

Micron представит стек высотой 12 и емкостью 36 ГБ, превзойдя конкурентов, предложив на 50% больше емкости при той же высоте стека. Ключевые достижения, такие как удвоенные переходные отверстия через кремний (TSV), пятикратное увеличение плотности металла и энергосберегающая конструкция тракта передачи данных, обеспечивают замечательную эффективность HBM3. Отвечая на растущие потребности в искусственном интеллекте, память HBM3 Gen2 сокращает время обучения основных языковых моделей более чем на 30% и повышает эффективность обученных моделей. Превосходная производительность также приводит к значительной экономии средств для центров обработки данных с искусственным интеллектом.

Источник: https: //www. powerelectronicsnews. com