По мере усложнения моделей искусственного интеллекта объем доступной памяти становится не менее важным фактором, чем ее скорость. Согласно информации южнокорейского издания ZDNet Korea, компания Groq, недавно вошедшая в орбиту NVIDIA, рассматривает возможность изменить архитектуру памяти в будущих ускорителях и заменить SRAM на трехмерную компоновку DRAM.
Современные ускорители Groq LPU ориентированы прежде всего на высокую скорость работы. Каждый чип оснащен 500 МБ SRAM с пропускной способностью до 150 ТБ/с. В стойке из 256 ускорителей общий объем памяти достигает 128 ГБ, а совокупная пропускная способность — 640 ТБ/с. Однако SRAM занимает значительную площадь и отличается высокой стоимостью, из-за чего дальнейшее увеличение ее объема становится все более сложной задачей.
В следующем поколении ускорителей Groq, по данным источника, планирует использовать трехмерную стековую DRAM. Несколько слоев памяти будут размещаться друг над другом и соединяться вертикальными каналами TSV. Такой принцип уже применяется в HBM: он позволяет эффективнее использовать пространство на кристалле и потенциально снизить энергопотребление. При этом DRAM уступает SRAM по скорости, поэтому разработчикам предстоит найти оптимальное соотношение между объемом памяти и пропускной способностью.
Для NVIDIA это направление может иметь большое значение при развитии инфраструктуры для ИИ-инференса. Компания уже использует технологии Groq в экосистеме Vera Rubin, а увеличение объема доступной памяти поможет обрабатывать модели, которым требуется все больше ресурсов. Не исключено, что Groq сохранит оба варианта — SRAM и DRAM — для разных сценариев применения. Официальные характеристики будущих чипов пока не раскрыты, поэтому их конфигурация и сроки выхода остаются неизвестными.