Дефицит оперативной памяти затронул даже крупнейших поставщиков инфраструктуры для искусственного интеллекта. Как сообщают отраслевые источники, Google начала возвращать списанные серверы в работу, чтобы извлекать из них исправные модули DDR4 и использовать их в новых системах.
Старший директор Google по инфраструктуре цепочек поставок Нихил Чериан отметил, что рынок ИИ за короткое время перешел от нехватки вычислительных мощностей к дефициту памяти. Сегодня высокопроизводительная память может формировать около 75% стоимости компонентов ИИ-сервера. Чтобы сократить зависимость от внешних поставок, компания разбирает устаревшее оборудование и создает собственную систему повторного использования комплектующих.
Google также разработала специальные адаптеры, благодаря которым память предыдущего поколения можно подключать к современным ИИ-серверам. Списанные машины возвращают в эксплуатацию именно для демонтажа пригодных модулей DDR4. Одновременно инженеры оптимизируют библиотеки, архитектуру моделей и сжатие KV Cache, стремясь снизить объем памяти, необходимый для вычислений. Кроме того, в этом году компания представила две версии своих TPU: TPU8t для обучения моделей и TPU8i для задач инференса.