Потребительские видеокарты NVIDIA GeForce RTX способны показывать значительно более высокую производительность в задачах искусственного интеллекта, чем предполагают их официальные характеристики. Энтузиасты обнаружили способы обойти программные ограничения сразу нескольких поколений графических процессоров и практически вдвое увеличить вычислительную мощность без смены драйверов и повышения энергопотребления.
Для GeForce RTX 30 на базе архитектуры Ampere разработанная модификация ускоряет операции матричных вычислений FP/BF16 с накоплением FP32. В случае RTX 3090 Ti прирост скорости умножения матриц в формате BF16 достиг 80%. Решение совместимо с видеокартами на чипах GA102, GA103, GA104 и GA106. Отдельная разработка для RTX 40 с архитектурой Ada Lovelace продемонстрировала ещё более высокий результат: производительность RTX 4090 в вычислениях FP16 с накоплением выросла до 331,6 Тфлопс по сравнению с первоначальными 165,6 Тфлопс. Разблокировка также доступна для GPU AD102, AD103 и AD106.
Согласно данным TechPowerUp, такие модификации позволяют игровым видеокартам приблизиться по вычислительным возможностям к профессиональным ускорителям NVIDIA. Наиболее заметный эффект может проявиться при локальном запуске языковых моделей, поскольку увеличиваются скорость обработки запросов и темп генерации токенов. Похожий метод использовали и для GeForce RTX 20 на архитектуре Turing, где также удалось получить заявленное двукратное ускорение.
При этом у решения есть существенное ограничение: активировать модификации требуется во время загрузки системы, до того как видеокарта будет подключена к драйверам NVIDIA. Кроме того, любое вмешательство в работу GPU приводит к потере гарантии. Поэтому подобный эксперимент может заинтересовать энтузиастов искусственного интеллекта, однако проводить его владельцам видеокарт придётся на свой страх и риск.