Локальная модель Qwen3.8-27B неожиданно продемонстрировала результаты, сопоставимые с крупными облачными ИИ-системами, хотя речь идёт только об одной задаче из кодингового бенчмарка DeepSWE. Версия с 4-битным сжатием прошла 98% проверок и набрала максимальные 12 из 12 баллов в испытании на ревью кода.
На первый взгляд показатель выглядит впечатляюще: по данным DeepSWE, передовые облачные модели в среднем набирают в этой задаче 96,6%. Однако говорить о полном равенстве пока преждевременно. Бенчмарк состоит из 113 заданий, и даже лучшие облачные системы успешно выполняют примерно 70–74% из них. Кроме того, конкретную проверку без единой ошибки они проходят лишь примерно в двух случаях из трёх.
Дополнительным преимуществом Qwen3.8-27B остаётся возможность локального запуска. 4-битная версия потребляет около 13–18 ГБ памяти, поэтому при подходящих настройках способна работать даже на видеокарте с 16 ГБ VRAM. На RTX 4090 с 24 ГБ модель выдаёт примерно 115 токенов в секунду.
Впрочем, автор эксперимента подчёркивает, что тестирование проводилось всего один раз. Модель успешно прошла 40 из 43 скрытых проверок, но итоговый бинарный результат оказался нулевым — полностью решить задачу ей не удалось. Поэтому сравнение с передовыми облачными моделями пока скорее говорит о заметном потенциале локальных ИИ, чем о доказанном превосходстве над ними.