Валерий Бобров. От ChatGPT до GigaChat: как объективно оценить и выбрать LLM для разработки на 1С

31.10.2025 12:57:38   Инфобот (Infostart)    1370

Большие языковые модели все чаще применяются для генерации кода на 1С, но до сих пор нет единого способа объективно сравнить их качество. Объясняем, как работают метрики BLEU, CodeBLEU и pass@k, и как их можно адаптировать для оценки LLM в экосистеме 1С. Показываем, какие задачи – от простых функций до рефакторинга – помогают полноценно оценить интеллект модели и ее знание платформы. Разбираем ключевую проблему проверки логики и синтаксиса в автоматическом режиме и показываем бенчмарк, который решает эту задачу, сравнивая ChatGPT, Claude, GigaChat и другие модели по единым стандартам.

Доклад в виде статьи: https://infostart.ru/1c/articles/2518237/

Категории:
 Программирование

Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
Для отправки сообщения требуется регистрация/авторизация
Александр Конюхов. Токсичный рефакторинг: когда хорошие намерения приводят к проблемам
Максим Кулбараков. Нагрузочное тестирование 1С при переходе на Linux и PostgreSQL
Данил Кравченко. Нагрузочное тестирование в двух базах одновременно. Опыт кейса
Илья Гайдабура. От ручного управления к автоматизации: внедрение практик DevOps в среде 1С
Станислав Баташов. Подготовка тестовых данных для юнит и интеграционных тестов на фреймворке yaxUnit
Александр Пузаков. Математика в коде, или про чистоту функций
Владимир Бессонов. 1С без драмы: когда обновления работают сами
Игорь Кайбанов. Снятся ли андроидам дедлайны? Искусственный интеллект в СЭД на старте перехода
(Не) Значительное Знач - Митап 1С от MagnitTech
Контантин Ожерельев. Почему ручной деплой до сих пор жив и сколько времени он реально занимает?