Валерий Бобров. От ChatGPT до GigaChat: как объективно оценить и выбрать LLM для разработки на 1С

31.10.2025 12:57:38   Инфобот (Infostart)    326

Большие языковые модели все чаще применяются для генерации кода на 1С, но до сих пор нет единого способа объективно сравнить их качество. Объясняем, как работают метрики BLEU, CodeBLEU и pass@k, и как их можно адаптировать для оценки LLM в экосистеме 1С. Показываем, какие задачи – от простых функций до рефакторинга – помогают полноценно оценить интеллект модели и ее знание платформы. Разбираем ключевую проблему проверки логики и синтаксиса в автоматическом режиме и показываем бенчмарк, который решает эту задачу, сравнивая ChatGPT, Claude, GigaChat и другие модели по единым стандартам.

Доклад в виде статьи: https://infostart.ru/1c/articles/2518237/

Категории:
 Программирование

Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
Для отправки сообщения требуется регистрация/авторизация
Александр Волков. 1С: Элемент. Доступные библиотеки, их возможности, подходы к разработке
Айдар Сафин. R&D в 1С: как исследования создают инновации
Виталий Подымников. Краткий обзор методики дымового тестирования из Vanessa ADD
Матвей Серегин. Решение на базе 1С:Предприятие.Элемент в информационном ландшафте предприятия
Екатерина Холодова. ИИ для проведения код-ревью – опыт Magnit Tech
Роман Савинов. Как сделать первый, но уверенный шаг в тестировании
Михаил Журавлев. Ошибки при написании запросов, которые допускают все (делаем свой чек-лист)
Тихон Стрельников, Денис Беляев. Практика LLM в процессах автоматизации – смена правил игры
Станислав Косолапов. AI-агенты для 1С: от генерации кода до автоматизации разработки и тестирования
1С ИИ - сервис анализа цен конкурентов по фото (вебинар)