Валерий Бобров. От ChatGPT до GigaChat: как объективно оценить и выбрать LLM для разработки на 1С

31.10.2025 12:57:38   Инфобот (Infostart)    1932

Большие языковые модели все чаще применяются для генерации кода на 1С, но до сих пор нет единого способа объективно сравнить их качество. Объясняем, как работают метрики BLEU, CodeBLEU и pass@k, и как их можно адаптировать для оценки LLM в экосистеме 1С. Показываем, какие задачи – от простых функций до рефакторинга – помогают полноценно оценить интеллект модели и ее знание платформы. Разбираем ключевую проблему проверки логики и синтаксиса в автоматическом режиме и показываем бенчмарк, который решает эту задачу, сравнивая ChatGPT, Claude, GigaChat и другие модели по единым стандартам.

Доклад в виде статьи: https://infostart.ru/1c/articles/2518237/

Категории:
 Программирование

Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
Для отправки сообщения требуется регистрация/авторизация
Павел Ткаченко. Рефакторинг — не роскошь: как внедрить культуру улучшений в команде
Дмитрий Сидоренко. WebSocket'ы — это не больно
Алексей Куверзанов. Как сэкономить 200+ часов на настройке профилей групп доступа в 1С?
Дмитрий Сидоренко. Что ты сделал для Open Source в свои годы?
Ринат Зиганшин. Как написать свой первый плагин для 1C:EDT. Дорожная карта новичка
Николай Ермаков. Sage: встраиваем мониторинги в разработку 1С на примере Т-Банка
Вадим Фоминых. 1С без дирижера: как построить бизнес-процессы через Kafka и хореографию событий
Андрей Овсянкин. Запуск DevOps в 1С с точки зрения не техники, но людей и процессов
Дмитрий Абрамов. ИИ-сервисы как LEGO: из чего на самом деле состоит корпоративный ИИ
Владимир Акимов. Полный cookbook «Разработки в 1С на ИИ-агентах» — от проблем до решений