Валерий Бобров. От ChatGPT до GigaChat: как объективно оценить и выбрать LLM для разработки на 1С

31.10.2025 12:57:38   Инфобот (Infostart)    1524

Большие языковые модели все чаще применяются для генерации кода на 1С, но до сих пор нет единого способа объективно сравнить их качество. Объясняем, как работают метрики BLEU, CodeBLEU и pass@k, и как их можно адаптировать для оценки LLM в экосистеме 1С. Показываем, какие задачи – от простых функций до рефакторинга – помогают полноценно оценить интеллект модели и ее знание платформы. Разбираем ключевую проблему проверки логики и синтаксиса в автоматическом режиме и показываем бенчмарк, который решает эту задачу, сравнивая ChatGPT, Claude, GigaChat и другие модели по единым стандартам.

Доклад в виде статьи: https://infostart.ru/1c/articles/2518237/

Категории:
 Программирование

Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
Для отправки сообщения требуется регистрация/авторизация
Григорий Шатров. Что происходит с базой, когда ей добавляют расширение
Александр Марусенко. Блеск и нищета юнит-тестирования в 1С
Евгений Забелин. Практика осознанного программирования на примере разработки библиотеки 1С Ozon
Александр Конюхов. UI без боли: как перестать мучить пользователей формами
MCP-сервер с поиском по метаданным конфигурации 1С | Harness для 1С
Harness 1С. MCP сервер с контекстной подсказкой для кодового агента
Александр Зыков. Невозможное возможно! Биллинг миллиарда событий доставки СДЭК для 700 тысяч клиентов
Наталья Вьюнова. Код-ревью 1C с ИИ: как собрать рабочего ассистента на RAG без Git, Sonar и EDT
Павел Ваклюк. От хаоса к повторяемости: промпт-цепочки, которые превращают ИИ в надёжного агента
Олег Репников. Code-review с помощью искусственного интеллекта. Не все так просто