Валерий Бобров. От ChatGPT до GigaChat: как объективно оценить и выбрать LLM для разработки на 1С

31.10.2025 12:57:38   Инфобот (Infostart)    1499

Большие языковые модели все чаще применяются для генерации кода на 1С, но до сих пор нет единого способа объективно сравнить их качество. Объясняем, как работают метрики BLEU, CodeBLEU и pass@k, и как их можно адаптировать для оценки LLM в экосистеме 1С. Показываем, какие задачи – от простых функций до рефакторинга – помогают полноценно оценить интеллект модели и ее знание платформы. Разбираем ключевую проблему проверки логики и синтаксиса в автоматическом режиме и показываем бенчмарк, который решает эту задачу, сравнивая ChatGPT, Claude, GigaChat и другие модели по единым стандартам.

Доклад в виде статьи: https://infostart.ru/1c/articles/2518237/

Категории:
 Программирование

Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
Для отправки сообщения требуется регистрация/авторизация
Олег Репников. Code-review с помощью искусственного интеллекта. Не все так просто
Владимир Харин. Инвентаризация доработок 1С перед большим обновлением: как ИИ помогает разобраться в отчетах, обработках и расширениях
Лилия Салахова. ИИ-навыки будущего, с которыми вы будете на шаг впереди остальных
Константин Паламарчук. ИИ-помощник на чистом 1С: MVP своими руками за 30 минут
Артур Данилов. Как мы в MagnitTech используем Docker для 1С
Гейдар Габриэлянц. 1С под нагрузкой: как предсказать пики и избежать коллапса системы
Иосиф Правец. Зачем одинэснику docker?
Алексей Павлов. Интеграция искусственного интеллекта и технологий в кейтеринг. Примеры и результаты
Игорь Апресов. Стандарты v8std, связанные с информационной безопасностью
Игорь Апресов. База по API