3 минуты 57 секунд.
20 рублей. Сделаешь быстрее и дешевле?
Один промпт. Готовая EPF. Открыл в 1С — работает.
Я сидел и смотрел на таймер в шоке! Недели назад 19 минут казались вау. А тут нейросеть собрала внешнюю обработку быстрее, чем я обычно открываю Конфигуратор.
Привет, меня зовут Дмитрий Котов. Я 1Сник, стримлю вайбкодинг, и меня легко найти в телеграме.
Это регресс-тест на той же задаче, что и в прошлой статье: внешняя обработка выгрузки номенклатуры в JSON. Не новая задача уровня «напиши мне ERP» или «создай расчет плановой себестоимости». Это тот же бенчмарк, но с новыми моделями. Хотел сравнить Fable 5 и Sol. Победил неожиданно третий — Grok, которого запустил случайно и по приколу.
Зачем вообще гонять одну и ту же обработку второй раз? Потому что иначе нельзя честно сказать, ускорился я или просто поймал удачный день. Если менять и модель, и задачу, и обвязку — потом в комментариях начинается вечный спор: «ну у вас задача проще», «ну вам просто повезло». Промпт в целом один и тот же: я только чуть его докрутил с уточнениями. Теперь буду стараться использовать его без изменений.
Стрим целиком: YouTube | ВК-Видео | Rutube.
Материалы стрима: в облаке маилру. Можно скачать, открыть и самому решить.
Сразу честно: 3:57 — рекорд вечером до стрима, в один промпт. На стриме Grok повторил задачу примерно за 6 минут и с одним фиксом. Заголовок берет лучший замер. Вилка по этой задаче сейчас — от ~4 до ~6 минут. Этот бенчмарк на простой EPF, не на доработку ERP с проведением по десяти регистрам и настройкой РЛС, но и это уже многие делают с помощью ИИ. Я честно рассказываю это в прямом эфире — без красивых презентаций.
Рекорд GROK: 3 минуты 57 секунд и ваншот
Что замерял и чем
Формат простой: всё та же задача по созданию выгрузки справочника номенклатуры в JSON (её, кстати, и вендор демонстрирует в 1С:Напарнике), одинаковые инструменты, замер времени, проверка руками в 1С. Не просто листинг в чате, а именно готовый файл EPF, который открывается.
Нужно было сделать:
- внешнюю обработку;
- номенклатуру из базы;
- таблицу с галочками «выгружать / не выгружать»;
- каталог выгрузки;
- отборы: группы и помеченные на удаление;
- выгрузку в JSON;
- на выходе — готовую EPF, желательно без Конфигуратора.
Почему именно такая задача? Потому что в ней сразу видно несколько слоев: форма, клиент-сервер, работа со справочником, файл на диске, сборка внешней обработки. Это не «напиши функцию сортировки пузырьком». И это не «перепиши подсистему расчета себестоимости». Идеальная середина для бенчмарка: достаточно жизненно, чтобы было стыдно за фейл, и достаточно компактно, чтобы уложить в час стрима.
Промпт специально короткий. Я специально не расписывал состав полей JSON, поведение каждой кнопки и правила именования файлов. Иначе я измерял бы не агента, а качество своего ТЗ.
Разработай внешнюю обработку по выгрузке справочника номенклатура в JSON, используй MCP. Принимай решения самостоятельно, предоставь мне готовое решение. Ключевые требования по интерфейсу: должна быть таблица номенклатуры с возможностью установки отметки выгружать или нет, каталог выгрузки, минимальные отборы - показывать группы, показывать помеченные на удаление.
На всех стендах одни и те же «руки»:
- набор инструментов для разработки на 1С — Unica (включает скиллы Николая Широкова и многое другое);
- MCP Вовы Харина — чтобы агент видел метаданные, а не фантазировал структуру справочника;
- автоподтверждение действий — меньше театра «можно я выполню команду?».
💡 Unica — набор инструментов для агентной разработки на 1С: github.com/IngvarConsulting/unica.
Что я сознательно не выравнивал до миллиметра: точные thinking-режимы, поминутный расход токенов, идеальную «лабораторную» чистоту параллельного запуска. Это живой стрим, не стерильный бенчмарк из белой комнаты. Зато результат я проверял одинаково: открыл в 1С — выгрузил — посмотрел JSON и модули.
Отдельно про параллельный запуск Grok, пока Fable еще думал. Да, это не идеальная лаборатория. Нет, я не считаю, что из-за этого замер недействителен. Время каждой модели я засекал по ее собственному циклу: от отправки промпта до рабочего файла. Fable все равно ушел примерно на 20 минут. Grok все равно уложился в несколько минут.
💡 Без скиллов и MCP это снова чатик. Со скиллами и MCP появляется шанс на конвейер: исходники → форма → сборка → проверка. На моих ранних стримах без этой обвязки похожая обработка могла есть часы и десятки исправлений.
Счёт на табло
Если совсем коротко — вот результат этого забега:
| Модель | Время | Промпты | Короткий итог |
|---|---|---|---|
| Grok | ~4 мин рекорд | ваншот | Победитель по скорости. Логика разнесена по модулям. |
| ~6 мин на стриме | 1 + 1 фикс | ||
| Claude Fable 5 | ~20 минут | ваншот | С первого раза открылась и выгрузила. Код весь на форме. |
| GPT-5.6 Sol | ~20 минут суммарно | 1 + 2 фикса | Лучший UX. С первого раза обработка не открылась. |
Для масштаба — рядом прошлый забег на той же по духу задаче:
| Прошлый стрим | Время | Промпты |
|---|---|---|
| Codex GPT-5.5 | ~19 минут | ваншот |
| Composer 2.5 | ~50 минут | много фиксов |
| Opus 4.8 | ~19 минут | 1 + 1 фикс |
Не нужно читать эти таблицы как «Grok в 5 раз умнее Codex». Модели меняются каждую неделю, обвязка тоже живет своей жизнью. Читать нужно иначе: еще недавно вау было «около 20 минут до EPF». Сейчас на той же задаче уже всплывают 4–6 минут.
Как это выглядело на стриме
План был: Fable против Sol. Час эфира. Честное сравнение.
Запускаю Fable 5. Он красиво рассуждает, собирает каталоги, компилирует форму, что-то самопроверяет через test runner. Идет 3-я минута, 5-я, 10-я... А в голове вчерашние 3:57 у Grok.
На 15–16 минуте Fable все еще крутится. Поднимаю Grok параллельно. Тот же промпт. Пустая папка.
Пока Fable дожевывает, Grok уже отдает EPF примерно за 5,5 минут. Открывается. На выгрузке — ошибка. Не «все сломалось навсегда», а обычная ошибка выполнения. Кидаю текст ошибки обратно агенту без философии и без нового ТЗ. Еще ~50 секунд. Итого около 6 минут, один фикс, рабочий результат.
Fable финиширует около 20-й минуты. Один промпт. Без плясок. Четыре отмеченных элемента — четыре в JSON. Для человека, который не зажрался скоростью Grok, это все еще очень хороший результат: поставил задачу и пошел заниматься другим. Ну и не нужно забывать: это идеальное готовое решение с ваншота! 20 минут ожидания — и сразу готовое решение.
Fable: с одного промпта, без фикса
Sol я ждал как фаворита: взрослый план шагов в начале, уверенный тон в рассуждениях, даже тесты. Через ~10 минут — первая сборка. Открываю — не взлетает. «Внешняя процедура не определена». Классика жанра: модель рапортует «всё готово, я всё проверила», а пользовательский сценарий «открыть файл в 1С» внезапно даёт сюрприз.
Два промпта на исправление. Суммарно снова около 20 минут. То есть по времени Sol финишировал рядом с Fable, но путь был менее приятен.
Grok: классическая 1С-форма и нормальный message после выгрузки
Зато форма у Sol — лучшая из трех. Путь пользователя сверху вниз, без прыжков мышкой по экрану. Для вайбкодинга это редкость. Обычно модели оптимизируют «чтобы хоть собралось», а не «чтобы мешку с костями было не стыдно показать и удобно пользоваться».
Sol выиграл в UX, но проиграл первую попытку открытия
Открыл модули. Вот где правда
Таймер — половина истории. Вторая половина — можно ли это потом поддерживать.
После финиша я специально полез в Конфигуратор. Не потому что люблю собирать разного рода извращения. А потому что «обработка открылась» и «обработку не стыдно отдать коллеге» — разные уровни качества.
- Grok — логика разнесена: модуль объекта + модуль формы. После выгрузки показал пользовательское сообщение. Из трех это самый взрослый каркас. Форма классическая, 1Сная, без вау-дизайна, но без странностей.
- Fable 5 — запрос и основная логика на форме. Работает с первого раза, но выглядит как сдача в спешке. Если завтра надо менять правила выгрузки или добавлять код, тут-то и появятся ИИ-скептики. Написано обычно, можно сказать говнокод. Но так и раньше, и сейчас многие пишут — и всё работает в проде.
- Sol — витрина сильнее всех, кухня слабее Grok. Красиво пользоваться, спорнее читать код. Отдельно раздражает разрыв между «я написал тесты» и «файл не открывается».
Grok разнес логику
По JSON отдельный момент. Жесткий формат выгрузки я в промпте не фиксировал. Поэтому сравнивать «чей JSON правильнее» здесь нельзя. Можно сравнивать другое: появился ли родитель, есть ли признак группы, можно ли понять структуру без боли. На стриме по факту у обработок родители и группы были. Если нужно строгое ТЗ под обмен с внешней системой — это уже следующий круг: сначала спека, потом сборка.
Fable: работает с первого раза, но все в одном месте
💡 Быстрый EPF без ревью — демо. Быстрый EPF с ревью 1Сником — отдаем в прод.
Сколько это примерно стоит
Токены поминутно я не сводил — на живом стриме это отдельный цирк с калькулятором. Но по ощущению подписок картина такая.
- Grok входит в подписку Cursor и жрет лимиты довольно щадяще, плюс не трогает API-лимиты так агрессивно. По цене близко к Composer: недорогая рабочая лошадка. У меня Cursor за $20. По этому забегу стоимость ориентировочно 10–20 рублей. До какого момента такой праздник — никто не знает.
- Sol сейчас по оплате нестабилен в мою пользу: еженедельные лимиты иногда обнуляются каждый день и дают несколько бесплатных сбросов по акции. Сколько продлится праздник — непонятно. Подписка у меня тоже $20.
- Fable 5 сейчас выглядит самой дорогой. На $20 быстро упираешься в лимит. Для эксперимента я перешел на подписку за $100 — потолок пока не достаю, но это уже другой чек.
Если смотреть только цену за «дошел до рабочей EPF», Grok в этом забеге выглядит особенно неприятно для конкурентов: быстро и относительно дешево. Fable может быть спокойнее по ваншоту, но чек заметно выше. Sol пока находится в странной зоне: то ли подарок судьбы по лимитам, то ли временная акция, на которой опасно строить долгую экономику команды.
Важный нюанс: «дешевая модель» не равна «бесплатная разработка». Ты все равно платишь временем на постановку, ревью и повторные прогоны. Просто теперь это время чаще уходит на контроль качества, а не на набор кода с нуля.
Мой рейтинг
- Grok — скорость + нормальная раскладка кода + адекватная экономика в Cursor.
- Fable 5 — самый спокойный ваншот, но медленнее и заметно дороже.
- Sol — лучший UX, хуже первая сдача; по деньгам пока «праздник с неизвестной датой окончания».
Через неделю таблица может перевернуться. В этом и суть: инструмент выбираешь не раз и навсегда, а перепроверяешь на своих задачах. Еще недавно я искренне радовался связке, которая выдавала EPF за 19 минут. Сейчас смотрю на 20 минут Fable и думаю: «нормально, но уже без вау». Это заставляет быть гибким и не отдавать выбор одной модели: каждый месяц, а порой и каждую неделю выходят новые и более сильные. Приходится постоянно следить за рынком. Поэтому находи меня в телеграме — об этом и пишу 😉
Короткий промпт или нормальная спека?
На закуску на стриме я взял тот же короткий запрос и прогнал через мозговой штурм Superpowers.
💡 Superpowers — фреймворк скиллов и методология для агентной разработки: github.com/obra/superpowers.
Из «сделай выгрузку номенклатуры в JSON» нейронка сама собрала:
- спецификацию с полями, реквизитами и колонками;
- требования к формату и тестам;
- потом подробный план с шагами и подсказками для реализации.
Это другой режим работы. Не «сделай сразу и удиви меня», а «давай сначала договоримся, что я считаю готовым».
Для бенчмарка скорости короткий промпт полезен: всем одна и та же стартовая точка. Для боевой задачи я бы чаще начинал со штурма. Особенно если JSON уходит во внешнюю систему, есть требования безопасности, нужен определенный состав полей или завтра обработку будет поддерживать другой человек.
Грубо: короткий промпт отвечает на вопрос «может ли агент вообще дойти до файла». Спека отвечает на вопрос «дойдет ли он до файла, который мне не стыдно встроить в процесс».
Скажи уже, с чего начать?
Если ты ещё с нуля — начни с первой статьи серии: Вайбкодинг на 1С — Проще простого! Быстрый старт. Там я разбираю, с чего вообще входить в вайбкодинг, и почему лучший старт — Cursor. В текущей статье этот тезис только крепче: Grok уже внутри подписки Cursor, быстро, дёшево и без отдельного зоопарка инструментов.
Если стенд уже есть и хочется понять, откуда взялась планка «около 20 минут до EPF» — смотри прошлый замер: ИИ сделал внешнюю обработку за 19 минут. Та же по духу задача: внешняя обработка выгрузки справочника номенклатуры в JSON, сравнение сильных моделей на живом стриме.
А если у тебя уже похожая простая EPF и ты дочитал этот стрим до конца — мой порядок старта сейчас такой.
- Стартовал бы с Grok — лучший баланс скорости, каркаса кода и цены в моем наборе на эту задачу.
- После агента всегда проверяй руками. Не верь слову «тесты прошли». Минимум:
- обработка открывается в 1С;
- отборы работают;
- выгрузка пишет файл;
- в JSON то количество и те признаки, которые ты отметил;
- логика не свалена бессмысленно в один модуль;
- пользователю понятно, что произошло после нажатия кнопки.
- Если задача пойдет в прод надолго — сначала штурм/спека, потом сборка. Короткий промпт хорош для замера. Для продакшена лучше сначала договориться о результате.
Стенд — копия базы, не прод. Принимает результат человек. Это не кнопка «сделай красиво», а ускоренный джун, который пишет по учебнику с памятью всего интернета.
И еще одно, чтобы заранее закрыть вечный комментарий. Нет, это не доказательство, что ИИ завтра заменит любого 1Сника на любом проекте. Это доказательство более узкое и от этого более неприятное для скептиков: на типовой внешней обработке путь до рабочего артефакта уже измеряется минутами, а не часами. Кто не пробует на своих задачах, будет спорить с теми, кто уже открыл файл и засек таймер.
Я не продаю сказку, что вся 1С завтра станет кнопкой. Я показываю замер. И замер уже неудобный.
А дальше — ещё неудобнее.
Спойлер следующей статьи: ту же обработку я уже собрал примерно за 10 рублей и 10 минут. С картой МИР. Без КВН. Без «ну у вас там магия оплаты». Название уже готово: «Самая дешевая разработка с ИИ на 1С, с картой МИР и без КВН».
Под прошлой статьей ИИ-скептики не на шутку закипели. Месяц в обсуждениях. Брали на слабо. Закидывали минусами. Я не «повёлся» — я просто сделал следующий замер. Потом ещё один. И цифры снова съехали вниз.
Ну что, скептики? Вы ещё не вайбкодите?
Тогда я иду к вам.
Продолжение следует. А кто не хочет ждать — я в телеграме, максе, ютубе, рутубе, вк и где только нет: Дмитрий Котов. Увидимся, до новых встреч! Пока пока.
Вступайте в нашу телеграмм-группу Инфостарт
