Целевая аудитория и ключевые пользователи продукта
Я являюсь директором по продукту, провожу много встреч и заметил, что нами часто интересуются первые лица, у которых есть секретариат и большие переговорные комнаты. Потом оказывается, что наш продукт в первую очередь подхватывают руководители IT-проектов, и именно они начинают активнее всего использовать наш сервис.
Почему это происходит? Проанализировав большое количество наших заказчиков, мы увидели, что в проектах с большим числом деталей цена ошибки значительно выше. Одно дело – переписать документ, если на встрече неправильно что-то услышали. Это не страшно. Но если мы неправильно запрограммировали или спроектировали что-то с точки зрения архитектуры, цена ошибки становится намного выше.
Поэтому наш продукт чаще всего используют для работы с заказчиками: от этого зависит удовлетворенность клиента, проектные риски и безопасность. Существуют внешние сервисы, их сегодня много. Но сервисы, которые можно использовать безопасно, под соглашение о неразглашении и с возможностью размещения на своих серверах, – это уже более чувствительный вопрос.
Проблема неэффективных встреч и инструмент оценки потерь
С точки зрения эффективности до 50% встреч по-прежнему проходят неэффективно, хотя существует много инструментов, методик и систем тайм-менеджмента.
Мы сделали калькулятор, чтобы оценить, какие потери несет ваша организация из-за неэффективных встреч.
В нем учитываются такие показатели, как количество проводимых встреч, их средняя длительность, процент неэффективных совещаний в организации, количество участников на ваших встречах и примерный фонд оплаты труда этих участников. Для некоторых организаций сумма получалась настолько высокой, что они сразу спрашивали, куда платить.
Очень полезно вычислить и понять, какие реальные потери возникают из-за неэффективных совещаний. Это дает трезвую оценку происходящему.
Эффект от использования ИИ: освобождение от рутины и фокус на главном
С точки зрения рисков и экономии времени чаще всего думают об экономии времени на встречах и совещаниях, чтобы меньше тратить его на протоколирование. Но когда компания начинает использовать искусственный интеллект для встреч, и он действительно дает хорошее качество, возникает ощущение, которого не ожидаешь, но без которого потом уже не можешь работать.
Во время встречи ты больше не думаешь о том, что задача может потеряться, что это нужно записать, кто будет это выполнять и как не забыть об этом. Ты начинаешь включать творческое мышление, думать о главном, фокусироваться на продукте и клиенте.
Искусственный интеллект выполняет рутину. Ради этого все и делается.
Отраслевая специфика клиентов и интеграция с 1С
С точки зрения пользователей наш продукт используют многие организации из разных отраслей, но ядром являются проектные компании. Чаще всего это строительные организации, которые реализуют строительные проекты. Там цена ошибки очень высока, потому что несвоевременная сдача объекта приводит к штрафам и ухудшению репутации. Второй крупный сегмент – IT-проекты, где цена ошибки также высока.
С точки зрения 1С наш продукт встроен в конфигурацию 1С:Документооборот 3.0 начиная с версии 3.0.14. Также существует расширение, которое подходит для любой 1С. Его можно использовать в Документообороте 2.1, если нет более новой версии.
Оно работает так же, как и наш браузерный интерфейс, который доступен и в облаке, и на собственных серверах, если 1С нет или по каким-то причинам компания не хочет его использовать.
Кейсы внедрения: RGD и ErgoSoft
Первый кейс – IT-компания РЖД, «РЖД-Технологии», системный интегратор. Есть публичный кейс, который можно посмотреть. Они начали использовать наш продукт в закрытом контуре и сократили время подготовки больших и важных системных протоколов с 2-3 часов до 10–15 минут. Это повысило управляемость IT-проектов, ответственность и контроль исполнения. Появилась возможность присутствовать на совещаниях без фактического присутствия. Некоторым руководителям это особенно понравилось: можно пригласить бота на встречу, и он вместо тебя слушает, записывает и присылает результат.
Мы уже рассматриваем следующий этап. Существуют научные разработки, и наши коллеги уже подхватили идею, чтобы бот мог разговаривать. Ты подгружаешь свою RAG-базу к совещанию, и при возникновении вопросов он отвечает за тебя. Это следующий шаг. Потом один тимлид сможет приходить на встречу и разговаривать с ботами. Но это следующий этап, пока мы сделали первую часть.
Второй кейс – RG-SOFT, франчайзи 1С. Они сократили время подготовки протоколов, улучшили культуру проведения совещаний и быстро начали использовать продукт (более 100 стенограмм за первую неделю). Применяют в разных задачах: маркетинг, аналитика, обучение.
Основная ценность продукта: не только экономия времени, но и снижение рисков
Многие начинают использовать продукт ради экономии времени, но в итоге получают защиту от недопонимания, разрыва отношений, потери денег и репутации. В несколько кликов можно вернуться к базе расшифровок, найти, кто что говорил и кто что обещал, и благодаря этому сохранять удовлетворенность заказчика, особенно при передаче информации. Встречу нужно передать еще кому-то, потом еще дальше, и чтобы не было потери данных, стенограмма и протокол точно отражают суть.
Обеспечение стопроцентного покрытия означает, что не каждый отдельно что-то у себя включил и записал, а система настроена так, что все важные встречи автоматически расшифровываются, по каждой формируется стандартизированный протокол. Это создает новую культуру эффективности.
Архитектура и принцип работы TimeList Agent
По сути, Таймлист AI Agent – это система, которая управляет микросервисами. Первый микросервис – бот для встреч, который можно подключать к разным системам видеоконференций. Можно подгружать любые аудио- и видеозаписи, после чего бот присылает расшифровку и делает из нее резюме. Можно выбрать формат резюме, который удобен и нужен.
Когда бизнес-процесс непрерывен, ты просто приглашаешь бота в календаре как участника, и он потом присылает готовый результат. Это тот эффект, которого многие ждали. Мы долго шли к этому непрерывному процессу и сейчас видим, что потребление нашего продукта существенно выросло.
Поддержка различных платформ и корпоративная интеграция
В числе поддерживаемых видеоконференций – Express, IVA, TrueConf, и отдельные системы взаимодействия, «Яндекс.Телемост», «Контур.Толк», Zoom, Google Meet и Microsoft Teams. Мы поддерживаем эти системы, чтобы при работе с разными заказчиками, у которых используются свои платформы, можно было объединить все встречи в единую базу знаний.
Также есть API и корпоративные системы интеграции: Bitrix24, Active Directory. Через календарь и IMAP можно приглашать бота по почте, чтобы все работало как единый продукт.
Ключевые отличия и гибкость продукта
С точки зрения наших отличий от ряда сервисов, во-первых, у нас можно настраивать формат так, чтобы по своему промту получать нужный результат. Кому-то подходит такой вариант «обсудили, решили, поручили», кому-то нужен формат в виде списка, кому-то – какой-то другой. В зависимости от привычек и задач можно настроить все что угодно.
Во-вторых, у нас собственный Speech To Text и GenAI. Это значит, что можно развернуть систему в собственном контуре и настроить ее под нужный контекст и скорость работы. Все может функционировать в полностью закрытом защищенном контуре компании или в наших облаках – в зависимости от того, что требуется.
Преобразование встреч в базу знаний и генерация документов
Наши последние разработки связаны с тем, что получение протоколов уже перестает удивлять, потому что рынок движется в эту сторону. Все ожидают, что искусственный интеллект будет формировать протоколы и расшифровки. Возникает вопрос: что дальше? Дальше важно, чтобы эти знания продолжали работать на вас.
Мы добавили новый микросервис, который позволяет создавать знания из полученных расшифровок. Есть база расшифровок, мы их тегируем, затем по тегам выбираем то, что нужно преобразовать в знания. Эти знания можно дополнить своими регламентами и проектными материалами.
Далее через привычный сервис, такой как ChatGPT, можно использовать проиндексированные знания, чтобы получать нужные форматы коммерческих предложений, технических заданий и других документов, которые формируются на основе ваших расшифровок и ваших встреч.
Таким образом, формируется замкнутый цикл. На совещаниях обсуждаются неявные знания, которых нет ни в одном договоре. Договор живет своей жизнью, проект живет своей жизнью. Мы даем возможность формировать формальную часть документов с помощью алгоритма расшифровок, механизма создания знаний и их обработки искусственным интеллектом, получая концентрат смысла.
Качество распознавания речи и адаптация модели под IT-контекст
Пример результата дообучения моделей. Мы недавно провели очередной цикл дообучения, и видно, что у нас «Гид» – это не «гид», а Git. Если модель видит, что контекст айтишный, она правильно расшифровывает терминологию. Она знает большое количество айти-терминов, знает, что такое Scrum, что такое Legacy-проект и MVP.
WER Timelist & Whisper:
Наши модели
-
v30 - 0.0386
-
v38 - 0.430
Оригинальные модели
-
openai/whisper-large-v2 – 0.1687
-
openai/whisper-large-v3-turbo – 0.1426
С точки зрения WER наша модель Voice AI обладает показателем 0,4. Если сравнивать с Whisper Large v2 или v3 Turbo, у v3 Turbo скорость выше, но качество распознавания хуже. У нас в среднем получается 4,5 ошибки из 100. У Whisper качество около 90%, то есть количество ошибок в 3,5 раза и более выше, чем у нашей модели.
Выбор генеративной модели: баланс между качеством, скоростью и безопасностью
С точки зрения генеративных моделей тоже все не так просто. Если брать модели DeepSeek-R1, там требуются неквантизованные модели и восемь карточек A100, чтобы она стабильно работала. Она действительно умная. DeepSeek – хорошие модели, но для работы нужны большие мощности. Если это развернуть, потребуется закупить большое количество карточек, и тогда будет свой DeepSeek.
Если брать другие модели, они начинают галлюцинировать, а на совещаниях вопросы важные. Модель что-то не то придумала – и репутация искусственного интеллекта сразу снизилась, сотрудники перестали его использовать. Важно, чтобы он не галлюцинировал в процессе ответа. Важно, чтобы он быстро работал. Важно, чтобы он не выдавал «китайщину» (китайские модели могут переходить на китайский язык).
Этими вопросами занимается наш штат ML-специалистов. Каждый четвертый сотрудник имеет ученую степень. Они работают над тем, чтобы модель была нормальной и стабильной.
Доступность и требования к оборудованию
У нас модель, которую можно запускать на небольших видеокартах. У нее большой контекст – до 128 тысяч токенов, и высокая скорость обработки – 124 токена в секунду.
Мы много работали, чтобы снизить объем требуемого оборудования, и поддержали возможность работы на таком оснащении.
Можно запускать модель на одной видеокарте с 16 гигабайтами и хорошем процессоре. В этом случае расшифровка и протокол формируются примерно за полчаса. Оптимальный вариант – две видеокарты по 16 гигабайт. Такой комплект стоит около полумиллиона, и на нем можно получать расшифровку и протокол за 15 минут. Если нужна максимальная скорость, требуется более мощное оборудование стоимостью до двух миллионов, и на нем можно получать расшифровку и протокол очень быстро.
Мы много работали, чтобы сделать продукт либеральным и дать возможность использовать его в собственном контуре даже при небольшом бюджете.
*************
Статья написана по итогам доклада (видео), прочитанного на конференции INFOSTART TECH EVENT.
