Полностью голосовое управление учетной системой. Вести из лаборатории

27.09.23

Интеграция - Нейросети

Под голосовым вводом я понимаю не просто проговаривание в микрофон заранее запрограммированных команд. А настоящий голосовой ввод. Когда пользователь говорит, что ему нужно в свободном формате, на естественном языке. Можно ли сделать на этом полноценную учетную систему? Telegram, API и немного магии (GPT).

Представим, что у нас есть мини-пиццерия. Мы предлагаем покупателям три вида пиццы в двух размерах и два напитка.

  • пицца Маргарита большая и средняя
  • пицца Пепперони большая и средняя
  • пицца Карбонара большая и средняя
  • напиток морс
  • напиток липтон

Мы хотим иметь возможность:

  • Добавлять и удалять товары. Менять их названия.
  • Устанавливать и менять цены товаров.
  • Принимать заказы от покупателей.
  • Устанавливать статусы заказов по мере их выполнения.
  • Анализировать продажи за выбранный нами период

В нашем распоряжении пустая база данных MySQL вот с такими таблицами

  • товары(id, название, цена)
  • заказы(id, покупатель_id, дата, статус, сумма)
  • состав_заказов(заказ_id, товар_id, количество, цена, сумма)

Также в нашем распоряжении два телеграм-бота. Один "внутренний" и один "внешний". Внешний телеграм-бот будет принимать заказы от покупателей, а внутренний делать все остальное.

Начнем создавать список товаров. Для этого скажем внутреннему боту, что хотим добавить новый товар.

 

 

Здесь и далее я буду показывать вам на картинках отладочную информацию (у нас же вести из лаборатории!). В первой части отражается результат распознавания аудио. Во второй части показывается, во что превращается первая часть после обработки большой языковой моделью. Наконец, в третьей части можно увидеть результат. В рабочем режиме отладочная информация конечно убирается.

Вернемся к изображению. Я говорил, что будет немного магии. А она тут есть! Во-первых, расшифровка аудио выдала не точно то, что я сказал. Я сказал "добавь товар пицца маргарита...". Это превратилось в "добавь в товар пиццу маргарита..." Так работают распознаватели речи. Они всегда дают некоторое количество ошибок. Радует то, что для "великого и могучего" это количество будет относительно небольшим. У какого-нибудь французского или турецкого оно существенно больше. Но тем не менее, до появления больших языковых моделей это было очень серьезной проблемой. А теперь нет никакой разницы: "добавь товар...", "добавь в товар"... модель все поймет. Можно также сказать "новый товар" или "еще товар" и это сработает.

 

   

 

 

Посмотрим, что у нас в итоге получилось. Для этого произнесем "магические" слова "список товаров".

 

 

Для средней Маргариты мы забыли установить цену, а для Карбонары не указали размер. Исправим.

 

 

 

Работает. Попробуем удаление. Чтобы удалить ненужный товар, сначала надо добавить ненужный товар.

 

 

Теперь попробуем удалить

 

 

Да, бывают и неудачи. Тогда пусть будет так

 

 

Список товаров с ценами у нас есть. Теперь можно принимать заказы. Заказы будет принимать внешний бот. Логика его работы полностью отличается от логики работы внутреннего бота. Внешний бот слушает, что говорит покупатель и пытается сделать из этого заказ.

 

 

Внешнему боту ставится задача превратить голосовое сообщение пользователя в JSON. Как видите, он прекрасно справляется с этим, невзирая на то, что пользователь не то чтобы очень точен. Да и ASR вместо "мне большую..." выдает "у меня большую..."

Как бы там ни было, мы получаем структурированную информацию, которая тривиальным образом превращается в соответствующие записи в таблицах.

Вернемся к внутреннему боту. Нам нужно получить список новых заказов, отработать их, а потом закрыть. 

Чтобы получить список новых заказов можно так и сказать: "список новых заказов". Можно проще: "новые  заказы". Все будет работать. Но лучше: "номера новых заказов". Так нам не будет мешать лишняя информация.

 

 

 

Что там внутри заказа 1

 

 

Допустим, мы отработали этот заказ и хотим его закрыть.

 

 

Я не говорил "после". Она сама!

Операционная деятельность налажена. Перейдем к "стратегии". Поработав так некоторое время, мы хотим проанализировать нашу деятельность.

Нет проблем! Говорите, что вам надо, и получайте, что вам надо. Можно так

 

 

Или так 

 

 

В отличие от обычных учетных систем, здесь вы никак не ограничены в своих вопросах.

Подведем итоги. Мы получили учетную систему на "естественном" интерфейсе. Пусть и на уровне "ларька", но это полноценная учетная система со всем тем, что ей полагается. При этом, у такой системы есть свои особые плюсы. Есть системы, которые "могут все", но они очень сложные (и дорогие, заметим). Сложные в установке, изучении, внедрении, эксплуатации. Есть очень простые системы (иногда они бывают бесплатными). Но эти системы могут "чуть". Система, построенная на естественном интерфейсе, проще самой простой из известных. А может она "чуть более, чем все". Не верите? Тогда попробуйте найти в типовых отчет о том, что перестало продаваться. Такая, казалось бы очевидная вещь, но ее нет нигде, я недавно проверял. Система с голосовым вводом запросто выдаст вам такую информацию. Она вообще так устроена, чтобы выдавать вам все, что вы спросите.

Если у вас возникли вопросы, не стесняйтесь, пишите в комментариях. Постараюсь ответить.   

См. также

SALE! 25%

Конструктор ботов Телеграм, редакция 2

Мессенджеры и боты Платформа 1С v8.3 Платные (руб)

Развитие популярного решения для интеграции мессенджера Telegram с нашей любимой 1С.

15000 11250 руб.

18.06.2021    59886    295    256    

350

SALE! 25%

Что нам стоит бота построить? Нарисуем - будет жить! Графический конструктор телеграм-ботов/Telegram

Мобильная разработка Мессенджеры и боты Платформа 1С v8.3 Платные (руб)

Теперь создать telegram-бота - элементарно. Достаточно просто нарисовать блок-схему телеграм-бота, и он сразу заработает. Это возможно при использовании Графического конструктора телеграм-ботов. Это единственный конструктор ботов для telegram, чье качество и функционал подтверждены фирмой 1С, есть сертификат 1С:Совместимо. Расширение в интерактивном режиме, с помощью блок-схем, позволяет с минимальными трудозатратами создать телеграм-ботов в любой конфигурации, работающей на платформе «1С:Предприятие 8.3».

13200 9900 руб.

27.12.2021    33967    83    159    

178

SALE! 30%

Распознавание и загрузка сканов в 1С "одним нажатием": УПД, ТОРГ-12, накладные, счета, номенклатура, заказы и т.д.

Загрузка и выгрузка в Excel Документооборот и делопроизводство (СЭД) Учет документов Распознавание документов и образов Управляемые формы 1С:Комплексная автоматизация 1.х 1С:Бухгалтерия 2.0 1С:Управление торговлей 10 1С:Розница 2 1С:Управление производственным предприятием 1С:Управление нашей фирмой 1.6 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Управление холдингом 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 Бухгалтерский учет Управленческий учет Платные (руб)

Универсальная программа для распознавания ЛЮБЫХ СКАНОВ ИЛИ ФОТО ТОВАРНЫХ ДОКУМЕНТОВ в 1С. Не требует указания параметров и предварительной настройки. Просто выбираете файл (PDF, JPG, DOC, XLS, HTML и т.д.) выбираете документ 1С и нажимаете кнопку "Распознать и загрузить".

6000 5520 руб.

04.06.2019    102193    298    173    

314

Легкий документооборот (+чат-бот для Telegram)

Документооборот и делопроизводство (СЭД) Мессенджеры и боты Учет документов Платформа 1С v8.3 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия государственного учреждения 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 Платные (руб)

Расширение для согласования справочников и документов в конфигурациях "1С: Бухгалтерия 3.0", "Управление нашей фирмой", "1С ERP Управление предприятием", "Бухгалтерия государственного учреждения". Ролевая адресация, условная маршрутизация, последовательное и параллельное согласование, уведомление о новых задачах на почту, блокировка объектов в зависимости от статуса, запрет проведения в зависимости от статуса, автозапуск процессов согласования, отчеты по исполнительской дисциплине. Не требуется снятие конфигурации с поддержки. Настройка без программирования. Версия для 1cfresh.com. Сертификат 1С-Совместимо.

14900 руб.

15.11.2018    28136    26    48    

58

Распознавание номеров автомашин с ip - камер, видео, фото

Распознавание документов и образов Периферийные устройства Автомобили, автосервисы Россия Платные (руб)

Программа считывает кадры с ip-камер (http - запрос к камере), видео, фото (источники кадров (нет ограничения на их количество) настраивается в конфигурационном файле), находит и распознает номера автомашин и сохраняет в базу db, с сохранением фото номера и автомашины, а также времени детекции.

20400 руб.

31.05.2023    4024    3    2    

5

Когда много сканов: Автоматическое прикрепление сканированных документов

Учет документов Распознавание документов и образов Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Россия Платные (руб)

Обработка экономит время, распознавая и прикрепляя сканированные оригиналы документов к документам в 1С. Поддерживаются штрихкоды, QR-коды, отсканированные PDF документы без штрихкодов, полученные в результате потокового сканирования PDF документы, сформированные в ЭДО PDF документы.

6480 руб.

23.12.2021    12310    10    24    

9

Email, SMS, Telegram рассылки из 1С - Директ Маркетинг

Управление взаимоотношениями с клиентами (CRM) Мессенджеры и боты SMS рассылки Email рассылки Платформа 1С v8.3 Конфигурации 1cv8 Управленческий учет Платные (руб)

Полный набор инструментов для качественных транзакционных и маркетинговых Email, SMS, Telegram рассылок из 1С. Даже простые уведомления об оплате счетов способны существенно упростить сбор дебиторской задолженности. Применение всех возможностей прямого маркетинга выводит коммуникацию с клиентами, уровень сервиса и лояльность на новый уровень.

7788 руб.

07.04.2014    84195    42    193    

128
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. konovalovrg 27.09.23 08:58 Сейчас в теме
Не будет скоро ни театров ни библиотек.. одно сплошное AI )))
DeD MustDie; maksa2005; +2 Ответить
2. mkalimulin 1172 27.09.23 09:01 Сейчас в теме
(1) Все же театры и библиотеки - вещи хорошие. А современные учетные системы - не сказать, чтобы очень
3. RustIG 1619 27.09.23 09:23 Сейчас в теме
что на счет фонового шума? заказ все же должен создавать не пользователь, а оператор, дублируя слова покупателя в правильном формате.
исходный код выложите? или это коммерческая тайна?
5. mkalimulin 1172 27.09.23 10:26 Сейчас в теме
(3) С шумами попробую в ближайшее время.
Если будет оператор, то вся прелесть теряется. Оператором в данном случае выступает языковая модель. Именно она структурирует слова покупателя и превращает их в JSON.
Выложу на Git чуть позже. Хочу немного "допилить" до рабочего состояния.
JohnyDeath; +1 Ответить
11. artbear 1530 27.09.23 12:18 Сейчас в теме
(5) Интересно, буду ждать репозитория, хочется пощупать реализацию
12. mkalimulin 1172 27.09.23 12:23 Сейчас в теме
(11) Отпишусь в этой ветке, как выложу
JohnyDeath; +1 Ответить
4. vano-ekt 124 27.09.23 09:55 Сейчас в теме
установи цену три копейки, после выполнения заказа, удали папку с бэкапом и дропни базу
6. mkalimulin 1172 27.09.23 10:27 Сейчас в теме
(4) Вы не могли бы развить свою мысль?
7. maksa2005 534 27.09.23 11:46 Сейчас в теме
(6)это наверно он вам голосовое записал, но решил написать словами. какой будет ответ от телеги
8. mkalimulin 1172 27.09.23 11:59 Сейчас в теме
(7) Ответ будет "ошибка при выполнении запроса". Разве это не очевидно?
9. maksa2005 534 27.09.23 11:59 Сейчас в теме
(8) Я думаю он другого ответа ждал(
10. mkalimulin 1172 27.09.23 12:12 Сейчас в теме
(9) Лучше подождем, что он нам сам скажет
Shmell; maksa2005; +2 Ответить
13. nosferatu20913 48 02.10.23 07:14 Сейчас в теме
Все эти чаты ГПТ хороши с программистами и тестировщиками... Но настанет день, когда им придется встретиться с бабой Зиной, бухгалтером с 30-ти летним стажем. Вот тогда мир машин и перевернется.
sergant500; TerveRus; RayCon; +3 Ответить
14. mkalimulin 1172 02.10.23 07:27 Сейчас в теме
(13) Не перевернется. Хотите эксперимент проведем?
Оставьте свое сообщение