Полностью голосовое управление учетной системой. Вести из лаборатории

27.09.23

Интеграция - Нейросети

Под голосовым вводом я понимаю не просто проговаривание в микрофон заранее запрограммированных команд. А настоящий голосовой ввод. Когда пользователь говорит, что ему нужно в свободном формате, на естественном языке. Можно ли сделать на этом полноценную учетную систему? Telegram, API и немного магии (GPT).

Представим, что у нас есть мини-пиццерия. Мы предлагаем покупателям три вида пиццы в двух размерах и два напитка.

  • пицца Маргарита большая и средняя
  • пицца Пепперони большая и средняя
  • пицца Карбонара большая и средняя
  • напиток морс
  • напиток липтон

Мы хотим иметь возможность:

  • Добавлять и удалять товары. Менять их названия.
  • Устанавливать и менять цены товаров.
  • Принимать заказы от покупателей.
  • Устанавливать статусы заказов по мере их выполнения.
  • Анализировать продажи за выбранный нами период

В нашем распоряжении пустая база данных MySQL вот с такими таблицами

  • товары(id, название, цена)
  • заказы(id, покупатель_id, дата, статус, сумма)
  • состав_заказов(заказ_id, товар_id, количество, цена, сумма)

Также в нашем распоряжении два телеграм-бота. Один "внутренний" и один "внешний". Внешний телеграм-бот будет принимать заказы от покупателей, а внутренний делать все остальное.

Начнем создавать список товаров. Для этого скажем внутреннему боту, что хотим добавить новый товар.

 

 

Здесь и далее я буду показывать вам на картинках отладочную информацию (у нас же вести из лаборатории!). В первой части отражается результат распознавания аудио. Во второй части показывается, во что превращается первая часть после обработки большой языковой моделью. Наконец, в третьей части можно увидеть результат. В рабочем режиме отладочная информация конечно убирается.

Вернемся к изображению. Я говорил, что будет немного магии. А она тут есть! Во-первых, расшифровка аудио выдала не точно то, что я сказал. Я сказал "добавь товар пицца маргарита...". Это превратилось в "добавь в товар пиццу маргарита..." Так работают распознаватели речи. Они всегда дают некоторое количество ошибок. Радует то, что для "великого и могучего" это количество будет относительно небольшим. У какого-нибудь французского или турецкого оно существенно больше. Но тем не менее, до появления больших языковых моделей это было очень серьезной проблемой. А теперь нет никакой разницы: "добавь товар...", "добавь в товар"... модель все поймет. Можно также сказать "новый товар" или "еще товар" и это сработает.

 

   

 

 

Посмотрим, что у нас в итоге получилось. Для этого произнесем "магические" слова "список товаров".

 

 

Для средней Маргариты мы забыли установить цену, а для Карбонары не указали размер. Исправим.

 

 

 

Работает. Попробуем удаление. Чтобы удалить ненужный товар, сначала надо добавить ненужный товар.

 

 

Теперь попробуем удалить

 

 

Да, бывают и неудачи. Тогда пусть будет так

 

 

Список товаров с ценами у нас есть. Теперь можно принимать заказы. Заказы будет принимать внешний бот. Логика его работы полностью отличается от логики работы внутреннего бота. Внешний бот слушает, что говорит покупатель и пытается сделать из этого заказ.

 

 

Внешнему боту ставится задача превратить голосовое сообщение пользователя в JSON. Как видите, он прекрасно справляется с этим, невзирая на то, что пользователь не то чтобы очень точен. Да и ASR вместо "мне большую..." выдает "у меня большую..."

Как бы там ни было, мы получаем структурированную информацию, которая тривиальным образом превращается в соответствующие записи в таблицах.

Вернемся к внутреннему боту. Нам нужно получить список новых заказов, отработать их, а потом закрыть. 

Чтобы получить список новых заказов можно так и сказать: "список новых заказов". Можно проще: "новые  заказы". Все будет работать. Но лучше: "номера новых заказов". Так нам не будет мешать лишняя информация.

 

 

 

Что там внутри заказа 1

 

 

Допустим, мы отработали этот заказ и хотим его закрыть.

 

 

Я не говорил "после". Она сама!

Операционная деятельность налажена. Перейдем к "стратегии". Поработав так некоторое время, мы хотим проанализировать нашу деятельность.

Нет проблем! Говорите, что вам надо, и получайте, что вам надо. Можно так

 

 

Или так 

 

 

В отличие от обычных учетных систем, здесь вы никак не ограничены в своих вопросах.

Подведем итоги. Мы получили учетную систему на "естественном" интерфейсе. Пусть и на уровне "ларька", но это полноценная учетная система со всем тем, что ей полагается. При этом, у такой системы есть свои особые плюсы. Есть системы, которые "могут все", но они очень сложные (и дорогие, заметим). Сложные в установке, изучении, внедрении, эксплуатации. Есть очень простые системы (иногда они бывают бесплатными). Но эти системы могут "чуть". Система, построенная на естественном интерфейсе, проще самой простой из известных. А может она "чуть более, чем все". Не верите? Тогда попробуйте найти в типовых отчет о том, что перестало продаваться. Такая, казалось бы очевидная вещь, но ее нет нигде, я недавно проверял. Система с голосовым вводом запросто выдаст вам такую информацию. Она вообще так устроена, чтобы выдавать вам все, что вы спросите.

Если у вас возникли вопросы, не стесняйтесь, пишите в комментариях. Постараюсь ответить.   

См. также

Мессенджеры и боты Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Платные (руб)

Интеграция мессенджера WhatsApp и 1С: УНФ, УТ, КА, ERP - отправка и получение сообщений, картинок, файлов и видео прямо в 1С. Расширение работает с сервисом GreenApi.

15600 руб.

23.06.2023    9509    58    12    

34

Мобильная разработка Мессенджеры и боты Платформа 1С v8.3 1С:Конвертация данных Платные (руб)

Теперь создать telegram-бота - элементарно. Достаточно просто нарисовать блок-схему телеграм-бота, и он сразу заработает. Это возможно при использовании Графического конструктора телеграм-ботов. Это единственный конструктор ботов для telegram, чье качество и функционал подтверждены фирмой 1С, есть сертификат 1С:Совместимо. Расширение в интерактивном режиме, с помощью блок-схем, позволяет с минимальными трудозатратами создать телеграм-ботов в любой конфигурации, работающей на платформе «1С:Предприятие 8.3».

13200 руб.

27.12.2021    38227    108    161    

201

SALE! 30%

Загрузка и выгрузка в Excel Документооборот и делопроизводство (СЭД) Учет документов Распознавание документов и образов Бухгалтер Пользователь Управляемые формы 1С:Комплексная автоматизация 1.х 1С:Бухгалтерия 2.0 1С:Управление торговлей 10 1С:Розница 2 1С:Управление производственным предприятием 1С:Управление нашей фирмой 1.6 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Управление холдингом 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 Бухгалтерский учет Управленческий учет Платные (руб)

Универсальная программа для распознавания сканов или фото товарных документов в 1С. Не требует указания параметров и предварительной настройки. Просто выбираете файл (PDF, JPG, DOC, XLS, HTML) выбираете документ 1С и нажимаете кнопку "Распознать и загрузить".

8400 5880 руб.

04.06.2019    107009    313    173    

326

SALE! 25%

Мессенджеры и боты Системный администратор Программист Бизнес-аналитик Пользователь Руководитель проекта Платформа 1С v8.3 Платные (руб)

Развитие популярного решения для интеграции мессенджера Telegram с нашей любимой 1С - конструктор чат-ботов в Телеграм.

15000 11250 руб.

18.06.2021    65596    312    272    

369

Документооборот и делопроизводство (СЭД) Мессенджеры и боты Учет документов Платформа 1С v8.3 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия государственного учреждения 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 Платные (руб)

Расширение для согласования справочников и документов в основных типовых конфигурациях. Ролевая адресация, условная маршрутизация, чат-бот telegram, интеграция с n8n, последовательное и параллельное согласование, уведомление о новых задачах на почту, блокировка объектов в зависимости от статуса, запрет проведения в зависимости от статуса, автозапуск процессов согласования, отчеты по исполнительской дисциплине. Не требуется снятие конфигурации с поддержки. Настройка без программирования. Версия для 1cfresh.com. Сертификат 1С-Совместимо.

14900 руб.

15.11.2018    30281    35    49    

71

Учет документов Распознавание документов и образов Бухгалтер Пользователь Платформа 1С v8.3 Конфигурации 1cv8 Платные (руб)

Расширение для типовых конфигурация и для самостоятельной интеграции системы распознавания документо удостоверяющих личность и прочих документов непосредственно из информационных баз "1С:Предприятия 8.3" с помощью Content AI - Passport Reader SDK. Расширение позволит не изменяя типовой код конфигурации, расширить текущий функционал несколькими кликами мыши.

12000 руб.

26.01.2016    69976    79    2    

103

Нейросети 8.3.6 1С:Управление торговлей 11 Управленческий учет Платные (руб)

Обработка подключения фотокамер Canon и Nikon к Управление торговлей 11.4 для потоковой загрузки фотографий в карточки товаров с автоматическим удалением фона

22800 руб.

24.06.2021    9820    3    4    

14

Мессенджеры и боты Пользователь Платформа 1С v8.3 1С:Управление нашей фирмой 1.6 1С:Управление торговлей 11 Управленческий учет Платные (руб)

Данное расширение представляет собой интерфейс взаимодействия 1С с сервисом Wazzup. Данный сервис позволяет вести беседу с использованием номера телефона, привязанного к Whatsapp. Почитать о сервисе и его условиях использования можно по ссылке https://wazzup24.com/. На данный момент расширение поддерживает почти все доступные через API функции. Обновление от 19.05.2023, версия 2.1!

14400 руб.

30.11.2020    13604    8    13    

15
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. konovalovrg 27.09.23 08:58 Сейчас в теме
Не будет скоро ни театров ни библиотек.. одно сплошное AI )))
DeD MustDie; maksa2005; +2 Ответить
2. mkalimulin 1230 27.09.23 09:01 Сейчас в теме
(1) Все же театры и библиотеки - вещи хорошие. А современные учетные системы - не сказать, чтобы очень
3. RustIG 1747 27.09.23 09:23 Сейчас в теме
что на счет фонового шума? заказ все же должен создавать не пользователь, а оператор, дублируя слова покупателя в правильном формате.
исходный код выложите? или это коммерческая тайна?
5. mkalimulin 1230 27.09.23 10:26 Сейчас в теме
(3) С шумами попробую в ближайшее время.
Если будет оператор, то вся прелесть теряется. Оператором в данном случае выступает языковая модель. Именно она структурирует слова покупателя и превращает их в JSON.
Выложу на Git чуть позже. Хочу немного "допилить" до рабочего состояния.
JohnyDeath; +1 Ответить
11. artbear 1563 27.09.23 12:18 Сейчас в теме
(5) Интересно, буду ждать репозитория, хочется пощупать реализацию
12. mkalimulin 1230 27.09.23 12:23 Сейчас в теме
(11) Отпишусь в этой ветке, как выложу
JohnyDeath; +1 Ответить
4. vano-ekt 124 27.09.23 09:55 Сейчас в теме
установи цену три копейки, после выполнения заказа, удали папку с бэкапом и дропни базу
6. mkalimulin 1230 27.09.23 10:27 Сейчас в теме
(4) Вы не могли бы развить свою мысль?
7. maksa2005 550 27.09.23 11:46 Сейчас в теме
(6)это наверно он вам голосовое записал, но решил написать словами. какой будет ответ от телеги
8. mkalimulin 1230 27.09.23 11:59 Сейчас в теме
(7) Ответ будет "ошибка при выполнении запроса". Разве это не очевидно?
9. maksa2005 550 27.09.23 11:59 Сейчас в теме
(8) Я думаю он другого ответа ждал(
10. mkalimulin 1230 27.09.23 12:12 Сейчас в теме
(9) Лучше подождем, что он нам сам скажет
Shmell; maksa2005; +2 Ответить
13. nosferatu20913 48 02.10.23 07:14 Сейчас в теме
Все эти чаты ГПТ хороши с программистами и тестировщиками... Но настанет день, когда им придется встретиться с бабой Зиной, бухгалтером с 30-ти летним стажем. Вот тогда мир машин и перевернется.
sergant500; TerveRus; RayCon; +3 Ответить
14. mkalimulin 1230 02.10.23 07:27 Сейчас в теме
(13) Не перевернется. Хотите эксперимент проведем?
Оставьте свое сообщение