Как недетерминированная GPT может выдавать четкие ответы

13.02.23

Интеграция - Нейросети

У человека, не погруженного в тему, внезапно нахлынувший вал сообщений о GPT может оставить противоречивые чувства. Эксперты разделились на два, на первый взгляд, равновеликих лагеря. Одни авторитеты говорят, что это "вау!". Другие уверенно заявляют, что GPT это "генератор бреда". Чтобы вы могли разобраться самостоятельно, я расскажу, как это работает.

В предыдущих статьях я уже давал ссылку на научный источник. Повторю ее еще раз https://arxiv.org/abs/2005.14165. В принципе, внимательное чтение этого препринта вносит полную ясность в рассматриваемом вопросе. Но я понимаю, что далеко не у всех есть время и силы читать 75 страниц на английском. Я постараюсь изложить принципы работы языковой нейросети по возможности коротко и просто.

Итак, что делает языковая нейросеть? Говоря по простому, она ищет следующее слово.

 

Следующее за чем? Да за чем угодно. В принципе, ее можно попросить выдать слово, которое ни за чем не следует. Т.е. первое слово. В каком-то смысле "главное" слово в интернете. Строго говоря, не в интернете, а в обучающей выборке. Но так как масштаб обучающей выборки для современных языковых моделей сравним с масштабом всего контента в интернете, то можно смело говорить "в интернете". 

 

Обычно все же интересует ответ на конкретный вопрос. Поэтому модель ищет первое слово, следующее за этим самым вопросом. Этот вопрос уже когда-то обсуждали в интернете и давали на него ответы. Каждый ответ начинался с какого-либо слова. Из этих слов и выбирается первое. После первого слова выбирается второе, но уже с учетом вопроса и ранее выбранного первого слова. Этот процесс повторяется до тех пор, пока языковая модель не решит, что пора остановиться. Говоря другими словами, в качестве очередного слова выберет "стоп". Как видите, простая механика и никакой магии. Все дело в объемах обучающей выборки (и количестве ресурсов, потраченных на обучение, заметим).

Но есть один крайне важный нюанс. Поскольку обучающая выборка действительно огромна, мы каждый раз будем получать огромное множество кандидатов в очередное слово. Как сделать выбор? 

Обратите внимание на то, что значения вероятностей в следующих ниже примерах я взял "из головы". 

  

Какой вариант следует выбрать здесь? Первый, конечно, сумел обойти второй. Но ведь и второй ничем не хуже первого. Современные языковые модели решают вопрос выбора очень просто. Они используют генератор (псевдо)случайных чисел. И в данном случае с вероятностью 50.0234% будет выдан первый вариант, а с вероятностью 49.9766% второй.

 

Хорошо, с этим понятно. Но что делать в случае, когда распределение будет 80% на 20%? Что делать в случае с 90% на 10%? Наконец, что делать вот в этом случае?

А ничего особенного не делать, говорят разработчики современных языковых моделей. Все так же, брать в руки генератор случайных чисел, и вперед. В результате с вероятностью 0.8927% вы получите второй вариант выбора первого слова. А так, как процесс повторяется много раз, за первым словом вы получите все остальные. И эти остальные слова с высокой вероятностью будут излагать вам наиболее убедительную версию изначально странного утверждения. Именно поэтому часть экспертов и называет современные языковые модели "генераторами бреда". Некоторые еще и добавляют: бреда, опасного своей убедительностью. 

Почему же разработчики пошли по этому пути? По моему личному убеждению, именно недетерминированность больших языковых моделей, использование генератора случайных чисел и явилось причиной столь ошеломляющего успеха. Хотя объемы обучающей выборки тоже сыграли свою роль, но недетерминированность оказалась важнее. Она как бы придала описанному выше чисто механическому процессу человеческое лицо.

Каждый из нас в глубине души уверен, что в состоянии самостоятельно разобраться, что есть истина, а что есть ложь. Кроме того, современное информационное общество отодвигает устаревшую дихотомию истина-ложь на второй план. Сейчас все более и более важной становится другая дихотомия: ценная информация - ерунда. При этом ерунда вовсе не обязательно будет ложью. Чаще всего это будет привет от капитана очевидность. Информация вполне истинная и совершенно бесполезная.

С другой стороны, чем выше ценность информации, тем выше вероятность того, что она будет выглядеть, как фейк. Что он говорит? Что время может ускоряться и замедляться? Вот давайте не будем давать ход всякому околонаучному бреду. Что-то подобное раз за разом говорил нобелевский комитет, когда его призывали дать премию Эйнштейну. Что характерно, эту свою ошибку комитет так и не признал. Когда стало уже совсем неудобно, премию таки дали. Но не за теорию относительности, а за другую, менее значимую работу.

Как мы уже видим, неправильные ответы людей вовсе не отталкивают.  Количество пользователей языковых моделей растет совершенно невиданными темпами. Напротив, детерминированность, жестко заданное поведение в одних тех же ситуациях, как я думаю, привели бы к гораздо более прохладному приему. Ну подумаешь, еще одна тупая машина!

Так что те, кто обращают внимание публики на "галлюцинации" и "бред" языковых моделей абсолютно правы. Языковые модели ведут себя именно так.

Тогда какие основания у тех (автор в их числе), кто говорит "вау!"? Очень простые. С большими языковыми моделями не стоит говорить о смысле жизни (это будет пустое времяпрепровождение, хотя если вас это развлекает, то почему нет). Им надо задавать сугубо практические задачи. И чем более конкретный результат ожидается на выходе, тем более полезна будет для вас языковая модель. Для тех, кто причисляет себя к лагерю скептиков, это может показаться парадоксальным, но если вдуматься, никакого парадокса здесь нет.

Я приведу пример, который будет близок и понятен тем, кто имеет дело с учетными системами. Но вообще, все, что здесь будет сказано, можно легко распространить на любые базы данных.

Допустим у нас есть несколько складов, на которых хранятся товары. И мы хотим получить ответ на вопрос:

Сколько чая на основном складе? 

Да, вполне возможно, что кто-то уже обсуждал в интернете точно такой же вопрос насчет чая и основного склада. И даже получал в ответ какие-то значения. Но рассчитывать на то, что это будут значения соответствующие вашей ситуации, конечно же глупо.

Древняя мудрость гласит, что правильно заданный вопрос - это уже половина ответа. Но время не стоит на месте. И в нашем новом чудном мире правильно заданный вопрос это уже можно считать, что ответ целиком! В рассматриваемом случае, правильный вопрос будет звучать примерно так:

У меня в базе данных есть вот такие таблицы остатков, товаров, складов. Хочу получить ответ на вопрос "Сколько чая на основном складе". Каким должен быть текст запроса на SQL?

В ответ придет примерно следующее:

SELECT Остатки.количество, Товар.наименование, Склад.наименование
FROM Остатки
INNER JOIN Товар ON Остатки.товар_id = Товар.id
INNER JOIN Склад ON Остатки.склад_id = Склад.id
WHERE Товар.наименование = 'чай' AND Склад.наименование = 'основной'

Для того, чтобы этот запрос выполнился например в типовой конфигурации Управление торговлей редакция 11.5, его надо преобразовать к виду:

ВЫБРАТЬ РегистрТоварыНаСкладах.ВНаличииОстаток, СправочникНоменклатура.наименование, СправочникСклады.наименование
 ИЗ РегистрНакопления.ТоварыНаСкладах.Остатки как РегистрТоварыНаСкладах
 ВНУТРЕННЕЕ СОЕДИНЕНИЕ Справочник.Номенклатура как СправочникНоменклатура
 ПО РегистрТоварыНаСкладах.Номенклатура = СправочникНоменклатура.ссылка
 ВНУТРЕННЕЕ СОЕДИНЕНИЕ Справочник.Склады как СправочникСклады
 ПО РегистрТоварыНаСкладах.Склад = СправочникСклады.ссылка
 ГДЕ СправочникНоменклатура.наименование = "чай" И СправочникСклады.наименование = "основной"

Это задача по программированию для средней группы детского сада. Получить вопрос от пользователя, добавить к нему описание таблиц и волшебное слово SELECT, получить результат, преобразовать его к виду выполнимому в конкретной базе данных, выполнить запрос и показать результат пользователю. Ну никак не выше средней группы!

Если вы думаете, что это я просто нашел счастливое сочетание слов чай и основной, то это не так. Вместо этих двух слов можно подставить: холодильники и южный, утюги и северный, яблоки и резервный, груши и центральный и т.д. Языковая модель все эти и, наверное, все прочие варианты обработает правильно. Она ведь ищет слово за словом, но с учетом всего предыдущего. Поэтому если в вопросе был чай, то и в ответе будет чай.

Более того. Структура вопроса может быть любой, лишь бы сохранялся смысл.

Сколько осталось чая на основном складе?
Какое количество чая на основном складе?
Так! Сколько чая на основном складе?

Остатки чая на основном складе?
Cкажи-ка мне, пожалуйста, сколько чая на основном складе?

Еще один важный момент заключается в том, что когда я проводил эксперименты, у меня в описании таблиц была не одна лишь таблица остатков на складе. Были еще таблицы продаж и взаиморасчетов. И когда мой вопрос по смыслу подходил под остатки, языковая модель строила текст запроса по остаткам. А когда смысл вопроса подходил под продажи, строился запрос к таблице продаж, хотя и там и там встречаются одинаковые поля. Можно с полным правом сказать, что большая языковая модель вас понимает.

Может ли языковая модель "галлюцинировать", выдавая ответы на рассматриваемый нами вопрос? Исходя из того, что мы узнали, ответ должен быть "да". И действительно, в процессе проведения экспериментов с OpenAI GPT, мне случалось ловить определенного рода "глюки". Но что интересно, ни разу это не было заменой слова чай на какое-либо другое слово. Видимо все-таки вероятность того, что модель в процессе решения данной задачи после слова чай поставит снова чай слишком высока. "Глюки", которые я ловил были другого рода. Вместо ответа типа:

SELECT Остатки.количество, Товар.наименование, Склад.наименование
FROM Остатки
INNER JOIN Товар ON Остатки.товар_id = Товар.id
INNER JOIN Склад ON Остатки.склад_id = Склад.id
WHERE Товар.наименование = 'чай' AND Склад.наименование = 'основной'

Я получал ответ следующего вида:

SELECT Количество, Товар_id, Склад_id
FROM Остатки
WHERE Товар_id = 1 AND Склад_id = 1
  

Можно предположить, что наряду с правильной веткой ответа в интернете довольно часто встречалась побочная. Типа, вот тебе "скелет" запроса, сам подставь вместо единиц, что тебе надо. По ощущениям это встречалось менее, чем в 5% случаев. Как вы понимаете, такого рода "глюк" не представляет опасности. По крайней мере в среде 1С. Потому что этот запрос просто не выполнится. Т.е. мы не получим "фантазию" на тему остатка, не получим, например, значение 100 вместо 5. Мы просто не получим ничего. Если мы организуем для пользователя интерфейс на естественном языке, и будем изредка получать такие "промахи", не факт, что пользователи сочтут это значительным неудобством. Такие ситуации вполне укладываются в общую языковую практику. Если вас не расслышали, вы повторяете свой вопрос. Никто не делает из этого трагедию.

Все изложенное выше является результатом экспериментов автора. В конце февраля 2023 года автор открывает тестовую площадку. На этой тестовой площадке можно будет самостоятельно задавать вопросы и получать ответы в типовых конфигурациях УТ, КА и ERP. Также можно будет настроить свою схему, чтобы работать с любыми другими конфигурациями, в том числе нетиповыми. Вопросы по работе тестовой площадки задавайте здесь.

См. также

Нейросети Пользователь Платформа 1С v8.3 1С:Управление нашей фирмой 1.6 1С:Управление торговлей 11 1С:Управление нашей фирмой 3.0 Оптовая торговля, дистрибуция, логистика Россия Управленческий учет Платные (руб)

Расширение "Искусственный интеллект и нейросети в 1С: Работа с отзывами маркетплейсов" предназначено для применения искусственного интеллекта в повседневной деятельности селлеров на маркетплейсах. Среди функций - работа с отзывами, вопросами и чатами покупателей, диалог с нейросетями, генерация картинок, заполнение описаний номенклатуры и другое.

6000 руб.

03.04.2024    5749    3    0    

8

Мастера заполнения Нейросети Платформа 1С v8.3 Конфигурации 1cv8 1С:Управление торговлей 11 Платные (руб)

Расширение для заполнения описания товара (номенклатуры) с помощью модели ИИ ChatGPT с ключевыми словами. Расширение формирует продающее описание товара по его наименованию с помощью модели искусственного интеллекта. Будет полезно для владельцев интернет магазинов, каталогов товаров и продающих через маркетплейсы. Адаптировано для основных конфигураций: УТ, ЕРП, КА, УНФ. Прошло аудит на 1cfresh.com. Версия для автоматического заполнения

5000 руб.

13.03.2023    17611    45    49    

75

Нейросети Платформа 1С v8.3 1С:Управление торговлей 11 Россия Абонемент ($m)

Данная обработка позволяет автоматизировать работу с использованием нейросетей YandexGPT и YandexART с базой 1С. С помощью нейросетей вы сможете не ограничивать себя в фантазии и ущемлять свои возможности и возможности компании, а наоборот, повысить профессионализм и креативность. Очень удобно)

1 стартмани

04.10.2024    153    0    EsaDyv    0    

3

Нейросети Мессенджеры и боты Платформа 1С v8.3 1С:ERP Управление предприятием 2 Абонемент ($m)

Пример простой реализации чата в 1С с ИИ на движке Gemini.

3 стартмани

27.09.2024    3590    3    SerVer1C    2    

6

Нейросети Программист Стажер Платформа 1С v8.3 Бесплатно (free)

Функционал библиотеки позволяет полностью манипулировать элементами системы GigaChat API. Это позволит вам разработать множество интересных и полезных решений!

25.09.2024    564    TheNabiulla    2    

8

Нейросети Программист Платформа 1С v8.3 Конфигурации 1cv8 Россия Абонемент ($m)

Рассмотрим использование генеративного ИИ в 1С. Как установить, настроить и пользоваться, где можно применять, а также немного мыслей в конце статьи.

5 стартмани

19.09.2024    899    soulner    6    

10

Управление складом и логистикой (WMS) Нейросети Платформа 1С v8.3 Конфигурации 1cv8 Бесплатно (free)

Цифровая революция и повсеместный переход от аналоговых технологий к цифровым, начавшийся еще в 80-х годах прошлого века и частично продолжающийся до сих пор, внесли крайне важные изменения в логистическую отрасль. Сегодня цифровые технологии в логистической цепочке поставок являются важной и серьезной темой для многих компаний. Находясь на высококонкурентном рынке, эффективно и гибко построенная работа позволяет любой компании получить лидирующие позиции в своей области. Поэтому компании ищут инструменты для помощи в принятии решений и оптимизации своих процессов с целью повышения операционной эффективности, удовлетворения потребностей клиентов и снижения расходов. Сейчас новые технологии и, в частности, искусственный интеллект играют ключевую роль в решении амбициозных задач. По данным авторитетной исследовательской компании Gartner, в 2024 году около 50% логистических компаний будут инвестировать в технологии, поддерживающие искусственный интеллект.

05.09.2024    691    sitec    7    

1

Нейросети

Copilot – инструмент, использующий OpenAI для помощи в написании кода в режиме реального времени. Нейросеть обучалась на миллиардах строк кода, в том числе – на языке 1С. А это значит, что мы можем использовать ее для уменьшения рутинной работы в написании кода. О том, как использовать Copilot в ежедневной разработке при написании кода на языках 1С и OneScript, расскажем в статье.

27.08.2024    4114    YA_418728146    11    

8
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. laperuz 47 14.02.23 05:36 Сейчас в теме
Михаил, вы у себя используете GPT-3(davinci-002). В ChatGPT используется GPT3.5(davinci-003), но через API он на данный момент недоступен. При этом, насколько я знаю, GPT-3.5 гораздо продвинутее. Вы проверяли насколько отличаются результаты работы алгоритмов через API и на сайте в контексте вашей разработки?
nnn123; human_new; +2 Ответить
2. mkalimulin 1228 14.02.23 08:44 Сейчас в теме
По моим ощущениям, особой разницы нет. Davinci-003 более многословна. Текст запроса предваряется вступительными разъяснениями, в конце еще одни разъяснения. Davinci-003 предназначена все-таки в первую очередь для диалога. Но вы важный вопрос поднимаете. Я сравнивал результаты Davinci-002 и Davinci-003 считанные разы. Этого, конечно, недостаточно, чтобы делать уверенные выводы. Было бы интересно посмотреть на Davinci-003 в тех ситуациях, когда Davinci-002 не справляется. Думаю, что в процессе работы тестовой площадки, удастся на это посмотреть. Тестовая площадка стартует в конце февраля. Присоединяйтесь!
3. splxgf 14.02.23 15:58 Сейчас в теме
4. mkalimulin 1228 14.02.23 18:02 Сейчас в теме
(3) От вас слышу. Спасибо за ссылку!
5. roman72 388 18.02.23 01:19 Сейчас в теме
Правильно я понимаю, что в вашем тесте вы вопрос на русском языке
- переводите на английский
- передаёте его в чатЖПТ
- получаете конструкцию запроса на английском языке
- переводите эту конструкцию на русский 1сный
- выдаёте в ответ пользователю
-- при этом вы каким-то образом передаёте чатЖПТ списки таблиц регистров 1С (как, если так?)

Насколько я знаю, чатЖПТ обучен в основном на кодах гитхаба и похожих ресурсах, где кода на языке 1С считай нет.
Но там полно кода на SQL.
Поэтому вам, для 1С, чатЖПТ строит ответы на языке SQL вполне приемлемо.
Но что вы собираетесь делать для получения ответов от чатЖПТ по коду 1С, который не является кодом запроса?
6. mkalimulin 1228 18.02.23 10:03 Сейчас в теме
(5)
- текст вопроса пользователя я не перевожу на английский, отправляю как есть
- передаю запрос по API к модели code-davinci-002
- получаю текст запроса SQL
- перевожу его на 1С так, чтобы он стал выполнимым, возвращаю его клиенту, на клиенте выполняю запрос, а пользователю вывожу результат выполнения запроса
- на сайте OpenAI дается пример запроса
### Postgres SQL tables, with their properties:
#
# Employee(id, name, department_id)
# Department(id, name, address)
# Salary_Payments(id, employee_id, amount, date)
#
### A query to list the names of the departments which employed more than 10 employees in the last 3 months
SELECT
В этом шаблоне меняете описание таблиц на свое, например:
Остатки(товар, склад, количество)
и т.п.
Вставляете запрос от пользователя как есть, слово SELECT не трогаете


Любой вопрос пользователя превращается в SQL запрос. Удачно или не удачно зависит от описания таблиц. Если у вас вопрос о приеме на работу, а в описании таблиц только остатки и продажи то...
7. roman72 388 18.02.23 15:50 Сейчас в теме
(6) А насчёт кода 1С, который не является запросом? С ним не работаете?


"перевожу его на 1С так, чтобы он стал выполнимым" - вручную? алгоритм какой-то?


И как таблицы 1С (имена) передаёте в чатЖПТ?
8. mkalimulin 1228 18.02.23 18:14 Сейчас в теме
(7) С кодом 1С пока сложно работать. Он почти в 100% будет невыполним.

Просто заменяю одно на другое

Таблицы я описываю своими словами, по человечески
9. roman72 388 19.02.23 00:25 Сейчас в теме
(8) С таблицами непонятно.
Вы список таблиц передаёте в чатЖПТ?
Или в ответ полученный от чатЖПТ вставляете таблицы из вашего списка перед передачей пользователю?
10. mkalimulin 1228 19.02.23 07:45 Сейчас в теме
(9) Без таблиц ответ от GPT не получишь. Посмотрите ещё раз на на мой пост 6. Видите, там таблицы, а потом вопрос
11. igrned 21.02.23 15:27 Сейчас в теме
А зачем переводить с англ. на русс. если GPT знает язык 1С и возвращает текст запроса на русс?
12. mkalimulin 1228 21.02.23 16:48 Сейчас в теме
(11) В общем случае GPT не возвращает текст запроса на русском
13. mkalimulin 1228 27.02.23 22:13 Сейчас в теме
Для всех желающих доступна тестовая площадка. На ней можно проверить самостоятельно все, что описано в статье
16. lordworld17 21 24.03.23 12:52 Сейчас в теме
(13)как попасть на тестовую площадку?
14. lada2011 09.03.23 13:20 Сейчас в теме
Хотелось бы посмотреть текст запроса на простой вопрос. Сколько неоплаченных счетов?
15. user1826876 15.03.23 11:54 Сейчас в теме
Автор не знает или не догадывается, что на вопрос земля круглая или плоская можно получить третий (и он будет првильным) ответ: Земля круглая, но плоская, как блюдечко.
Оставьте свое сообщение