Data science. Скажи мне, брат, трансформер...

11.12.22

Разработка - Языки и среды

Какой же data science без нейросетей! Тема чрезвычайно большая и местами сложная. Но в данной статье сложностей не будет. То, что я вам расскажу сейчас, можно охарактеризовать следующими словами: Никогда еще столь доступное не было столь важным.

Весной 2020 года в области нейросетей произошла маленькая революция. Которая чуть позже оказалась не совсем маленькой, потом еще больше, а сегодня ее настоящие размеры все еще осознаются теми, кто успел к этому прикоснуться.

Речь идет о GPT-3. Generative pretrained transformers третьего поколения. Сейчас я не буду вдаваться в технические детали. Поверхностный обзор вас скорее запутает, а подробный разговор может утомить. Оригинальная статья, с которой все началось здесь https://arxiv.org/abs/2005.14165. Кому интересно, может погрузиться.

В двух словах, что произошло. Языковые нейросети существовали и раньше. С их помощью добивались довольно впечатляющих результатов. Но в достаточно узких областях и при значительных усилиях. Т.е. для каждой отдельной задачи можно было, как следует помучавшись, натренировать специализированную нейросеть. И потом "общаться" с ней, но строго "по теме", в чрезвычайно ограниченных рамках. В отличие от этого, GPT-3 позволяет натренировать нейросеть сразу "на все". Такая нейросеть будет понимать (что бы это ни значило) простой человеческий язык и выдавать небесполезные реакции. Звучит настолько фантастически, что даже не знаешь как на это реагировать. Как я думаю, типичный спектр реакций простирается от "гы-гы-гы" к легкому шоку, и далее от легкого шока к более или менее отчетливому понимаю, что это это такое было.

Попробую продемонстрировать вам это на своем личном опыте.

Я, конечно, слышал о том, что нейросеть теперь пишет рассказы, рисует картинки, а в свободное от этих хлопот время еще и немного программирует. Иногда какие-то примеры "творений" пробегали где-то на периферии внимания, но, что называется, не трогали.   

Как то раз, просматривая очередной обзор https://habr.com/ru/company/first/blog/678848/, наткнулся на сообщение о том что GPT-ать теперь, усилиями Сбербанка, можно и по-русски. Да, скорее всего, и раньше об этом слышал, но благополучно забыл. В этот раз про русские GPT там было такое бодренькое: я вот ввел затравку про Антарктиду и смотрите, что у меня вышло.  

История Антарктиды очень сильно отличается от других континентов нашей планеты.

RuGPT3: История Антарктиды очень сильно отличается от других континентов нашей планеты. В ней есть высокогорье и пустынные, безжизненные земли, но есть и многие и другие, где люди живут и размножаются. Почти во всех странах есть города и поселки, где живут люди. В Антарктиде довольно холодно и влажно, но даже в этой непыльной местности есть не только своя мода, но и свои устоявшиеся традиции, порой очень странные для жителей других регионов. На этом видео вы ...

Говорят, что дурной пример заразителен. Уж не знаю, что меня "пробило" на этот раз, но я решил, что сам попробую ввести ровно такой же запрос. RuGPT3 не заставила себя долго ждать. Ответ был совершенно другой. Но это правильно. Хороший писатель не станет повторяться.

История Антарктиды очень сильно отличается от истории других континентов нашей планеты.

RuGPT3: История Антарктиды очень сильно отличается от истории других континентов нашей планеты.
В нашей стране она становится "открытой" только в 1955 году, а за всю историю на ее землях побывало всего около 30 экспедиций, из которых лишь 3 высадились...

Все началось как-то чересчур культурно и скучно. Но через пару абзацев нейросеть все-таки сумела расшевелиться

На фото:
Азимовский залив, Антарктика. Из-за ремонтных работ этот вертолет не смог сесть прямо на лед, чтобы забрать российский грузовой корабль "Прогресс М-26М", который стартовал с Байконура в 06:07 UTC (17:07 мск) с 73 тоннами груза на борту.

Черт побери! Я хотел бы увидеть это фото! Но с этим надо уже на другой сервис сбербанка, а сил на это не было никаких. Вдоволь насмеявшись, я понял, что пришло время как-то встроить все это в свою картину мира. 

Нейросеть  не может создать ничего нового. Вообще или пока еще - вопрос философский. Зато она может невероятно старательно работать со старым, в том числе, хорошо забытым. И если так случилось, что она вас понимает (что бы это ни значило), а внутри у нее весь Stack Overflow, тогда куда следует податься простому 1С-нику? Правильно, простому 1С-нику надо спрашивать не про Антарктиду, а про SELECT.

Что я немедленно и сделал. Только на этот раз уже на сайте https://openai.com/. У RuGPT3 спрашивать про SELECT бесполезно. А у OpenAI есть раздел CODEX. Все еще полностью доступный, т.е. полностью бесплатный.

 

 

Мне нравится срез последних. Задача не то, чтобы примитивная, а формулируется просто и коротко. Дай последние значения! Пишем:

### Postgres SQL tables, with their properties:
#
# Rates(date, name, value)
#
### A query to list last values of each name
SELECT
 

И через несколько секунд получаем:

 

SELECT name, value, date
FROM Rates
WHERE date = (SELECT MAX(date) FROM Rates AS r WHERE r.name = Rates.name)
ORDER BY name

Неплохо. В 1С надо будет только вместо = поставить IN (В). Такое вот занудство, но мы про него знаем. Лично я всегда пользовался несколько иным методом, без коррелированного подзапроса. Но этот мне нравится больше. Идем дальше. Попробуем теперь получить накопительный итог

### Postgres SQL tables, with their properties:
#
# Sales(date, name, qty)
#
### A query to list the cumulative sum of qty for names and dates
SELECT date, name, SUM(qty) OVER (PARTITION BY name ORDER BY date) AS qty
FROM Sales
ORDER BY date, name

Мда! Окна нам в 1С пока не завезли.  Так и сидим, можно сказать, в полной темноте. Я попробовал поговорить с нейросетью и строго (OVER prohibited) и просяще (I cannot use OVER). Бесполезно. Есть еще настройка случайности результата. Она почему-то называется Temperature (случайно?) Но и она вам не поможет. С другой стороны, результат-то вроде как правильный. Что-ж, подождем лучших времен. Я еще немного поэкспериментировал с выдуманными из своей головы запросами и перешел к полевым испытаниям.

Я решил найти на mista.ru парочку вопросов. Не совсем банальных, типа почему у меня соединение не работает, а чуть посложнее. Первый вопрос https://forum.mista.ru/topic.php?id=883998 звучал примерно так: хочу получить все документы, у которых одна табличная часть заполнена, а вторая нет. Пробуем в OpenAI

### Postgres SQL tables, with their properties:
#
#tab1(id,name,qty)
#tab2(id,name,qty)
#
### A query to list distinct id where tab1 has no rows by id and tab2 has rows by id
SELECT DISTINCT id FROM tab1 WHERE id NOT IN (SELECT id FROM tab2)

Обратите внимание. Там, в ветке на форуме, даны правильные ответы. Но этот не только правильный, но еще и компактный.

Второй вопрос https://forum.mista.ru/topic.php?id=826183 оказался посложнее. Для каждого товара надо сначала определить покупателя, который купил на самую большую сумму среди других покупателей этого товара, а потом вывести количество проданного этому покупателю этого товара. Спрашиваем:

### Postgres SQL tables, with their properties:
#
#sales(buyer,name,qty,val)
#
### A query to list buyer,name,sum of qty where each buyer has largest sum of val by name
SELECT buyer,name,sum(qty)
FROM sales
GROUP BY buyer,name
HAVING sum(val) = (SELECT max(sum(val))
                  FROM sales
                  GROUP BY buyer,name)

И вертолет садится прямо на лед! Да, брат трансформер! Я тоже считаю, что всем нам необходимо вот это max(sum(val)) Но теневое мировое правительство, исходя из каких-то своих теневых мировых соображений наложило строгий запрет на такую конструкцию. И ее нет не только в 1С, но и вообще нигде. Жаль, но придется решать эту задачу самому.

Итог. Возможно, что вы уже для себя пришли к выводу о практической бесполезности этого нового инструмента. Но не торопитесь. У нас, программистов, интересная работа. Вот только прежде, чем сделать немного интересного, надо сделать много, очень много неинтересного. Вернемся к самому первому примеру, он очень показателен. В 1С есть периодический регистр сведений. Для этого регистра определен метод (и соотвествующая виртуальная таблица) СрезПоследних(). Мы пользуемся всем этим, не особо задумываясь, а что там внутри. Но время от времени (и что важно, достаточно редко) возникают ситуации, когда надо построить срез последних самостоятельно. Нет соответствующего регистра и нет возможности вмешиваться в структуру базы. Или регистр есть, но, например, такой структуры:

период, товар, склад, цена

а вам потребовалось получить последние значения цены по товарам не важно на каком складе. Стандартная реализация среза последних задачу такого рода не решает. Если вы думаете, что решение можно легко нагуглить, то вы ошибаетесь. Не знаю почему, но вот прямо сейчас и гугл и яндекс выдадут вам на нескольких страницах ссылки на что-то типа "срез последних на каждую дату". Придется потрудиться и поискать в результатах выдачи то, что вам действительно нужно. А потом еще придется потрудиться и вытащить рабочий текст запроса из статьи. Вот например здесь //infostart.ru/1c/articles/980323/ вы получите

ВЫБРАТЬ
	ВложенныйЗапрос.Оборудование КАК Оборудование,
	ВложенныйЗапрос.ПоследниеПоказанияПериод КАК ПоследниеПоказанияПериод,
	ПКУ_ПоказанияСчетчиков.Значение КАК ПоследниеПоказанияЗначение
ИЗ
	(ВЫБРАТЬ
		ПКУ_ПоказанияСчетчиков.Оборудование КАК Оборудование,
		МАКСИМУМ(ПКУ_ПоказанияСчетчиков.Период) КАК ПоследниеПоказанияПериод
	ИЗ
		РегистрСведений.ПоказанияСчетчиков КАК ПКУ_ПоказанияСчетчиков
	ГДЕ
		ПКУ_ПоказанияСчетчиков.Период <= &ДатаПоказаний
	
	СГРУППИРОВАТЬ ПО
		ПКУ_ПоказанияСчетчиков.Оборудование) КАК ВложенныйЗапрос
		ЛЕВОЕ СОЕДИНЕНИЕ РегистрСведений.ПоказанияСчетчиков КАК ПКУ_ПоказанияСчетчиков
		ПО ВложенныйЗапрос.Оборудование = ПКУ_ПоказанияСчетчиков.Оборудование
			И ВложенныйЗапрос.ПоследниеПоказанияПериод = ПКУ_ПоказанияСчетчиков.Период

И это один из лучших примеров. Текст запроса появляется почти в самом начале статьи и по делу. Но сравните его с

SELECT name, value, date
FROM Rates
WHERE date = (SELECT MAX(date) FROM Rates AS r WHERE r.name = Rates.name)
ORDER BY name

Все-таки есть разница. Как я уже говорил, задача экзотическая и... неинтересная. Скорее всего я буду решать ее в рамках чего-то по-настоящему интересного. И мне было бы жаль тратить на нее больше 10 секунд своего времени. CODEX от OpenAI дает мне возможность ни о чем таком не жалеть. Как сказано в описании, CODEX может работать с несколькими десятками языков программирования. Но лучшие результаты ожидаемо получаются в Python. Языка 1С там пока еще нет. Зато есть SQL. А написание запросов занимает существенное время в работе 1С-ника. 

Нейросеть не станет делать за нас нашу интересную работу. Зато всегда готова взять на себя неинтересную. Можно ли желать лучшего! Лично я считаю, что широкое применение инструментов такого типа дело самого ближайшего будущего. Изучайте и берите на вооружение.

См. также

Нейросети 8.3.6 1С:Управление торговлей 11 Управленческий учет Платные (руб)

Обработка подключения фотокамер Canon и Nikon к Управление торговлей 11.4 для потоковой загрузки фотографий в карточки товаров с автоматическим удалением фона

22800 руб.

24.06.2021    9819    3    4    

14

Нейросети Пользователь Платформа 1С v8.3 1С:Управление нашей фирмой 1.6 1С:Управление торговлей 11 1С:Управление нашей фирмой 3.0 Оптовая торговля, дистрибуция, логистика Россия Управленческий учет Платные (руб)

Расширение "Искусственный интеллект и нейросети в 1С: Работа с отзывами маркетплейсов" предназначено для применения искусственного интеллекта в повседневной деятельности селлеров на маркетплейсах. Среди функций - работа с отзывами, вопросами и чатами покупателей, диалог с нейросетями, генерация картинок, заполнение описаний номенклатуры и другое.

6000 руб.

03.04.2024    6370    4    0    

8

Мастера заполнения Нейросети Платформа 1С v8.3 Конфигурации 1cv8 1С:Управление торговлей 11 Платные (руб)

Расширение для заполнения описания товара (номенклатуры) с помощью модели ИИ ChatGPT с ключевыми словами. Расширение формирует продающее описание товара по его наименованию с помощью модели искусственного интеллекта. Будет полезно для владельцев интернет магазинов, каталогов товаров и продающих через маркетплейсы. Адаптировано для основных конфигураций: УТ, ЕРП, КА, УНФ. Прошло аудит на 1cfresh.com. Версия для автоматического заполнения

5000 руб.

13.03.2023    17949    46    49    

75

Нейросети Бесплатно (free)

В статье рассказываю, как ChatGPT может стать помощником разработчика в заполнении таймшитов. Делюсь личным опытом, описываю несколько простых и эффективных подходов, как автоматизировать этот процесс с помощью ИИ.

11.11.2024    384    user1931231    0    

4

Нейросети Бесплатно (free)

В современном мире, где технологии развиваются с невероятной скоростью, искусственный интеллект (ИИ) становится неотъемлемой частью бизнеса. Но как именно ИИ интегрируется в платформу 1С, которая является основой для управления бизнесом в тысячах российских компаний? В этой статье мы подробно рассмотрим реальные примеры, конкретные детали и перспективы использования ИИ в 1С, чтобы помочь вам понять, как эти технологии могут преобразовать ваш бизнес.

29.10.2024    1167    user2110835    4    

-2

WEB-интеграция Нейросети Мессенджеры и боты Программист Платформа 1С v8.3 Конфигурации 1cv8 Абонемент ($m)

Данная консоль позволяет делать обращения из вашей рабочей области к YandexGPT в режиме чата и промт-режиме, а также логировать промт-запросы и просматривать их результаты.

1 стартмани

15.10.2024    2106    9    serezh1a    3    

7

Нейросети Программист Платформа 1С v8.3 1С:Документооборот Россия Абонемент ($m)

Обычно на заполнение краткого содержания документа не хватает времени у делопроизводителей, а эта штука крайне полезная при поиске. Попробуем применить генеративный искусственный интеллект для решения этой задачи.

6 стартмани

08.10.2024    475    4    soulner    0    

3

Нейросети Платформа 1С v8.3 1С:Управление торговлей 11 Россия Абонемент ($m)

Данная обработка позволяет автоматизировать работу с использованием нейросетей YandexGPT и YandexART с базой 1С. С помощью нейросетей вы сможете не ограничивать себя в фантазии и ущемлять свои возможности и возможности компании, а наоборот, повысить профессионализм и креативность. Очень удобно)

1 стартмани

04.10.2024    1251    13    EsaDyv    8    

17
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. evgen7938 14 12.12.22 04:50 Сейчас в теме
Только сегодня с коллегами обсуждали: скоро мы все останемся безработными...
Есть вероятность, что через пару лет (а это произойдет мигом) все будет замечательно работать и ИИ пойдет в сторону более сложных задач.
Помните голосовой ввод? Его не было буквально лет 6 назад. Очень скоро все сильно поменяется...
В интересное время живем! )
3. chg 12.12.22 05:26 Сейчас в теме
(1)не соглашусь, ИИ нужно обучать и качественно обучать, если мы говорим об обучении написания кода в 1С, то качественности нет, даже код самой компании 1С кривоват, не всегда придерживаются своих же стандартов, ну в общем до полной замены нам как пешком до луны, выдыхаем))
4. vano-ekt 124 12.12.22 07:35 Сейчас в теме
(1) ну вы тоже не на машинных кодах инструкции пишете, и даже не на ассемблере, а вас до сих пор почему-то называют программистами...
простые операторы эвм по меркам 50х прошлого века
2. evgen7938 14 12.12.22 04:54 Сейчас в теме
Мышление в стиле теории ограничений систем и ТРИЗ - это насколько более сложная задача, чем, скажем, распознавание голоса?
5. ixijixi 1913 12.12.22 09:00 Сейчас в теме
Пора переквалифицироваться в управдомы
Прикрепленные файлы:
TerveRus; 0x00; starik-2005; +3 Ответить
11. kser87 2470 14.12.22 13:38 Сейчас в теме
(5) и запрос не на срез последних. какой-то китайский ИИ
12. ixijixi 1913 14.12.22 14:12 Сейчас в теме
(11) Это копипаста из статьи )
13. mkalimulin 1230 14.12.22 14:12 Сейчас в теме
(11) Как это не на срез последних? А на что?
14. kser87 2470 14.12.22 14:25 Сейчас в теме
6. starik-2005 3087 12.12.22 10:05 Сейчас в теме
Да, в последние дни хабр пестрит стенограммами с заседаний программистов и искусственных интеллектов, пишущих код, ну и базара с ИИ вокруг этого дива дивного и чуда чудного. А газеты большевистские пестрят заголовками о том, что вот почти все эти "фаанги" поувольняли кучу разрабов и вторую кучу планируют уволить в самое ближайшее время.
ЗЫ: сдаю ЕГЭ, иду учиться на психологию. Так что обращайтесь, если вас попросят за калитку...
15. Zab 02.03.23 18:11 Сейчас в теме
(6) мне кажется, с психологами ИИ разделается даже раньше, чем с программистами. Картины рисует, стихи пишет. Чем психолог сильно отличается? Эмпатией? Так и у художника чувство прекрасного вроде как должно быть.
7. mkalimulin 1230 12.12.22 10:10 Сейчас в теме
(6) Когда сам пробуешь, непередаваемое чувство. Но все равно голову терять не стоит. Инструмент годный, но всего лишь инструмент
8. starik-2005 3087 12.12.22 10:26 Сейчас в теме
(7)
инструмент
От древнего рубила, которое потом научились делать из прокаленных камушков, что резко повысило их качество, и до современных реакторов на быстрых нейтронах (а теперь вот Китайцы придумали прогонять гелий через гравий с 8,5% урана 235, что еще круче) - это все средства повышения производительности труда. А повышение производительности труда сокращает затраты, уменьшает потребность в производителях этого труда и все такое прочее сопутствующее. В итоге рынок труда начинает перераспределять массы, заставляя многих менять профессию. Я вот честно думал, что меня это не коснется, но при этом полностью доверял тем предположениям, что приличный белый современный китаец должен будет раза три за всю жизнь сменить вид деятельности. И вот это начало медленно и верно возникать даже на моем горизонте. Да, лет на 10 меня хватит, но через 10 лет я уже планирую как минимум дипломированным психологом с опытом стать, чтобы переехать без особых проблем на "другой стек".
9. mkalimulin 1230 12.12.22 10:37 Сейчас в теме
(8) А мне наоборот нравится то, что происходит. Профессия "программист" станет настоящей профессией, а не тем, чем она является сейчас. Любой может вызубрить какую-нибудь фигню, которую было лень зубрить другим, механически ее воспроизводить и считаться профи. Теперь так дело не пойдет. Можешь сделать новое - заходи. Нет - проходи мимо.
10. starik-2005 3087 12.12.22 10:40 Сейчас в теме
(9) Тут когнитивное искажение. Вроде как чем больше сфера изведанного, тем больше поверхность этой сферы, за которой находится неизведанное. И вроде бы вот оно - новое, но, как показывает практика, в начале XX века, когда придумали мозговой штурм для генерации бесчисленного множества идей, уже предпосылкой к этому являлся факт, что на тысячу идей выстреливает всего одна. На начало XXI века пропорция стала 5к:1, сейчас уже 20к:1. Ну, как бы, грабли в руки - я не против. Надоест - приходите на консультацию )))
Оставьте свое сообщение