В первой части этой серии я собрал большую языковую модель (по-английски large language model, отсюда LLM) в миниатюре, на чистом встроенном языке 1С, и там же, в разделе про внимание, написал фразу: какой символ на какой посмотрит, заранее не знает и автор. Фраза осталась долгом. Внимание в модели считается на каждом шаге, числа лежат в массиве, а я их ни разу не вывел на экран.
Теперь вывел.
Модель читает вопрос, пока пишет первые три символа ответа. Дальше она смотрит почти только на то, что уже написала сама. На сорока вопросах обучающего набора у второго слоя модели две головы внимания, и на первых трёх символах ответа они отдают вопросу 55 и 30 процентов своего внимания, а на всех остальных символах около 3 процентов каждая.
Вторая находка грубее. Я выключил в модели одну голову внимания из четырёх, и она перестала отвечать верно вообще. Без одной из голов больше трети ответов пошли по кругу: "и и и и и", "стстстст", "за за за за".
Ниже весь путь от одной функции на сорок строк до выключенной головы. Код добавляется в обработку из первой части, так что всё проверяется у себя.
Что такое вес внимания, коротко
Подробно это разобрано в первой части, здесь только то, что нужно для карты.
Модель пишет ответ по одному символу. На каждом шаге текущий символ сравнивает свой запрос с ключами всех предыдущих символов, и из сравнения получается набор чисел, по одному на каждый прошлый символ. Числа неотрицательные и в сумме дают единицу. Это и есть веса внимания: какая доля прошлого текста участвует в следующем шаге.
У моей модели два слоя и в каждом две головы. Каждая голова считает свой набор весов независимо. Значит, на каждом символе ответа есть четыре распределения по всему, что модель видела до этого: вопрос, служебные символы и начало собственного ответа.
Карта внимания - это все эти распределения, выложенные подряд. Строка на символ ответа, в строке по распределению на голову.
Как достать карту из обработки
В коде первой части веса уже лежали в переменной: ШагМодели сохранял их для первого слоя в Сост.ВесаВнимания. Второй слой выбрасывался. Правок в ШагМодели три: строку ВесаПоГоловам = Новый Массив перенести из цикла по слоям наверх, перед циклом, чтобы веса копились по обоим слоям; удалить блок Если НомСлоя = 0; после цикла положить весь массив в состояние.
Функция ШагМодели(Сост, Токен) Позиция = Сост.Позиция; Икс = СложитьВекторы(Модель.ЭмбТокенов[Токен], Модель.ЭмбПозиций[Позиция]); ВесаПоГоловам = Новый Массив; // карта шага: по массиву весов на каждую голову каждого слоя Для НомСлоя = 0 По Модель.Слоёв - 1 Цикл // ... внимание считается как в первой части ... Веса = ВВероятности(Оценки); ВесаПоГоловам.Добавить(Веса); // ... смесь, полносвязный слой - без изменений ... КонецЦикла; Сост.ВесаВнимания = ВесаПоГоловам; Итоговый = Нормализовать(Икс, Модель.НормаФинал); // ... дальше без изменений ...
Порядок в массиве такой: голова 1 слоя 1, голова 2 слоя 1, потом то же для слоя 2. Строка Если НомСлоя = 0, которая раньше сохраняла только первый слой, удалена.
Вторая часть - экспортная функция. Она делает то же, что Ответить при нулевой температуре, но на каждом символе снимает четыре распределения и сворачивает каждое в два числа: какая доля внимания ушла на сам вопрос и на какой символ голова смотрела сильнее всего.
Функция КартаВнимания(Вопрос) Экспорт ОбеспечитьМодель(); Чистый = ОчиститьВопрос(Вопрос); Текст = "в: " + Чистый + "?" + Символы.ПС + "о:"; // всё, что модель видит на входе Итог = ПрогнатьТекст(Текст); Сост = Итог.Сост; Карта = Новый Массив; Пока Сост.Позиция < Модель.Контекст Цикл Токен = ВыбратьТокен(Итог.Логиты, 0); Симв = Модель.АлфавитСимволов[Токен]; // Веса того шага, на котором этот символ выбран. Позиции 3..3+длина-1 - сам вопрос. Головы = Новый Массив; Для Каждого Веса Из Сост.ВесаВнимания Цикл НаВопрос = 0; Лучшая = 0; Для Поз = 0 По Веса.ВГраница() Цикл Если Поз >= 3 И Поз < 3 + СтрДлина(Чистый) Тогда НаВопрос = НаВопрос + Веса[Поз]; КонецЕсли; Если Веса[Поз] > Веса[Лучшая] Тогда Лучшая = Поз; КонецЕсли; КонецЦикла; Головы.Добавить(Новый Структура("НаВопрос, Позиция, Куда, Вес", НаВопрос, Лучшая, Сред(Текст, Лучшая + 1, 1), Веса[Лучшая])); КонецЦикла; Карта.Добавить(Новый Структура("Символ, Головы", Симв, Головы)); Если Симв = Символы.ПС Тогда Прервать; КонецЕсли; Текст = Текст + Симв; Итог = ШагМодели(Сост, Токен); КонецЦикла; Возврат Карта; КонецФункции
Почему позиции вопроса начинаются с тройки. Промпт собирается как в: плюс вопрос, и первые три символа служебные: буква, двоеточие, пробел. Позиции нумеруются с нуля, поэтому первая буква вопроса получает номер 3. Переменная Текст растёт вместе с ответом, и Сред по позиции максимума показывает, какой именно символ голова выбрала.
Одна оговорка. Позиции совпадают с символами строки, только если все символы вопроса есть в алфавите модели: незнакомые токенизатор молча выбрасывает. Для вопросов из обучающего набора это так.
Вызов с сервера, у меня он шёл через HTTP-сервис в тестовой базе, но годится и обработка с кнопкой:
Обр = ВнешниеОбработки.Создать(ПутьКФайлу, Ложь); Карта = Обр.КартаВнимания("что такое регистр накопления");
Ответ из 43 символов вместе с картой считается 4,3 секунды на сервере без отладки. Во второй части тот же ответ без карты на сервере без отладки шёл 3,8 секунды, так что карта стоит около полсекунды. Двенадцать с половиной секунд в первой части сняты с экрана формы, другим способом, с этими числами их не сравниваю.
Карта одного ответа
Вопрос "что такое регистр накопления", ответ "регистр накопления хранит движения и итоги." На схеме четыре полосы, по одной на голову. Клетка - один символ ответа, яркость - доля внимания, отданная вопросу на том шаге, где этот символ выбирался.
Слева полосы яркие, дальше гаснут. У первой головы второго слоя на пробеле, с которого начинается ответ, вопросу уходит 59 процентов, на букве "р" 75, а уже на "н" в слове "накопления" 9 процентов, и дальше до конца ответа не больше десяти.
Интереснее, куда головы смотрят вместо вопроса. Дальше головы обозначены двумя цифрами: 2.1 значит первая голова второго слоя. Вот несколько строк карты: на какой символ голова смотрела сильнее всего и какая доля её внимания ушла на этот один символ. Это другая мера, чем яркость на схеме: там сумма по всем буквам вопроса, здесь вес одной буквы.
| Символ ответа | Голова 1.1 | Голова 1.2 | Голова 2.1 | Голова 2.2 |
|---|---|---|---|---|
| "р" (первая буква) | "?" 35 % | перевод строки 15 % | "л" из "накопления" в вопросе 49 % | "?" 61 % |
| "а" в "хранит" | "я" 33 % | "к" 14 % | "х" 100 % | "х" 93 % |
| "н" в "хранит" | "и" 21 % | "х" 30 % | "р" 59 % | "х" 80 % |
| "и" в "хранит" | "х" 17 % | "л" 18 % | "р" 70 % | "х" 94 % |
| "д" в "движения" | "х" 13 % | "х" 23 % | "х" 95 % | "х" 77 % |
Первая строка: выбирая первую букву ответа, модель смотрит на конец вопроса. Две головы на знак вопроса, одна на букву "л" в последнем слове "накопления".
Строки про "хранит": пока модель дописывает это слово, голова 2.2 держится за его первую букву на трёх символах подряд, от 80 до 94 процентов, и только к "т" ослабевает до 46. Голова 2.1 на символе "а" отдаёт букве "х" все сто процентов, а дальше переходит на вторую букву, "р". Похоже на палец, который держат на начале слова, чтобы не сбиться. Правилом я бы это не назвал: по всему набору максимум голов второго слоя приходится на первую букву текущего слова примерно в каждом четвёртом шаге внутри слова (это посчитано зеркалом на Python, о нём в конце). В этом ответе картина выразительная, в других размытее.
Сорок вопросов: вопрос читается в начале
Один ответ ничего не доказывает, поэтому та же функция прогнана по всем сорока вопросам обучающего набора. 38 ответов из 40 совпали с обучающими буква в букву. Один промах настоящий, на "как ограничить доступ" модель ответила про документ. Второй ответ, на самый длинный вопрос набора, упёрся в конец окна модели: в 96 символов входят и вопрос, и ответ. Ответ модели всегда начинается с пробела после двоеточия, поэтому "первые три символа" это пробел и две первые буквы. Шагов набралось 1 720: 120 на первые три символа ответов и 1 600 на все остальные.
Средняя доля внимания, отданная вопросу:
| Голова | Первые три символа ответа | Остальные символы |
|---|---|---|
| слой 1, голова 1 | 67,4 % | 12,7 % |
| слой 1, голова 2 | 56,0 % | 8,2 % |
| слой 2, голова 1 | 55,3 % | 3,3 % |
| слой 2, голова 2 | 30,1 % | 3,5 % |
Проценты в таблице между собой не складываются: каждая голова раздаёт свою единицу независимо от соседних.
У второго слоя разница в 17 и 9 раз. Модель заглядывает в вопрос, пока выбирает начало ответа, а дальше разворачивает ответ, глядя на себя. Первая голова первого слоя ведёт себя чуть иначе: она возвращается к вопросу, в основном на пробелах между словами, на схеме это светлые клетки посреди строки. На пробеле перед "хранит" у неё 48 процентов на вопрос, перед "накопления" 62.
Отклонённая гипотеза: я думал, она переписывает
Во второй части серии я объяснял, почему определения модель выучивает быстрее имён методов. Там была фраза: определение наполовину лежит в самом вопросе, слова "регистр накопления" есть и в вопросе, и в ответе, модели достаточно научиться их переставлять.
Я ждал, что карта это покажет: модель пишет "накопления" в ответе и смотрит на те же буквы в вопросе, по одной. Копирование через внимание: у больших моделей такие головы описаны, их называют индукционными.
Карта этого не показывает. Пока модель выводит слово "накопления" в ответе, головы второго слоя отдают вопросу от нуля до десяти процентов, а смотрят на буквы собственного ответа. Максимумы стоят на "г" из "регистр", на "к", на "л", то есть внутри уже написанного.
Вывод второй части от этого устоял, поменялся механизм. Определения выучиваются быстрее, это видно по снимкам обучения. Только модель не переставляет слова на ходу. Она узнаёт вопрос на первых символах, а дальше достаёт зазубренную фразу.
У вывода есть граница. Внимание не единственный путь, которым вопрос влияет на ответ. После первых шагов сведения о вопросе уже лежат внутри векторов самого ответа: первый слой посмотрел на вопрос, результат записался в вектор символа, и второй слой получает его оттуда. Карта показывает только то, куда голова смотрит напрямую. Откуда пришла информация, по ней не видно. Так что точнее сказать: второй слой не перечитывает вопрос, а держит его в голове с первых шагов. Первый слой на пробелах к нему ещё заглядывает.
Выключаем одну голову
Если голова смотрит на что-то осмысленное, её отсутствие должно быть заметно. Проверить это можно одним выключателем. Голова продолжает считать свои веса, но её вклад в смесь не добавляется:
Перем ОтключённаяГолова Экспорт; // "слой.голова", например "2.2"; Неопределено - работают все // в ШагМодели, внутри цикла по головам: Для Голова = 0 По Модель.Голов - 1 Цикл // ... оценки по всем прошлым символам, как в первой части ... Веса = ВВероятности(Оценки); ВесаПоГоловам.Добавить(Веса); // Выключатель для опыта: голова посчитала, куда смотреть, но в смесь не отдала ничего. Если ОтключённаяГолова = Формат(НомСлоя + 1, "ЧГ=0") + "." + Формат(Голова + 1, "ЧГ=0") Тогда Продолжить; КонецЕсли; // ... дальше значения прошлых символов складываются в Смесь с весами Веса ... КонецЦикла;
Продолжить пропускает ровно тот кусок, где голова добавляет свою долю в смесь. Веса она при этом посчитала, и в карту они попадают, так что видно, куда смотрела выключенная голова.
Раз уж первая часть называлась "Внутри LLM нет ни одного Если": это Если я добавил специально для опыта, на буквы оно не смотрит. Служебное Если НомСлоя = 0 при этом удалено. Счёт Если в ШагМодели остался прежним.
Дальше каждая голова выключалась по очереди, и модель отвечала на все сорок вопросов. Зацикленным я считал ответ, в котором кусок из одного-трёх символов повторяется четыре раза подряд. Ответ обрывается на 60 символах или на конце окна модели в 96 символов вместе с вопросом. Обычно модель останавливается раньше сама, ставя точку и перевод строки.
| Выключена | Верных ответов из 40 | Зациклилось | Не закончила сама |
|---|---|---|---|
| ничего | 38 | 0 | 2 |
| слой 1, голова 1 | 0 | 0 | 4 |
| слой 1, голова 2 | 0 | 14 | 13 |
| слой 2, голова 1 | 0 | 6 | 28 |
| слой 2, голова 2 | 0 | 14 | 19 |
"Не закончила сама" значит, что перевода строки модель так и не выдала и ответ оборвался по лимиту или по концу окна. Два таких ответа есть и без отключений: это два самых длинных вопроса, на одном из них ответ при этом дописан верно, до точки.
Две последние колонки пересекаются, складывать их нельзя: зациклившийся ответ обычно и закончить не может. Без головы 1.2 таких ответов 6, без 2.1 тоже 6, а без 2.2 все 14 зациклившихся так и не остановились.
Ноль верных при любой выключенной голове. Лишней головы в модели нет: на 21 920 параметрах запаса тут нет, каждая выучила что-то, без чего ответ разваливается.
И разваливается по-разному. Вот один и тот же вопрос "что такое регистр накопления":
выключена 1.1: печтостиче докуя пока пет дока? выключена 1.2: кол кстстстстстстстрых нятстственитраений нит нолияеняе. выключена 2.1: ре проле тогитантсяетсяетсяе детствижетокст н набыть хроль выключена 2.2: зданы?
А вот "зачем нужна транзакция" без головы 2.2:
зечитра храни и и ра и иква и и и и ро и и и и и и и и и ра
Без головы 1.1 модель говорит коротко и бессвязно, но не повторяется. Без 1.2 и 2.2 появляется заикание на слоге. Без 2.1 модель чаще всего не может закончить: в 28 ответах из 40 перевода строки так и нет.
Почему выключенная голова даёт повтор
Здесь я перехожу от измерения к объяснению, и это моя версия, замером она не доказана.
Следующий символ модель выбирает по смеси того, что видит. Когда голова, которая держала начало слова или смотрела в вопрос, замолкает, остаётся в основном ближний контекст: последние два-три символа. А по последним двум символам "ст" самое вероятное продолжение в её мире снова "ст". Модель выбирает его, и на следующем шаге ближний контекст тот же. Круг замкнулся.
В нормальной работе этот круг разрывают головы, которые знают, где модель находится: в каком слове, на каком месте фразы. Карта ответа про регистр накопления как раз показывает такую работу: на "хранит" две головы держатся за его первую букву.
Отсюда практическая мысль, и дальше это уже рассуждение, не замер. Когда большая модель начинает повторять одну и ту же фразу, похоже, она потеряла место в тексте, и ближний контекст начал подсказывать сам себя. Уговоры в тексте запроса тут вряд ли помогут, такой повтор лечат параметрами выбора: штрафом за повтор и температурой, которую я разбирал в первой части. Проверить это на большой модели мне не на чем.
Где кончается сходство с большими моделями
У меня четыре головы на всю модель. У больших моделей их тысячи, слоёв десятки, и в опубликованных опытах (например, работа "Are Sixteen Heads Really Better than One?" 2019 года) большую часть голов по одной можно снять почти без потерь. Поэтому результат "одна голова выключена, ноль верных ответов" - свойство крошечной модели. Законом я бы это не называл.
Картина "вопрос читается в начале" тоже снята на коротких вопросах и коротких ответах по сорок символов. В длинном ответе на длинный документ большая модель возвращается к источнику постоянно, иначе она бы не могла цитировать. Мой опыт это не опровергает и не подтверждает, он просто про другой масштаб.
Одинаковой остаётся механика: веса внимания это обычные числа в массиве, их можно вывести на экран и отключить.
Как проверить самому
Проверить эти числа можно самому, без моих файлов. Нужна обработка из первой части, Локальная LLM на встроенном языке 1С, бесплатная, код открыт.
- Откройте обработку в Конфигураторе, модуль объекта.
- В
ШагМоделиперенесите строкуВесаПоГоловам = Новый Массивиз цикла по слоям наверх, перед циклом (если оставить её и внутри, массив обнулится на втором слое, и в карте молча окажутся две головы из четырёх). Удалите блокЕсли НомСлоя = 0и после цикла присвойтеСост.ВесаВнимания = ВесаПоГоловам. Код выше. - Добавьте переменную
ОтключённаяГоловаи выключатель, если хотите повторить второй опыт. - Добавьте функцию
КартаВниманияв область экспортных методов. - Вызовите её с сервера, из обработки или консоли кода, и выведите результат.
В форме ничего менять не надо, вся логика в модуле объекта. Если поставить точку останова внутри КартаВнимания, в отладчике видно полное распределение каждой головы, со всеми долями: массив Веса длиной в число прочитанных символов.
Я прогнал всё на встроенном языке через HTTP-сервис тестовой базы на платформе 8.3.27. Карты по сорока вопросам посчитаны именно так. С выключенными головами на встроенном языке прошло 74 ответа: все 40 без головы 1.1, 18 без головы 1.2 и по 8 без голов 2.1 и 2.2. Один ответ с картой считается около четырёх секунд, и полный перебор в 160 ответов в тайм-аут HTTP-сервиса не влезал, поэтому таблицу отключений я досчитал зеркалом на Python, которое повторяет тот же код построчно. На этих 74 ответах две реализации совпали посимвольно, а доли внимания по сорока картам совпали до целого процента.
Вопросы, которые зададут
Зачем это 1С-нику, если модель игрушечная? Чтобы перестать воспринимать внимание как магию. После карты фраза "модель потеряла контекст" перестаёт быть метафорой: это вполне конкретные числа, которые ушли не туда.
Можно ли так посмотреть внимание у ChatGPT? Нет, веса закрытой модели снаружи не видны. У открытых моделей можно, но там тысячи голов, и читать их по одной бессмысленно. Поэтому я и показываю на четырёх.
Почему доля на вопрос считается без знака вопроса и перевода строки? Чтобы мерить именно слова вопроса. Служебные символы тоже получают заметную долю, особенно на первом шаге ответа. Если считать вопрос вместе со знаком вопроса и переводом строки, у головы 2.2 будет 79 и 8 процентов вместо 30 и 3,5, у головы 2.1 83 и 6. Разница между началом ответа и остальным остаётся в 10-14 раз (посчитано зеркалом).
Карта показывает, о чём модель думает? Нет, она показывает, какие прошлые символы участвуют в следующем шаге и в какой пропорции. Что модель делает с этой смесью дальше, решают полносвязный слой и второй слой внимания, и в карту это не попадает.
Почему выключенная голова ломает всё сразу? Потому что запаса нет. Двадцать две тысячи параметров едва хватает на сорок фраз, и каждая голова выучила свою обязательную долю работы. Модель побольше из той же первой части, 76 608 параметров, я этим опытом не проверял.
Температура спасает от повтора? С выключенной головой я её не гонял, поэтому отвечу по устройству. Температура даёт шанс маловероятному символу, значит может разорвать круг, но смысла не вернёт: голова, которая держала место в тексте, так и остаётся выключенной. Как температура работает внутри, разобрано в первой части.
Вопрос к тем, кто пользуется большими моделями
Я видел у себя повтор только тогда, когда сам выключил голову. У больших моделей повтор случается сам, особенно на длинных ответах. Если вы с этим сталкивались: что помогало на практике, штраф за повтор, температура, переформулировка вопроса или новый чат? И было ли у вас ощущение, что модель именно потеряла место в тексте, а не исчерпала мысль?
Серия "LLM на встроенном языке 1С":
- Часть 1: Внутри LLM нет ни одного Если. Языковая модель целиком на встроенном языке 1С - токены, веса, внимание, температура и галлюцинация на двадцати двух тысячах параметров. Обработка к ней: Локальная LLM на встроенном языке 1С, в неё и добавляется код из этой статьи.
- Часть 2: Нейросеть назвала метод, которого нет - как из шума прорастает язык: двенадцать снимков одной модели по ходу обучения и шаг, на котором рождается выдуманный метод. Обработка к ней: Обучение на глазах: веса модели на разных шагах обучения.
Другие наши инструменты:
- Выгрузка метаданных для LLM - отдаёт нейросети структуру вашей конфигурации, чтобы она не выдумывала реквизиты, которых у вас нет.
- Матрица прав доступа для нейросети - роли и права базы в одном файле, по которому модель отвечает на вопрос "кто что может".
- Журнал регистрации, свёрнутый для нейросети - миллионы строк журнала превращаются в короткий снимок, который помещается в контекст модели.
- Выгрузка данных 1С для нейросети: Markdown для чата, JSON для программы - данные базы в виде, который модель читает без ошибок и который можно сверить с базой.
Вступайте в нашу телеграмм-группу Инфостарт