Языковая модель DeepMind превосходит аналоги по качеству работы

Языковая модель DeepMind превосходит аналоги по качеству работы
17.12.2021
28579

ИИ-лаборатория DeepMind представила исследования возможностей больших языковых моделей. В компании пришли к выводу, что необходимо дальнейшее масштабирование таких систем.

Улучшенные возможности

DeepMind разработала языковую модель Gopher, в которую вошли 280 млрд параметров. Эта система больше, чем аналогичный проект GPT-3 от OpenAI, который включает в себя 175 млрд параметров, однако уступает по размеру экспериментальной разработке Megatron от Microsoft и Nvidia (530 млрд параметров).

Проведенные исследования Gopher подтвердили: укрупнение языковой модели обеспечивает более частое получение релевантного результата, особенно в тестах на анализ настроений и обобщение. Однако только лишь увеличение параметров не решает другие проблемы ИИ и требует проведение дополнительных процедур обучения, основанных на отзывах пользователей-людей.

По результатам исследования DeepMind предложили доработки в трансформер – архитектуру для глубоких нейросетей. Разработчики добавили в нее улучшенный поиск (RETRO). ИИ обучен при помощи поиска информации в Интернете, благодаря чему система получила возможность запрашивать отрывки текста из сети и улучшать за этот счет итоги генерации текста.

Модель Gopher исследовали посредством прямого взаимодействия. Один из ключевых выводов ученых – выявление способности нейросети побуждать собеседника к диалогу. ИИ способен обсуждать клеточную биологию и давать правильные цитаты по теме, при том что для беседы не были предварительно заданы особые настройки. Ключевые проблемы модели, приводящие к отказам: повторение информации, отражение стереотипных предубеждений, распространение дезинформации.

 

Gopher общается на тему биологии

 

Во время изучения Gopher исследователи оценивали и другие модели с разным числом параметров на 152 языковых задачах и тестах. Ученые выяснили, что система DeepMind предлагает лучшие решения примерно в 80% случаев.

Изучение рисков

В другом исследовании DeepMind изучала опасности, которые связаны с развертыванием и использованием языковых моделей. К таким явлениям ученые относят факты генерации токсичных текстов и реплик, распространение ложной информации, спама или пропаганды, а также потенциал применения сгенерированного контента в злонамеренных целях.

Исследователи пришли к выводу, что связанные с нейросетями опасности будут только увеличиваться по мере того, как возрастет широкое распространение языковых моделей, например, при разработке чат-ботов или систем продаж. В отчете представлен 21 случай риска, для снижения которых необходима дальнейшая работа. Прежде всего, стоит расширить применяемые методы оценки рисков, потому что существующего сравнительного анализа недостаточно для этих целей.

Если вам удобнее смотреть новости в телеграме, то вот наша группа – ИНФОСТАРТ.

Автор:
Аналитик

См. также

С января по март 2025 года Ассоциация КП ПОО провела исследование отечественных систем виртуализации, коммуникации и контейнеризации по 266 показателям. Результаты показали, что медианная технологическая зрелость у этих ИТ-решений превышает 75%.

04.04.2025    398    orenk0t    1       

0

Минцифры подготовило проект постановления по запуску платформы, на которой ИТ-специалисты могут пройти добровольное тестирование и подтвердить свою квалификацию.

11.12.2024    1106    user1915669    3       

2

Федеральная налоговая служба запустила интерактивный сервис, позволяющий формировать в машиночитаемом виде договоры, контракты, соглашения и спецификации. Чтобы создать документ и скачать получившийся файл, регистрация не требуется.

03.12.2024    876    user2114475    0       

2

Российский Альянс по искусственному интеллекту обновил требования к специалистам по ИИ: вышла новая модель с основными профессиями и навыками. Теперь базовых профессий в сфере ИИ осталось только четыре.

01.11.2024    1029    user1915669    0       

3

Система платежей «Волна» по планам сделает возможной бесконтактную оплату для владельцев IPhone в России, а BRICS Pay позволит совершать безналичные расчеты иностранцам по картам Visa и Mastercard.

23.10.2024    1362    AnastasiaKl    0       

4

Конструктор сайтов Wix уходит из России с 12 сентября 2024 года – перестанут работать все российский аккаунты. Сайты, привязанные к аккаунтам, также перестанут работать.

11.09.2024    1291    user1915669    2       

2

ИИ научат разработке цифровых интегральных микросхем – несколько российских научных институтов заявили об участии в проекте. Проект рассчитан на 3 года – с 2024 по 2026.

23.07.2024    956    user1915669    0       

2

Развитие искусственного интеллекта и цифровых сервисов в России стало причиной роста потребности в мощных центрах обработки данных. Эксперты прогнозируют, что дефицит ЦОД, который уже наблюдается сегодня, в ближайшие годы будет только усиливаться.

18.07.2024    1037    AnastasiaKl    0       

1
Инфостарт бот

Оставьте свое сообщение