Компания «Сбер» заявила, что будет бесплатно предоставлять доступ к API нейросети для генерации текста GigaChat для некоммерческих проектов. Однако для них будет ограничено число доступных токенов.
Как пользоваться бесплатно
Разработчики некоммерческих проектов смогут использовать все возможности GigaChat, в том числе интегрировать нейросеть в собственные продукты. Доступ предоставляется бесплатно, но с ограничением – каждый месяц на аккаунт будет начисляться 1 млн токенов.
Одна единица внутренней валюты представляет собой несколько букв. В среднем 1 токен позволяет использовать 3-4 символа, включая пробелы и знаки препинания. По словам представителей «Сбера», бесплатного лимита хватит для обработки примерно 3,5 миллионов символов текста. Но стоит иметь в виду, что токены тратяться и на запросы, и на ответы нейросети. Например, если написать для GigaChat вопрос стоимостью в 20 токенов и получить генерацию на 40, то всего с аккаунта будет списано 60 токенов.
Чтобы получить доступ к API с ежемесячным лимитом бесплатных токенов, нужно перейти на портал разработчиков и пройти авторизацию при помощи «Сбер ID». После этого в личном кабинете нужно создать новый проект и выбрать GigaChat API в разделе AI-модели. Пользователь получит ключи для авторизации и информацию о доступных токенах.
Что дает доступ к API
GigaChat – нейросеть, основанная на нескольких моделях: ruGPT-3.5, ruCLIP, FRED-T5 и Kandinsky 2.2. ИИ не имеет доступа к интернету и обрабатывает запросы только на основании тех данных, на которых он обучен. «Сбер» не хранит информацию, которую пользователь передает и получает от нейросети, и не использует ее для дообучения модели.
Доступ к API позволяет:
- отправлять запросы к GigaChat через сторонние сервисы;
- управлять генерацией ответов: установить лимит токенов, количество вариантов, влияние случайности, повторение слов и т.д.;
- учитывать историю чата с ИИ;
- включить режим потоковой передачи токенов, который позволяет обрабатывать ответ GigaChat по мере его генерации.
Также по запросу пользователя возможно дообучение нейросети на дополнительном наборе данных.