Open AI GPT OSS 120b на 3090 + TESLA V100

15.01.2026 09:09:05   Илья Низамов (IlyaNizamov)    188

В этом видео мы скачаем llm модель open ai gpt oss 120b с huggingface и запустим ее через инференс llama cpp на двух видео картах,
rtx 3090 и tesla v100.

В моей сборке такая конфигурация выдает 34ток/сек, но если бы были 2х3090, то скорость была бы значительно выше, так как удалось бы распределить больше слоев oss 120b в VRAM.

Категории:
 Программирование

Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
Для отправки сообщения требуется регистрация/авторизация
Виталий Бусыгин. Нагрузочные тесты не нужны…
Алексей Корякин. YAxUnit: Новые возможности для эффективного тестирования в 1С
Андрей Копылов. Идеальное сочетание небольшого собственного продукта и EDT, как это решает проблемы
Татьяна Головкина. Анатомия Docker-образа для тестирования 1С: что скрыто внутри?
Андрей Хашкин. Искусственный интеллект в ИТ проектах: практические кейсы и немного теории
Данил Воякин. «и хочу, чтобы при скролле взмывали бабочки (с)» – 1С:Элемент и требования к интерфейсу
Айдар Сафин. RUNDECK – «швейцарский нож» для DEVOPS и GITOPS в экосистеме 1С
Александр Насонкин. Получение полноразмерных копий с базы 5 ТБ за 1.6 секунд
Денис Сытый. Перевод конфигурации на интерфейс 8.5 на примере CRM-системы для работы с ВУЗами
Александр Волков. 1С: Элемент. Доступные библиотеки, их возможности, подходы к разработке