Open AI GPT OSS 120b на 3090 + TESLA V100

15.01.2026 09:09:05   Илья Низамов (IlyaNizamov)    556

В этом видео мы скачаем llm модель open ai gpt oss 120b с huggingface и запустим ее через инференс llama cpp на двух видео картах,
rtx 3090 и tesla v100.

В моей сборке такая конфигурация выдает 34ток/сек, но если бы были 2х3090, то скорость была бы значительно выше, так как удалось бы распределить больше слоев oss 120b в VRAM.

Категории:
 Программирование

Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
Для отправки сообщения требуется регистрация/авторизация
Александр Конюхов. Токсичный рефакторинг: когда хорошие намерения приводят к проблемам
Максим Кулбараков. Нагрузочное тестирование 1С при переходе на Linux и PostgreSQL
Данил Кравченко. Нагрузочное тестирование в двух базах одновременно. Опыт кейса
Илья Гайдабура. От ручного управления к автоматизации: внедрение практик DevOps в среде 1С
Станислав Баташов. Подготовка тестовых данных для юнит и интеграционных тестов на фреймворке yaxUnit
Александр Пузаков. Математика в коде, или про чистоту функций
Владимир Бессонов. 1С без драмы: когда обновления работают сами
Игорь Кайбанов. Снятся ли андроидам дедлайны? Искусственный интеллект в СЭД на старте перехода
(Не) Значительное Знач - Митап 1С от MagnitTech
Контантин Ожерельев. Почему ручной деплой до сих пор жив и сколько времени он реально занимает?