Open AI GPT OSS 120b на 3090 + TESLA V100

15.01.2026 09:09:05   Илья Низамов (IlyaNizamov)    966

В этом видео мы скачаем llm модель open ai gpt oss 120b с huggingface и запустим ее через инференс llama cpp на двух видео картах,
rtx 3090 и tesla v100.

В моей сборке такая конфигурация выдает 34ток/сек, но если бы были 2х3090, то скорость была бы значительно выше, так как удалось бы распределить больше слоев oss 120b в VRAM.

Категории:
 Программирование

Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
Для отправки сообщения требуется регистрация/авторизация
Ольга Колюкова. ИИ для аналитика 1С: как читать и править код без разработчика
Павел Ткаченко. Рефакторинг — не роскошь: как внедрить культуру улучшений в команде
Дмитрий Сидоренко. WebSocket'ы — это не больно
Алексей Куверзанов. Как сэкономить 200+ часов на настройке профилей групп доступа в 1С?
Дмитрий Сидоренко. Что ты сделал для Open Source в свои годы?
Ринат Зиганшин. Как написать свой первый плагин для 1C:EDT. Дорожная карта новичка
Николай Ермаков. Sage: встраиваем мониторинги в разработку 1С на примере Т-Банка
Вадим Фоминых. 1С без дирижера: как построить бизнес-процессы через Kafka и хореографию событий
Андрей Овсянкин. Запуск DevOps в 1С с точки зрения не техники, но людей и процессов
Дмитрий Абрамов. ИИ-сервисы как LEGO: из чего на самом деле состоит корпоративный ИИ