Open AI GPT OSS 120b на 3090 + TESLA V100
- Плеер:
- RuTube
В этом видео мы скачаем llm модель open ai gpt oss 120b с huggingface и запустим ее через инференс llama cpp на двух видео картах,
rtx 3090 и tesla v100.
В моей сборке такая конфигурация выдает 34ток/сек, но если бы были 2х3090, то скорость была бы значительно выше, так как удалось бы распределить больше слоев oss 120b в VRAM.
rtx 3090 и tesla v100.
В моей сборке такая конфигурация выдает 34ток/сек, но если бы были 2х3090, то скорость была бы значительно выше, так как удалось бы распределить больше слоев oss 120b в VRAM.
Подписаться на ответы
Инфостарт бот
Сортировка:
Древо развёрнутое
Свернуть все
Для отправки сообщения требуется
регистрация/авторизация
Прямая ссылка:
BB-код для форумов и блогов:
HTML-код:
BB-код для форумов и блогов:
HTML-код:
