«Яндекс» запустил новый сервис DataSphere, позволяющий проводить в облаке ресурсоемкие вычисления для машинного обучения. Во время тестирования услуга полностью бесплатна для разработчиков.
Yandex DataSphere – облачная среда для использования инструментов машинного обучения. Он предоставляет пользователю доступ к удаленным мощностям CPU и GPU для проведения сложных операций. Продукт входит в набор услуг «Яндекс.Облако». Сейчас сервис работает в тестовом режиме и полностью бесплатен. Ожидается, что платные тарифы появятся к концу июня 2020 года.
Вычислительные мощности
Yandex DataSphere предоставляет доступ к технологии бессерверных вычислений. Когда команда разработчиков просматривает или редактирует код, обработка всех действий будет происходить на локальной машине. Дополнительные облачные ресурсы будут задействованы только для обучения моделей, запуска программы и других вычислений, требующих высокой производительности системы.
Кроме того, DataSphere позволяет на лету переключаться между различными виртуальными машинами. Пользователи могут прямо во время выполнения программы и с сохранением прогресса переводить все расчеты либо на систему на базе CPU (дешевый, но более медленный вариант), либо задействовать облако с GPU (дорогостоящее, но быстрое решение).
В «Яндексе» отмечают, что благодаря такому набору возможностей клиент оплачивает только то время, когда сервис действительно использовался для вычислений, и исключает переплату за простой или простое редактирование кода. Переключение мощностей позволяет более точно распоряжаться бюджетом на разработку и получить доступ к высокопроизводительным системам на базе GPU с минимальными затратами.
Возможности облака
Yandex DataSphere использует одну из самых популярных веб-оболочек для интерактивных вычислений и работы с большими данными Jupyter Notebook. Она позволяет писать приложения на языках (Python, Ruby, Haskell, Julia R) и объединять код, текст и изображения.
Кроме того, DataSphere поддерживает самые известные библиотеки для работы с нейросетями: TensorFlow, PyTorch и другие. К сервису можно подключить свою собственную библиотеку, а разработчики «Яндекса» обещают регулярно обновлять список доступных по умолчанию модулей.
В планах у компании добавление функции сохранения версий расчетов моделей, включающих три измерения – данные, код и состояние блокнота. По задумке разработчиков, это должно упростить командную работу над нейросетью. Также в сервисе должна появиться проверка качества кода и рекомендации по использованию виртуальных машин.
Другие аналоги
Ключевой конкурент Yandex DataSphere – Google Cloud ML. Главное преимущество сервиса поискового гиганта – возможность получить доступ к TPU (тензорный процессор Google), специализированной разработке компании для машинного обучения, которая сочетает быстродействие и доступную цену.
На отечественном рынке облачную платформу для машинного обучения предоставляет Mail.ru. Сервис также имеет бесплатный пробный период. ИТ-компания сразу предлагает набор готовых API, позволяющих развернуть системы с использованием компьютерного зрения или анализа речи.