Машинное обучение оказалось для природы опаснее автомобилей

Передовые системы искусственного интеллекта потребляют слишком много энергии в процессе работы. Из-за этого они могут нанести экологии более серьезный удар, чем автомобили.

Суть эксперимента

Исследование провели специалисты Массачусетского университета (MIT). Они проанализировали современные системы машинного обучения и определили, сколько энергии им нужно для нормальной работы. Все модели – системы на базе нейросетей, созданные для распознавания естественных языков.

В тестах участвовали четыре компьютерные системы: на основе видеокарт NVIDIA Titan X, NVIDIA GTX 1080 Ti и других графических адаптеров. Модель системы искусственного интеллекта Transformer с 65 млн параметров обучали на NVIDIA P100 в течение 12 часов. Конфигурацию с 213 млн параметров тренировали 84 часа, и она совершила 300 тыс. шагов. Также задействовали модели ELMo, BERT и GPT-2.

Каждую модель запускали на одном графическом процессоре и измеряли количество потребленной энергии. Из технической документации ученые взяли время, которое потребовалось для обучения каждой системы. В результате удалось узнать, сколько углекислого газа в рамках обучения они выделяют.

Чем умнее, тем грязнее

Результат эксперимента оказался ожидаемым: чем выше мощность системы искусственного интеллекта, тем больше энергии ей нужно для работы.

Базовая модификация Transformer в процессе обучения выделяет 11,8 кг эквивалента углекислого газа. Если же использовать нейросети более сложной структуры и увеличить количество параметров, то система выделит в атмосферу в пять раз больше СО2, чем средний американский автомобиль за весь (!) срок своей службы.

Когда специалисты рассчитывали цифры для автомобиля, брали в расчет даже те выбросы, которые сделал автозавод в процессе производства машины. В итоге авто на всех этапах своей «жизни» обходится экологии в 57 тонн углекислого газа, а нейросеть – в 284 тонны.

Что делать

Ведущий автор исследования Эмма Страбелл подчеркнула, что тренировка одной модели – минимум, который необходимо выполнить. На практике же разработчики либо создадут новую модель для новой задачи, либо адаптируют существующую модель под новый набор данных. А это тоже энергия и выбросы СО2 в атмосферу. Вред, который наносится экологии машинным обучением, ученые точно оценить не могут.

С другой стороны, искусственный интеллект позволяет решить задачи, с которыми не справиться традиционными способами. Он оптимизирует производственные процессы, логистику, энергопотребление, сокращает расходы во множестве отраслей. Тем временем добытчики криптовалюты уже перешли на использование альтернативных источников энергии, которые возобновляются и не вредят природе.

Подробнее об исследовании MIT