Машинное обучение оказалось для природы опаснее автомобилей

Передовые системы искусственного интеллекта потребляют слишком много энергии в процессе работы. Из-за этого они могут нанести экологии более серьезный удар, чем автомобили.
Суть эксперимента
Исследование провели специалисты Массачусетского университета (MIT). Они проанализировали современные системы машинного обучения и определили, сколько энергии им нужно для нормальной работы. Все модели – системы на базе нейросетей, созданные для распознавания естественных языков.
В тестах участвовали четыре компьютерные системы: на основе видеокарт NVIDIA Titan X, NVIDIA GTX 1080 Ti и других графических адаптеров. Модель системы искусственного интеллекта Transformer с 65 млн параметров обучали на NVIDIA P100 в течение 12 часов. Конфигурацию с 213 млн параметров тренировали 84 часа, и она совершила 300 тыс. шагов. Также задействовали модели ELMo, BERT и GPT-2.
Каждую модель запускали на одном графическом процессоре и измеряли количество потребленной энергии. Из технической документации ученые взяли время, которое потребовалось для обучения каждой системы. В результате удалось узнать, сколько углекислого газа в рамках обучения они выделяют.
Чем умнее, тем грязнее
Результат эксперимента оказался ожидаемым: чем выше мощность системы искусственного интеллекта, тем больше энергии ей нужно для работы.
Базовая модификация Transformer в процессе обучения выделяет 11,8 кг эквивалента углекислого газа. Если же использовать нейросети более сложной структуры и увеличить количество параметров, то система выделит в атмосферу в пять раз больше СО2, чем средний американский автомобиль за весь (!) срок своей службы.
Когда специалисты рассчитывали цифры для автомобиля, брали в расчет даже те выбросы, которые сделал автозавод в процессе производства машины. В итоге авто на всех этапах своей «жизни» обходится экологии в 57 тонн углекислого газа, а нейросеть – в 284 тонны.
Что делать
Ведущий автор исследования Эмма Страбелл подчеркнула, что тренировка одной модели – минимум, который необходимо выполнить. На практике же разработчики либо создадут новую модель для новой задачи, либо адаптируют существующую модель под новый набор данных. А это тоже энергия и выбросы СО2 в атмосферу. Вред, который наносится экологии машинным обучением, ученые точно оценить не могут.
С другой стороны, искусственный интеллект позволяет решить задачи, с которыми не справиться традиционными способами. Он оптимизирует производственные процессы, логистику, энергопотребление, сокращает расходы во множестве отраслей. Тем временем добытчики криптовалюты уже перешли на использование альтернативных источников энергии, которые возобновляются и не вредят природе.
См. также
Энтузиасты создали для популярного эмулятора патч с поддержкой процессоров «Эльбрус»
01.03.2021 1912 VKuser24342747 0
Российский разработчик создал неофициальную версию Clubhouse для Android
26.02.2021 2242 VKuser24342747 0
Масштабное обновление Trello: пять новых видов досок и интеграция с Google Docs
25.02.2021 3951 user1015646 0
Видеоигра на базе нейросетевого генератора текстов стала бизнес-консультантом
25.02.2021 2266 VKuser24342747 1
В ближайшие годы возрастет потребность в персонале центров обработки данных
24.02.2021 2199 SKravchenko 0
Rustоманы из Долины: Google, Microsoft, Huawei, Mozilla и AWS основали фонд поддержки языка программирования
16.02.2021 1636 user1015646 0
Украинская команда FireWay одержала победу в хакатоне NASA Space Apps Challenge 2020
05.02.2021 2019 SKravchenko 2
Microsoft участвует в разработке цифрового паспорта вакцинации от Covid-19
02.02.2021 1815 capitan 3
Что нового в Chrome 88: проверка надежности паролей и поддержка профилей
01.02.2021 2286 user1015646 0
280 символов для науки: Twitter откроет доступ ученым к архиву твитов
29.01.2021 1525 VKuser24342747 1