Эксперты из Массачусетского технологического института (MIT) изучили приложения, анализирующие резюме кандидатов. Ученые пришли к выводу, что такой софт плохо справляется с задачами и дает неверные результаты.
Обещанные возможности
Для подкаста MIT Technology Review «In Machines We Trust» исследователи протестировали два приложения на базе нейросетей – программы Curious Thing и MyInterview, которые умеют проводить видеоинтервью и оценивать соискателя без участия менеджера по персоналу.
В отличие от других подобных приложений, которые предназначены для анализа резюме и сопроводительных писем с целью поиска людей с подходящими навыками и опытом работы, две исследуемые разработки обещали ранжировать кандидатов на базе черт из пятифакторной модели личности: доброжелательности, открытости, самоконтроля, экстраверсии и эмоциональной стабильности. Кроме того, Curious Thing предлагает установить уровень приспособляемости и стрессоустойчивости. Обе программы применяют технологии машинного распознавания голоса.
Результаты эксперимента
Программы Curious Thing и MyInterview даже не смогли определить, на каком языке с ними разговаривал человек.
При тестировании Curious Thing работница MIT Technology Review два раза прошла видеоинтервью на знание английского языка. В первой попытке участница набрала 8,5 баллов из 9 возможных. Однако когда она сдала тест во второй раз, зачитав ответы со страницы «Википедии» на немецком языке, программа оценила знания девушки в 6 баллов.
MyInterview также осталась довольна навыками участницы подкаста, оценив уровень ее соответствия требованиям вакансии в 73%. При этом сотрудница MIT все видеоинтервью говорила на немецком, а расшифровка ее ответов в MyInterview выглядит как бессмысленный набор слов: «Таким образом, влажность – это проблема. Социология, это железо? Добываемый материал нематоды адаптируются. Безопасное местоположение, мезоны первой половины гаммы их Удачи в IMD и факт долгого перехода к Евразии и Z этого конкретного местоположения мезонов».
Выводы MIT
Ученые констатируют, что если программа не способна определить язык, на котором разговаривает соискатель, то она будет испытывать сложности при общении с кандидатом, который говорит по-английски с заметным акцентом. В таком случае будет проблематично установить черты личности собеседника. Исследователи MIT полагают, что другие приложения, которые обещают определить характер по сомнительным критериям, таким как выражение лица, скорее всего, еще менее надежны.
Технический директор Curious Thing Хань Сюй отреагировал на подкаст и сообщил, что эксперимент MIT Technology Review стал первым, в котором программу протестировали на немецком языке. Поэтому полученные результаты очень ценны – эти данные можно проанализировать и «посмотреть, открывает ли это что-нибудь в системе».