Международная группа исследователей изучила эффективность тестов CAPTCHA. Ученые пришли к выводу, что технология больше мешает людям, потому что боты научились с ней справляться.
Сколько времени нужно людям
Исследование проведено специалистами из Калифорнийского университета в Ирвайне, Высшей технической школы в Цюрихе, Ливерморской национальной лаборатории им. Э. Лоуренса и Microsoft. Для проведения эксперимента ученые отобрали 1,4 тыс. человек и предложили им пройти 14 тыс. тестов.
Каждый испытуемый решил 10 задач на выявление ботов с разными механизмами проверки:
- reCAPTCHA, где для успешного прохождения необходимо поставить галочку напротив фразы «Я не робот».
- reCAPTCHA v2, предполагающая выбор определенных объектов на фото.
- Две игровые капчи от Arkose Labs. В одной необходимо использовать стрелки для вращения объекта, в другой – выбрать вертикальный объект.
- Две hCAPTCHA с простыми и сложными настройками, где требуется распознать объект на изображении.
- Слайдер от Geetest, предлагающий совместить картинки.
- Три теста с разными типами искажения текста.
Исследователи не смогли установить связь между временем, затраченным на прохождение капчи, и оценкой от испытуемых. Пользователям не всегда нравятся тесты, которые можно пройти быстро. Ученые обнаружили, что лучше всего справляются с капчей люди с ученой степенью. Участники с другим уровнем образования демонстрировали примерно одинаковые результаты. Кроме того, на скорость прохождения влияет возраст: каждый год жизни увеличивает время на решение задачи на 0,09 секунд.
Боты быстрее
Исследователи сравнили скорость людей при прохождении капчи с результатами ботов, которые специалисты взяли из других научных публикаций. Ученые пришли к выводу, что боты справляются с тестами быстрее и точнее, чем испытуемые. Например, в эксперименте с искаженным текстом человек тратил от 9 до 15 секунд на решение задачи, и в 50%-84% случаев результат оказывался неверным. Бот проходит капчу менее чем за секунду с точностью около 99,8%.
Аналогичные результаты машинное распознавание тестов демонстрирует и в других механизмах защиты: reCAPTCHA, hCAPTCHA, Geetest.
Сравнение результатов прохождения капчи ботами и людьми
Кроме того, исследователи проверили 200 популярных сайтов и установили, что 120 из них используют тесты на выявление ботов. Самым популярным инструментом оказался reCAPTCHA, который применялся на 68 веб-ресурсах.
Профессор Джин Цудик, один из авторов эксперимента, прокомментировал результаты исследования. Он удивлен, что люди продолжают использовать капчу, хотя она почти никому не нравится, стоит денег и неэффективна против ботов. Ученый полагает, что причина в том, что поставщики CAPTCHA получают большую прибыль от своих разработок, а сервисы, предлагающие защиту данных, не хотят признать малую пользу от таких тестов.