Бывает, смотришь на фото и понятия не имеешь, где оно сделано. Компания «Яндекс» создала нейросеть, которая поможет с этим справиться. Она укажет, в какой стране был сделан снимок.
Как это работает
Сотрудники «Яндекса» использовали сверточную нейросеть SE-ResNeXt-50, которую в 2017 году разработали китайские специалисты. На её основе создали собственную нейросеть и обучили её различать российские города по фотографиям. Алгоритм обучения детально описали в блоге.
Новое решение стало логическим продолжением. Специалисты взяли собственную сеть, но географию её применения расширили. В фокусе оказались не только российские города, но и фото локаций из разных стран мира.
Для тренировки нейросети использовали более 400 тыс. фото. В итоге нейросеть научилась угадывать правильный ответ всего лишь по одному снимку.
Новые фото и новые тренировки не прошли даром. Разработчики добились того, чтобы нейросеть побеждала человека в распознавании стран по фото в большинстве случаев.
Исследователи подчеркнули: чтобы добиться нужной точности, нейросеть анализировала отдельные элементы на фото. Например, фото из Нидерландов она узнает по темным кирпичным стенам и белым оконным рамам.
Поединок с нейросетью
Думаете, нейросети легко по готовым фото для Яндекс.Карт находить соответствия и узнавать страны? Давайте проверим!
Компания выпустила игру, в которой можно посоревноваться с нейросетью, угадывая страну по фотографии. Можно играть и с другими пользователями.
Игра состоит из 12 туров. В каждом из них вам показывают одно фото и дают четыре варианта ответов на выбор.
Ответ нейросети и прогресс показывается в процессе игры. Затем система подсчитывает ваши очки и баллы нейросети и выдает ответ.
Богатый источник информации
Карты, фото и 3D-изображения для них - плодородная почва для обучения нейросетей. Сверточные нейросети отлично зарекомендовали себя в распознавании снимков, и именно их приспосабливают для решения конкретных задач по фото с карт.
В 2017 году группа ученых решила отследить политические предпочтения жителей конкретных районов - возможно, чтобы предсказать результаты выборов в США. Специалисты обучили нейросеть на данных из Google Street View. Они выбрали фото с 22 млн автомобилей - это примерно 32% от общего количества зарегистрированных транспортных средств.
Классифицировать фото с автомобилями и определить их тип также помогла нейросеть. Она различала пикапы, седаны, минивэны и грузовики, а также определяла производителя, модель и год выпуска машины.
Исследователи использовали фото 200 городов. Снимки 165 из них использовали для тренировки, 35 - для получения результатов.
Кроме того, специалисты взяли данные о жителях различных районов. Учитывали средний годовой доход, уровень образования, расу и др.
Оказалось, что если на улицах припаркованных пикапов больше, чем седанов, то жители района, скорее всего, будут голосовать за республиканцев. Любители седанов же чаще голосуют за демократов.
Более того: нейросеть по автомобилям научилась определять демографические показатели местных жителей. Например, вероятность правильно вычислить годовой доход составила 82%, факт окончания школы - 65%.
