Для полноты изложения и чистоты эксперимента было решено протестировать поиск по картинкам от компании Яндекс и сравнить результаты поиска тех же картинок, что мы искали в Google. Подробности можно посмотреть здесь. Для начала приведем описание поиска, которое делает сам поисковик Яндекс:
Яндекс умеет искать изображения по заданному вами образцу. Это может быть целое изображение или его фрагмент. При этом образец может размещаться в интернете или храниться на вашем компьютере или другом устройстве. Поиск по картинке основан на алгоритмах компьютерного зрения. В результате поиска могут быть найдены как точные копии исходного изображения, так и картинки, незначительно отличающиеся от оригинала. Например, это могут быть разные фотографии одного и того же памятника архитектуры. Примечание. Результативность поиска зависит от наличия в интернете изображений, аналогичных образцу и уже проиндексированных Яндексом. Таким образом, вероятность найти такую же фотографию достопримечательности значительно выше, чем такое же фото с вашего праздника.
Ну что же, посмотрим как он умеет искать. Для начала (см. картинку слева - кликабельно) надо загрузить изображение для поиска. Идея тут та же что и в Google - изображение фотоаппарата в конце поисковой строки. Изображение можно указать по адресу в интернете, перетянуть с рабочего стола или загрузить с вашего диска. Удобно и понятно.
А вот с результатами поиска не все так замечательно. Была использована та же лошадка что и в поиске Google по
картинке. Из результатов поиска, которые вы видите слева ясно - Яндекс запутался. И причина скорее всего в том, что "компьютерное зрение" прежде всего ориентируется на цветовую гамму картинки, а не ее содержимое. В результате мы получили вместо ржущей лошадки в похожих картинках коров и даже собаку. И ни одна из них не ржет. А у Google были отобраны не просто лошадки, а те которые реально ржут. Смотрите сами
здесь. Так что вывод очевидный - есть приоритет при поиске, некий алгоритм, который работает по принципу- что мне проще определить. Фактически тут работает обычный принцип кластеризации. Никакого ИИ. Часто это срабатывает. Но, если объект сложный то нет.
А вот посмотрим на детализированную выдачу Яндекса и видим, что улыбок тут нету. И даже к коровам и собакам добавилась барышня. Ну, а если честно, то тут всего лишь один веселый жеребенок, а остальное к лошадям вообще не имеет отношения: овцы есть, буйволы, лысая кошка. Да иточно не до смеха, если вместо лошади - человек. Но, как и на предыдущей картинке - доминирование опередленного цвета. Он в приоритете по выдаче. Так что говорить о полноценном поиске по картинке точно не стоит. (Дополнено: статья и выводы актуальны на момент написания и публикации статьи. Сегодня алгоритмы радикально изменились. И да, теперь ИИ используется а анализ изображений стал точнее и адекватнее). Технологии стали умнее.
Усложним картинку и проведем поиск по картинке, на которой и Google обломался. В Яндексе тоже неожиданностей не случилось. Сложная картинка с цветным текстом (облако тегов) найдена не была. Правда похожие картинки были определены. Но, обратите внимание - допущена ошибка. И вновь очевидно причина ошибки в том, что приоритет при поиске отдан цветовой гамме, а не анализу самого изображения. Возможно эти примеры случайны и на других типах картинок Яндекс справляется с поиском лучше чем Google, но так уж получилось. Картинки выбирались случайным образом.
