Обратный поиск изображений - Reverse image search

Обратный поиск изображений с помощью Google изображения.

Обратный поиск изображений это поиск изображений на основе содержимого (CBIR) запрос методика, которая включает предоставление системе CBIR образца изображения, на котором она будет затем основывать свой поиск; с точки зрения поиск информации, образец изображения - это то, что формирует поисковый запрос. В частности, обратный поиск изображений характеризуется отсутствием поисковых терминов. Это эффективно избавляет пользователя от необходимости угадывать ключевые слова или термины, которые могут дать или не вернуть правильный результат. Обратный поиск изображений также позволяет пользователям находить контент, связанный с конкретным образцом изображения,[1] популярность изображения и обнаружение измененных версий и производных работ.[2]

Использует

Обратный поиск изображений может использоваться для:[3]

  • Найдите источник изображения.
  • Найдите версии с более высоким разрешением.
  • Откройте для себя веб-страницы, на которых появляется изображение.
  • Найдите создателя контента.
  • Получите информацию об изображении.

Алгоритмы

Обычно используемые алгоритмы обратного поиска изображений включают:[4]

Применение в популярных поисковых системах

Google изображения

Google Поиск по картинке - это функция, которая использует обратный поиск изображений и позволяет пользователям искать связанные изображения, просто загружая изображение или URL-адрес изображения. Google выполняет это, анализируя представленное изображение и строя его математическую модель с использованием передовых алгоритмов. Затем оно сравнивается с миллиардами других изображений в базах данных Google, прежде чем возвращать сопоставление и аналогичные результаты. Когда доступно, Google также использует метаданные об изображении, таком как описание.

TinEye

TinEye это поисковая система, специализирующаяся на поиске обратных изображений. После отправки изображения TinEye создает «уникальную и компактную цифровую подпись или отпечаток пальца» указанного изображения и сопоставляет его с другими проиндексированными изображениями.[6] Эта процедура может сопоставить даже сильно отредактированные версии отправленного изображения, но обычно не возвращает похожие изображения в результатах.[7]

Pixsy

Технология обратного поиска изображений Pixsy обнаруживает совпадения изображений[8] в общедоступном Интернете для изображений, загруженных на платформу Pixsy[9]. Новые совпадения обнаруживаются автоматически, и пользователю отправляются предупреждения. В случае несанкционированного использования Pixsy предлагает услугу восстановления компенсации.[10][11] для коммерческого использования работ владельцев изображений. Pixsy сотрудничает с более чем 25 юридическими фирмами и юристами по всему миру, чтобы разрешить нарушение авторских прав. Pixsy - это стратегическая служба мониторинга изображений для платформы и пользователя Flickr.[12].

eBay

eBay ShopBot использует обратный поиск изображений для поиска товаров по загруженной пользователем фотографии. eBay использует сеть ResNet-50 для распознавания категорий, хеши изображений хранятся в Google Bigtable; Apache Spark рабочие места обслуживаются Google Cloud Dataproc для извлечения хэша изображений; и служба ранжирования изображений развернута Kubernetes. [13]

SK Planet

SK Planet использует обратный поиск изображений, чтобы найти похожие модные вещи на своем веб-сайте электронной коммерции. Он разработал сеть кодировщиков машинного зрения на основе TensorFlow начало-v3, со скоростью сходимости и обобщения для использования в производстве. А рекуррентная нейронная сеть используется для мультиклассовой классификации, а определение области интереса модного продукта основано на Быстрее R-CNN. Система обратного поиска изображений SK Planet создается менее чем за 100 человеко-месяцев.[14]

Алибаба

Alibaba выпустила Пайлитао заявка в течение 2014 года. Pailitao (Китайский : 拍 立 淘, буквально означает покупки через камеру) позволяет пользователям искать товары на платформе электронной коммерции Alibaba, фотографируя объект запроса. Приложение Pailitao использует глубокую модель CNN с ветвями для совместного обнаружения и обучения функциям, чтобы обнаруживать маску обнаружения и точный отличительный признак без фоновых помех. GoogLeNet V1 используется в качестве базовой модели для прогнозирования категорий и изучения функций.[15][16]

Pinterest

Pinterest приобретенная стартап-компания VisualGraph в 2014 году и представил на своей платформе визуальный поиск.[17] В 2015 году Pinterest опубликовал статью на ACM Конференция по открытию знаний и интеллектуальному анализу данных конференции и раскрыли архитектуру системы. Трубопровод использует Apache Hadoop, открытый исходный код Кафе сверточная нейронная сеть рамки, Каскадный для пакетной обработки, PinLater для обмена сообщениями и Apache HBase для хранения. Характеристики изображения, включая локальные особенности, глубокие особенности, характерные цветовые сигнатуры и заметные пиксели, являются извлеченный из загрузок пользователей. Системой управляет Amazon EC2, и требуется только кластер из 5 экземпляров графического процессора для обработки ежедневной загрузки изображений на Pinterest. Используя обратный поиск изображений, Pinterest может извлекать визуальные элементы из модных предметов (например, туфли, платье, очки, сумку, часы, брюки, шорты, бикини, серьги) и предлагать похожие продукты.[18][19]

LykDat

LykDat использует обратный поиск изображений для поиска модных товаров в различных интернет-магазинах в Интернете.[20] LykDat также предоставляет Twitter бот который помогает пользователям выполнять обратный поиск изображений фотографий, которые они находят в Twitter.[21]

Системы исследования

Microsoft Research Asia Пекинская лаборатория опубликовала доклад в Труды IEEE в системах Arista-SS (Поиск похожих) и Arista-DS (Поиск дубликатов). Arista-DS выполняет только алгоритмы поиска дубликатов, такие как Анализ главных компонентов на глобальных функциях изображения для снижения затрат на вычисления и память. Arista-DS может выполнять поиск дубликатов на 2 миллиардах изображений с 10 серверами, но с компромиссом в том, чтобы не обнаруживать близкие дубликаты.[22]

Производственные системы обратного поиска изображений

Смотрите также: Список двигателей CBIR

Смотрите также

Рекомендации

  1. ^ «Как искать по изображению». Получено 2 ноября 2013.
  2. ^ "Поиск видео с помощью Frompo". Frompo.com. Получено 2 ноября 2013.
  3. ^ "FAQ - TinEye - Зачем использовать TinEye?". TinEye.
  4. ^ Функции объединения для крупномасштабного поиска частичных дубликатов изображений в Интернете Microsoft.
  5. ^ Новая система поиска изображений в Интернете с использованием алгоритма SIFT computer.org
  6. ^ "FAQ - TinEye - Как работает TinEye?". TinEye.
  7. ^ "FAQ - TinEye - Может ли TinEye найти похожие изображения ??". TinEye.
  8. ^ «Найдите украденные изображения - Pixsy». Pixsy. Получено 2017-10-20.
  9. ^ "Обзор Pixsy.com: Найдите и побороть кражу изображений - Интернет-маркетинг для художников -". Интернет-маркетинг для художников. 2015-07-02. Получено 2017-10-20.
  10. ^ https://plus.google.com/+SteveSchlackman (2014-10-18). "Pixsy: Найдите и получите деньги за кражу изображений". artlawjournal.com. Получено 2017-10-20.
  11. ^ "Решение проблемы кражи изображения - Pixsy". Pixsy. Получено 2017-10-20.
  12. ^ "Flickr объединяется с Pixsy, чтобы платить вам за кражу фотографий". petapixel.com. Получено 2019-12-12.
  13. ^ «Визуальный поиск на eBay». acm.org.
  14. ^ Визуальный поиск модных товаров в SK Planet
  15. ^ «Визуальный поиск в Alibaba». acm.org.
  16. ^ «Покупки с помощью камеры: поиск визуальных изображений и электронная коммерция в Alibaba». Alibaba Tech.
  17. ^ Джош Константин. «Pinterest приобретает стартап VisualGraph для распознавания изображений и визуального поиска». TechCrunch. AOL.
  18. ^ «Визуальный поиск в Pinterest». acm.org.
  19. ^ «Создание масштабируемого конвейера машинного зрения». Pinterest Engineering.
  20. ^ «Поиск модного изображения - LykDat». LykDat. Получено 2020-09-30.
  21. ^ «Бот LykDat - Twitter». Получено 2020-09-30.
  22. ^ Аннотации изображений на основе поиска дубликатов с использованием данных веб-масштаба Microsoft.