Мультимодальный поиск - Multimodal search
Мультимодальный поиск это тип поиск который использует разные методы для получения релевантных результатов. Они могут использовать любой поиск, Поиск по ключевым словам, поиск по концепции, поиск по примеру,так далее.
Вступление
Мультимодальная поисковая система предназначена для имитации гибкости и маневренности того, как человеческий разум работает над созданием, обработкой и отказом от неуместных идей. Таким образом, чем больше элементов во вводе поисковой системы вы можете сравнить, тем больше точный результаты могут быть. Мультимодальные поисковые системы используют разные входные данные, разную природу и методы поиска одновременно с возможностью объединения результатов путем объединения всех входных элементов поиска. Существуют также системы, которые могут использовать обратную связь результатов с оценкой пользователя для выполнения более подходящего и релевантного поиска.
В настоящее время мобильные устройства разработаны до такой степени, что они могут выполнять бесконечное количество функций из любого места в любое время благодаря Интернет и GPS соединения. Сенсорные экраны, датчики движения и распознавание голоса теперь представлены на мобильных устройствах под названием смартфоны. Все функции и возможности позволяют выполнять мультимодальный поиск из любой точки мира в любое время.
Элементы поиска
Использование текста - это вариант, а также мультимедийный поиск, изображение, видео, аудио, и голосовой поиск. Даже местонахождение пользователя может помочь поисковой системе выполнять более эффективный поиск, адаптированный к любой ситуации. взаимодействовать с помощью поисковой машины обнаруживаются с точки зрения элементов ввода для поиска и разнообразия полученных результатов.
Личный контекст
Многие запросы с мобильных телефонов на основе расположения (LBS), которые используют местоположение пользователя для взаимодействия с приложениями. Если возможно, браузер использует GPS устройства или вычисляет приблизительное местоположение на основе триангуляции вышек сотовой связи с разрешения пользователя, который должен согласиться поделиться своим местоположением с приложением в загружаемом файле. Следовательно, для мультимодального поиска используется не только аудиовизуальный контент, который пользователь предоставляет напрямую, но и контекст, в котором находится пользователь, например, его / ее местоположение, язык, время в данный момент, веб-сайт или документ, по которому пользователь просматривает страницы, или другие элементы, которые могут помочь улучшить поиска в любой ситуации.
Классификация результатов
Мультимодальная поисковая система работает параллельно, в то же время выполняя поиск более или менее релевантного каждого элемента, введенного прямо или косвенно (личный контекст). После этого он предоставляет комбинацию всех результатов, объединяя каждый элемент со связанным с ним весом для каждого дескриптора.
Движок анализирует каждый элемент и маркирует их, поэтому можно сравнивать теги с существующей индексированной информацией в базах данных. Продолжается классификация результатов, чтобы показать их от большей к меньшей релевантности.
Необходимо определить важность каждого элемента ввода. Существуют поисковые системы, которые делают это автоматически, однако есть также системы, в которых пользователь может делать это вручную, придавая больший или меньший вес каждому элементу поиска. Также важно, чтобы пользователь предоставлял соответствующую и важную информацию для поиска; слишком много информации может сбить систему с толку и привести к неудовлетворительным результатам. При мультимодальном поиске пользователи могут получить лучшие результаты, чем при простом поиске, но при мультимодальном поиске необходимо обрабатывать больше входной информации. Он также может тратить больше времени на его обработку и требовать больше места в памяти.
Эффективная поисковая машина интерпретирует запрос пользователей, осознает его / ее намерение и применяет стратегию для использования соответствующего поиска, то есть машина адаптируется к каждому входному запросу, а также к комбинации элементов и методов.
Приложения
В настоящее время существующие мультимодальные поисковые системы не очень сложны, и некоторые из них находятся на экспериментальной стадии. Некоторые из более простых двигателей Google изображения [1] или же Bing [2], веб-интерфейсы, использующие текст и изображения как входы чтобы найти изображения в выводе.
MMRetrieval [3] - это мультимодальная экспериментальная поисковая система, использующая многоязычную и мультимедийную информацию через веб-интерфейс. Движок ищет разные входные данные параллельно и объединяет все результаты разными выбранными методами. Механизм также обеспечивает различный многоступенчатый поиск, а также единый базовый показатель текстового индекса, чтобы иметь возможность сравнивать все различные этапы поиска.
Существует множество приложений для мобильных устройств, использующих контекст пользователя, например, службы определения местоположения, а также использующие текст, изображения, аудио или видео, которые пользователь предоставляет в данный момент или с сохраненными файлами, или даже взаимодействует с голос.
Рекомендации
- Query-Adaptive Fusion for Multimodal Search, Линдон Кеннеди, студент-член IEEE, Ши-Фу Чанг, научный сотрудник IEEE, и Апостол Нацев [4]
- Контекстно-зависимые запросы для мультимодальных поисковых систем, Йонас Эцольд, Арно Бруссо, Поль Гримм и Томас Штайнер [5]
- Применение мультимодального поиска и обратной связи по релевантности в цифровой видеотеке, диссертация Юй Чжун [6]
- Aplicació rica d’internet per a la consulta amb text i imatge al repositori de vídeos de la Corporació Catalana de Mitjans Audiovisuals, Ramon Salla, Universitat Politècnica de Catalunya [7]