Резюме из нескольких документов - Multi-document summarization

Резюме из нескольких документов это автоматическая процедура, направленная на извлечение информации из нескольких текстов, написанных на одну и ту же тему. Итоговый итоговый отчет позволяет отдельным пользователям, например профессиональным потребителям информации, быстро ознакомиться с информацией, содержащейся в большом кластере документов. Таким образом, системы реферирования нескольких документов дополняют агрегаторы новостей выполнение следующего шага по пути преодоления информационная перегрузка.

Ключевые преимущества и трудности

Обобщение нескольких документов создает информационные отчеты, которые являются как краткими, так и исчерпывающими. С разными мнениями, объединенными и изложенными, каждая тема описывается с нескольких точек зрения в одном документе. В то время как цель краткого резюме - упростить поиск информации и сократить количество лишних вопросов. Время, указав на наиболее релевантные исходные документы, исчерпывающее многодокументное резюме теоретически должно содержать требуемую информацию, тем самым ограничивая необходимость доступа к исходным файлам случаями, когда требуется уточнение. На практике сложно резюмировать несколько документов с противоречивыми взглядами и предубеждениями. Фактически, добиться четкого экстрактивное обобщение документов с противоречивыми взглядами. Абстрактное обобщение является предпочтительным местом в этом случае.

Автоматические сводки представляют информацию, полученную из нескольких источников алгоритмически, без какого-либо редакционного вмешательства или субъективного вмешательства человека, что делает ее полностью объективной. Трудности остаются, если делать автоматическое извлечение резюме из документов с противоречивыми взглядами.

Технологические вызовы

Задача реферирования нескольких документов сложнее, чем резюмируя единый документ, даже длинный. Сложность возникает из-за тематического разнообразия в большом наборе документов. Хорошая технология реферирования направлена ​​на объединение основных тем с полнотой, удобочитаемостью и лаконичностью. Конференции по пониманию документов,[1] проводится ежегодно NIST, разработали сложные критерии оценки для методов, позволяющих решить проблему резюмирования нескольких документов.

Идеальная многодокументная система реферирования не только сокращает исходные тексты, но также представляет информацию, организованную по ключевым аспектам для представления различных точек зрения. Успех дает обзор данной темы. Такие текстовые компиляции должны также соответствовать основным требованиям к обзорному тексту, составленному человеком. Критерии качества краткого описания нескольких документов следующие:

  • четкая структура, включая схему основного содержания, из которой легко переходить к полнотекстовым разделам
  • текст в разделах делится на значимые абзацы
  • постепенный переход от более общих к более конкретным тематическим аспектам
  • хороший читаемость.

Последний момент заслуживает дополнительного упоминания. При этом в автоматическом обзоре отображаются:

  • нет бумаги, не относящейся к делу "информационный шум "из соответствующих документов (например, веб-страниц)
  • нет висящих ссылок на то, что не упоминается или не объясняется в обзоре
  • нет обрывов текста в предложении
  • нет семантики избыточность.

Реальные системы

Технология реферирования нескольких документов в настоящее время достигает своего совершеннолетия - это представление поддерживается рядом передовых сетевых систем, доступных в настоящее время.

  • Обзор представляет резюме отзывов клиентов о любом продукте или услуге. У некоторых продуктов есть тысячи онлайн-обзоров, что делает их нечитаемыми людьми в режиме реального времени. Поиск товара или услуги осуществляется на сайте.
  • Главный научный сотрудник[2] - выполняет интеллектуальный анализ текста в результатах поиска в Интернете, чтобы помочь суммировать и систематизировать их, а также облегчить пользователю выполнение онлайн-поиска. Конкретные методы интеллектуального анализа текста, используемые инструментом, включают извлечение понятий, обобщение текста, иерархическую кластеризацию понятий (например, автоматическое создание таксономии) и различные методы визуализации, включая облака тегов и интеллектуальные карты.
  • iResearch Reporter[3] - Коммерческая система извлечения текста и суммирования текста, бесплатный демонстрационный сайт принимает введенный пользователем запрос, передает его в поисковую систему Google, извлекает несколько релевантных документов, создает категоризированные, легко читаемые сводные отчеты на естественном языке, охватывающие несколько документов в извлеченном наборе, все извлечения связаны к исходным документам в Интернете, постобработке, извлечению сущностей, событиям и извлечение отношений, извлечение текста, кластеризация извлечения, лингвистический анализ, многодокументный, полный текст, обработка естественного языка, правила категоризации, кластеризация, лингвистический анализ, набор инструментов для построения резюме текста.
  • Newsblaster[4] это система, которая помогает пользователям находить новости, которые им интересны. Система автоматически собирает, группирует, классифицирует и резюмирует новости с нескольких сайтов в Интернете (CNN, Рейтер, Fox News и т. д.) на ежедневной основе и предоставляет пользователям интерфейс для просмотра результатов.
  • NewsInEssence[5] может использоваться для поиска и обобщения группы статей из Интернета. Это может начаться с URL и извлекать похожие документы, или он может извлекать документы, соответствующие заданному набору ключевых слов. NewsInEssence также ежедневно загружает новостные статьи и создает из них новостные кластеры.
  • NewsFeed Исследователь[6] новостной портал, непрерывно автоматическое обобщение документов, изначально сгруппированных по агрегаторы новостей (например., Новости Google ). NewsFeed Researcher поддерживается бесплатным онлайн-движком, освещающим основные события, связанные с бизнесом, технологиями, американскими и международными новостями. Этот инструмент также доступен в режиме по запросу, что позволяет пользователю создавать сводки по выбранным темам.
  • Очистить это[7] похожа на поисковую систему, но вместо того, чтобы предоставлять ссылки на наиболее релевантные веб-сайты на основе запроса, она соскабливает соответствующую информацию с соответствующих веб-сайтов и предоставляет пользователю консолидированную сводку из нескольких документов вместе со словарными определениями, изображениями, и видео.
  • JistWeb[8] представляет собой сводный текст для нескольких документов.

Поскольку автоматически сгенерированные многодокументные резюме все больше напоминают обзоры, написанные человеком, их использование извлеченных текстовых фрагментов может однажды столкнуться с Авторские права вопросы в отношении добросовестное использование концепция авторского права.

Библиография

  • Гюнес Эркан; Драгомир Р. Радев (1 декабря 2004 г.), "LexRank: лексическая центральность на основе графов как значимость в обобщении текста", Журнал исследований искусственного интеллекта, 22: 457–479, arXiv:1109.2128, Дои:10.1613 / JAIR.1523, ISSN  1076-9757, Викиданные  Q81312697
  • Драгомир Р. Радев, Хунъян Цзин, Малгожата Стись и Даниэль Там. Резюмирование нескольких документов на основе центроидов. Обработка информации и управление, 40: 919–938, декабрь 2004 г. [5]
  • Кэтлин Р. МакКаун и Драгомир Р. Радев. Генерация резюме нескольких новостных статей. In Proceedings, ACM Conference on Research and Development in Information Retrieval SIGIR'95, pages 74–82, Seattle, Washington, July 1995. [6]
  • C.-Y. Лин, Э. Хови, «От одного к многодокументному обобщению: система-прототип и ее оценка», В «Proceedings of the ACL», стр. 457–464, 2002 г.
  • Кэтлин МакКаун, Ребекка Дж. Пассонно, Дэвид К. Элсон, Ани Ненкова, Джулия Хиршберг, «Помогают ли резюме? Оценка многодокументного обобщения на основе задач», SIGIR’05, Сальвадор, Бразилия, 15–19 августа 2005 г. [7]
  • Р. Барзилай, Н. Эльхадад, К. Р. Маккеун, «Стратегии вывода для упорядочивания предложений при резюмировании многодокументных новостей», Журнал исследований искусственного интеллекта, т. 17, стр. 35–55, 2002
  • М. Субботин, С. Субботин, «Компромисс между факторами, влияющими на качество резюме», семинар по пониманию документов (DUC), Ванкувер, Британская Колумбия, Канада, 9–10 октября 2005 г. [8]
  • Ч. Равиндранат Чоудари и П. Шриниваса Кумар. «Esum: эффективная система реферирования нескольких документов по запросу». В ECIR (достижения в области информационного поиска), стр. 724–728. Springer Berlin Heidelberg, 2009 г.

Смотрите также

Рекомендации

  1. ^ "Документирование конференций". Nlpir.nist.gov. 2014-09-09. Получено 2016-01-10.
  2. ^ «Создать отчет об исследовании». Главный научный сотрудник. Получено 2016-01-10.
  3. ^ «Служба iResearch Reporter». Iresearch-reporter.com. Архивировано из оригинал на 2013-06-09. Получено 2016-01-10.
  4. ^ [1] В архиве 16 апреля 2013 г. Wayback Machine
  5. ^ [2] В архиве 11 апреля 2011 г. Wayback Machine
  6. ^ "Исследователь новостной ленты | Общие сведения". Newsfeedresearcher.com. Получено 2016-01-10.
  7. ^ [3] В архиве 19 сентября 2009 г. Wayback Machine
  8. ^ [4] В архиве 29 мая 2013 г. Wayback Machine

внешняя ссылка