Шумная текстовая аналитика - Noisy text analytics

Шумная текстовая аналитика это процесс извлечение информации чьей целью является автоматическое извлечение структурированной или полуструктурированной информации из зашумленные неструктурированные текстовые данные. В то время как Текстовая аналитика это растущая и зрелая область, которая имеет большое значение из-за огромных объемов производимых данных, обработка зашумленного текста приобретает все большее значение, поскольку многие распространенные приложения производят зашумленные текстовые данные. Шумные неструктурированные текстовые данные встречаются в неформальной обстановке, например онлайн чат, текстовые сообщения, электронные письма, доски объявлений, группы новостей, блоги, вики и веб-страница. Также текст, полученный путем обработки спонтанной речи с использованием автоматическое распознавание речи и печатный или рукописный текст с использованием оптическое распознавание символов содержит шум обработки. Текст, созданный в таких условиях, обычно очень шумный и содержит орфографические ошибки. сокращения, нестандартные слова, фальстарты, повторы, пропущенные пунктуация, отсутствует регистр букв информации, паузы, заполняющие слова, такие как «ммм» и «ммм», а также другие текстовые сообщения и нарушения речи. Такой текст можно увидеть в большом количестве в контактные центры, чаты, оптическое распознавание символов (OCR) текстовых документов, сервис коротких сообщений (SMS) текст и т. Д. Документы с исторический язык также может считаться шумным с учетом сегодняшних знаний о языке. Такой текст содержит важные исторические, религиозные, древние медицинские знания, которые могут пригодиться. Природа зашумленного текста, создаваемого во всех этих контекстах, требует выхода за рамки традиционных методов анализа текста.

Методы анализа зашумленного текста

Отсутствие знаков препинания и использование нестандартных слов часто может мешать стандартному обработка естественного языка инструменты, такие как теги части речи и разбор. Только сейчас разрабатываются методы, позволяющие учиться на зашумленных данных и затем иметь возможность обрабатывать зашумленные данные.

Возможный источник зашумленного текста

  • Всемирная паутина: Плохо написанный текст на веб-страницах, онлайн чат, блоги, вики, дискуссионные форумы, группы новостей. Большинство этих данных неструктурированы, а стиль написания очень отличается от, скажем, хорошо написанных новостных статей. Анализ веб-данных важен, потому что они являются источниками для анализа рыночной активности, обзора рынка, оценка тенденции и т. д. Также из-за большого объема данных необходимо найти эффективные методы извлечение информации, классификация, автоматическое обобщение и анализ этих данных.
  • Контактные центры: Это общий термин для справочных служб, информационных линий и центров обслуживания клиентов, работающих в самых разных областях: от продажи компьютеров и поддержки до мобильных телефонов и одежды. В среднем человек в развитом мире взаимодействует с агентом контакт-центра не реже одного раза в неделю. Типичный агент контакт-центра обрабатывает более сотни звонков в день. Они работают в различных режимах, таких как голос, онлайн чат и Электронное письмо. Индустрия контакт-центров производит гигабайты данных в виде Электронная почта, журналы чата, голосовой разговор транскрипции, отзывы клиентов и т. д. Большая часть данных контакт-центра - это голосовые разговоры. Транскрипция их с использованием современного состояния автоматическое распознавание речи приводит к тексту с 30-40% частота ошибок в словах. Кроме того, даже письменные формы общения, такие как онлайн-чат между клиентами и агентами, и даже взаимодействие по электронной почте, как правило, являются шумными. Анализ данных контакт-центра необходим для управления взаимоотношениями с клиентами, анализа удовлетворенности клиентов, моделирования звонков, профилирования клиентов, профилирования агентов и т. Д., И он требует сложных методов для обработки плохо написанного текста.
  • Печатные документы: многие библиотеки, правительственные организации и организации национальной обороны имеют обширные хранилища печатная копия документы. Чтобы получить и обработать содержимое таких документов, их необходимо обработать с помощью Оптическое распознавание символов. Помимо печатного текста, эти документы могут также содержать рукописные аннотации. OCR-текст может быть очень шумным в зависимости от размера шрифта, качества печати и т. Д. Он может составлять 2-3%. частота ошибок в словах до 50-60% частота ошибок в словах. Рукописные аннотации бывает особенно трудно расшифровать, и при их наличии может быть довольно много ошибок.
  • Служба коротких сообщений (SMS): использование языка в компьютерных дискурсах, таких как чаты, электронные письма и тексты SMS, значительно отличается от стандартной формы языка. Стремление к более короткой длине сообщения, способствующее более быстрому набору, и потребность в семантической ясности формируют структуру этой нестандартной формы, известной как язык текстовых сообщений.

Смотрите также

Рекомендации