Оптическое распознавание музыки - Optical music recognition

Оптическое распознавание музыки (OMR) - это область исследований, в которой изучается, как с помощью вычислений читать нотную запись в документах.[1] Цель OMR - научить компьютер читать и интерпретировать ноты и создать машиночитаемую версию нот. После цифровой записи музыка может быть сохранена в широко используемых форматах файлов, например MIDI (для воспроизведения) и MusicXML (для макета страницы).

В прошлом его ошибочно называли музыкой. OCR. Из-за значительных различий этот термин больше не используется.[2]

История

Впервые опубликовано цифровое сканирование нот Дэвида Прерау в 1971 году.

Оптическое распознавание нот в печатных нотах началось в конце 1960-х гг. Массачусетский технологический институт когда первый сканеры изображений стал доступным для исследовательских институтов.[3][4][5] Из-за ограниченной памяти ранних компьютеров первые попытки были ограничены всего несколькими партиями музыки.

В 1984 г. японская исследовательская группа из Университет Васэда разработал специализированного робота под названием WABOT (WAseda roBOT), который мог читать ноты перед собой и сопровождать певца на электрический орган.[6][7]

Ранние исследования OMR проводили Ичиро Фуджинага, Николас Картер, Киа Нг, Дэвид Бейнбридж и Тим Белл. Эти исследователи разработали многие методы, которые используются до сих пор.

Первое коммерческое приложение OMR, MIDISCAN (сейчас SmartScore ), был выпущен в 1991 году компанией Musitek Corporation.

Наличие смартфоны с хорошими камерами и достаточной вычислительной мощностью, проложили путь к мобильным решениям, когда пользователь делает снимок с помощью смартфона, а устройство напрямую обрабатывает изображение.

Отношение к другим полям

Связь оптического распознавания музыки с другими областями исследований

Оптическое распознавание музыки относится к другим областям исследований, включая: компьютерное зрение, анализ документов и поиск музыкальной информации. Это актуально для практикующих музыкантов и композиторов, которые могли бы использовать системы OMR как средство ввода музыки в компьютер и, таким образом, облегчить процесс составление, расшифровка, и редактирование музыки. В библиотеке система OMR может сделать музыку доступной для поиска.[8] а для музыковедов это позволило бы проводить масштабные количественные музыковедческие исследования.[9]

OMR против OCR

Оптическое распознавание музыки часто сравнивают с оптическим распознаванием символов.[2][10][11] Самая большая разница в том, что нотная запись - это особенная система письма. Это означает, что, хотя алфавит состоит из четко определенных примитивов (например, основы, заголовки или флаги), именно их конфигурация - то, как они размещаются и располагаются на нотоносце, - определяет семантику и то, как ее следует интерпретировать.

Второе важное отличие заключается в том, что, хотя система OCR не выходит за рамки распознавания букв и слов, ожидается, что система OMR также восстановит семантику музыки: пользователь ожидает, что вертикальное положение ноты (графическая концепция) будет переводится в высоту звука (музыкальное понятие) с применением правил нотной записи. Обратите внимание, что для распознавания текста нет надлежащего эквивалента. По аналогии, восстановить музыку из изображения нотного листа может быть так же сложно, как восстановить HTML исходный код от снимок экрана из интернет сайт.

Третье отличие связано с используемым набором символов. Хотя системы письма, такие как китайский, имеют чрезвычайно сложные наборы символов, набор символов примитивов для OMR охватывает гораздо больший диапазон размеров, начиная от крошечных элементов, таких как точка, до больших элементов, которые потенциально охватывают всю страницу, например скобки. Некоторые символы имеют почти неограниченный вид, например оскорбления, которые определяются только как более или менее плавные кривые, которые могут прерываться где угодно.

Наконец, нотная запись включает в себя повсеместные двумерные пространственные отношения, тогда как текст можно читать как одномерный поток информации, как только базовая линия установлена.

Подходы к OMR

Отрывок из Ноктюрн соч. 15, нет. 2, Фредерик Шопен - Проблемы оптического распознавания музыки

Процесс распознавания музыкальной партитуры обычно разбивается на более мелкие этапы, которые выполняются специальными распознавание образов алгоритмы.

Было предложено множество конкурирующих подходов, большинство из которых используют архитектуру конвейера, где каждый шаг в этом конвейере выполняет определенную операцию, такую ​​как обнаружение и удаление линий персонала перед переходом к следующему этапу. Общая проблема такого подхода заключается в том, что ошибки и артефакты, сделанные на одном этапе, распространяются по системе и могут сильно повлиять на производительность. Например, если этап обнаружения нотных нотоносцев не может правильно определить наличие нотных нотоносцев, последующие шаги, вероятно, будут игнорировать эту область изображения, что приведет к отсутствию информации в выводе.

Оптическое распознавание музыки часто недооценивается из-за, казалось бы, простой природы проблемы: если обеспечить идеальное сканирование наборной музыки, визуальное распознавание может быть решено с помощью последовательности довольно простых алгоритмов, таких как проекции и сопоставление шаблонов. Однако этот процесс значительно усложняется для плохих отсканированных изображений или рукописной музыки, которую многие системы вообще не могут распознать. И даже если бы все символы были обнаружены идеально, восстановить музыкальную семантику по-прежнему сложно из-за двусмысленности и частых нарушений правил нотной записи (см. Пример Ноктюрна Шопена). Дональд Берд и Якоб Симонсен утверждают, что OMR сложно, потому что современная нотная запись чрезвычайно сложна.[11]

Дональд Берд также собрал ряд интересных примеров.[12] а также крайние примеры[13] нотной записи, которые демонстрируют явную сложность нотной записи.

Выходы систем OMR

Типичные приложения для систем OMR включают создание слышимой версии музыкальной партитуры (называемой возможностью воспроизведения). Обычный способ создать такую ​​версию - создать MIDI файл, который может быть синтезированный в аудиофайл. MIDI-файлы, однако, не способны хранить информацию о гравировке (как были выложены ноты) или энгармонический орфография.

Если партитуры распознаются с целью удобства чтения для человека (это называется возможностью повторной печати), необходимо восстановить структурированную кодировку, которая включает точную информацию о макете и гравировке. Подходящие форматы для хранения этой информации включают MEI и MusicXML.

Помимо этих двух приложений, может быть интересно просто извлечь метаданные из изображения или включить поиск. В отличие от первых двух приложений, более низкого уровня понимания нот может быть достаточно для выполнения этих задач.

Общие рамки (2001)

Архитектура оптического распознавания музыки Бейнбриджа и Белла (2001)

В 2001 году Дэвид Бейнбридж и Тим Белл опубликовали свою работу о проблемах OMR, в которой они рассмотрели предыдущие исследования и извлекли общую основу для OMR.[10] Их структура использовалась во многих системах, разработанных после 2001 года. Эта структура состоит из четырех отдельных этапов с большим упором на визуальное обнаружение объектов. Они заметили, что реконструкция музыкальной семантики часто опускалась в опубликованных статьях, потому что используемые операции были специфичны для выходного формата.

Доработанный каркас (2012)

Общая схема оптического распознавания музыки, предложенная Ana Rebelo et al. в 2012

В 2012 году Ана Ребело и др. рассмотрены методы оптического распознавания музыки.[14] Они разделили опубликованные исследования по категориям и доработали конвейер OMR на четыре этапа: предварительная обработка, распознавание музыкальных символов, реконструкция музыкальной нотации и построение окончательного представления. Этот фреймворк стал де-факто стандартом для OMR и используется до сих пор (хотя иногда и с немного другой терминологией). По каждому блоку дается обзор методов, которые используются для решения этой проблемы. Эта публикация является наиболее цитируемой статьей об исследованиях OMR по состоянию на 2019 год.

Глубокое обучение (с 2016 г.)

С появлением глубокое обучение, многие проблемы компьютерного зрения перешли от императивного программирования с ручной эвристикой и проектирования функций к машинному обучению. В оптическом распознавании музыки этап обработки кадров,[15][16] этап обнаружения музыкального объекта,[17][18][19][20] а также этап реконструкции нотной записи[21] видели успешные попытки решить их с помощью глубокого обучения.

Были предложены даже совершенно новые подходы, в том числе решение OMR сквозным способом с помощью моделей от последовательности к последовательности, которые берут изображение музыкальных партитур и напрямую создают распознанную музыку в упрощенном формате.[22][23][24][25]

Известные научные проекты

Проблема удаления персонала

Для систем, разработанных до 2016 года, обнаружение и увольнение персонала представляло собой серьезное препятствие. Был организован научный конкурс для улучшения состояния дел и развития области.[26] В связи с отличными результатами и современными технологиями, которые сделали этап удаления персонала устаревшим, этот конкурс был прекращен.

Тем не менее, свободно доступный набор данных CVC-MUSCIMA, который был разработан для этой задачи, по-прежнему очень актуален для исследований OMR, поскольку он содержит 1000 высококачественных изображений рукописных нот, расшифрованных 50 разными музыкантами. Он был дополнительно расширен до набора данных MUSCIMA ++, который содержит подробные аннотации для 140 из 1000 страниц.

SIMSSA

Единый интерфейс для поиска и анализа музыкальной партитуры (SIMSSA)[27] вероятно, самый крупный проект, который пытается научить компьютеры распознавать музыкальные партитуры и сделать их доступными. Несколько подпроектов уже успешно завершены, в том числе Liber Usualis[28] и Cantus Ultimus.[29]

ТРОМПА

На пути к более богатой онлайн-музыке Архивы общественного достояния (TROMPA) - это международный исследовательский проект, спонсируемый Европейским Союзом, который исследует, как сделать общедоступные цифровые музыкальные ресурсы более доступными.[30]

Наборы данных

При разработке систем OMR используются тестовые наборы данных достаточного размера и разнообразия, чтобы гарантировать, что разрабатываемая система работает в различных условиях. Однако по юридическим причинам и потенциальным нарушениям авторских прав сложно составить и опубликовать такой набор данных. На самые известные наборы данных для OMR ссылаются и резюмируются в проекте OMR Datasets.[31] и включают CVC-MUSCIMA,[32] MUSCIMA ++,[33] DeepScores,[34] Примус,[35] ХОМУС,[36] и набор данных SEILS,[37] а также Коллекция универсальных музыкальных символов.[38]

Программного обеспечения

Академическое программное обеспечение и программное обеспечение с открытым исходным кодом

Многие проекты OMR были реализованы в академических кругах, но лишь некоторые из них достигли зрелого состояния и были успешно развернуты для пользователей. Эти системы:

Коммерческое программное обеспечение

Большинство коммерческих настольных приложений, которые были разработаны за последние 20 лет, были снова закрыты из-за отсутствия коммерческого успеха, в результате чего осталось лишь несколько поставщиков, которые все еще разрабатывают, поддерживают и продают продукты OMR. высокие показатели распознавания с точностью до 100% [46][47] но не раскрывают, как были получены эти числа, что делает практически невозможным их проверку и сравнение различных систем OMR. Помимо настольных приложений, появился ряд мобильных приложений, которые получили неоднозначные отзывы в магазине Google Play и были вероятно, выпуск прекращен (или, по крайней мере, не получал никаких обновлений с 2017 года).[48][49][50] Ряд приложений OMR также можно найти для устройств iPhone и iPad в Apple Store.[51][52][53][54][55]

  • capella-scan[56]
  • ForteScan Light от Fortenotation[57] сейчас Scan Score[58]
  • MIDI-соединения Сканирование по MIDI-соединениям[59]
  • Сканирование MP Braeburn.[60] Использует SharpEye SDK.
  • NoteScan в комплекте с Nightingale[61]
  • Надстройка OMeR (Optical Music easy Reader) для Harmony Assistant и Melody Assistant: Myriad Software[62] (ShareWare)
  • PDFtoMusic[63]
  • PhotoScore от Neuratron.[47] Облегченная версия PhotoScore используется в Сибелиус. PhotoScore использует SharpEye SDK.
  • PlayScore от Organum Limited.[64]
  • Scorscan от npcImaging.[65] На основе SightReader (?)
  • SharpEye от Visiv[66]
    • VivaldiScan (такой же, как SharpEye)[67]
  • SmartScore пользователя Musitek.[68] Ранее упаковывалось как «МИДИСКАН». (SmartScore Lite использовался в предыдущих версиях Финал ).
  • ScanScore[69] (Также в комплекте с Обозначение Форте.) [70]

Смотрите также

использованная литература

  1. ^ Паша, Александр (2019). Самообучающееся оптическое распознавание музыки (Кандидат наук). TU Wien, Австрия. Дои:10.13140 / RG.2.2.18467.40484.
  2. ^ а б Кальво-Сарагоса, Хорхе; Hajič, Jan jr .; Паша, Александр (2019). «Понимание оптического распознавания музыки». arXiv:1908.03608 [cs.CV ].
  3. ^ Фудзинага, Ичиро (2018). История OMR на YouTube
  4. ^ Пруслин, Деннис Ховард (1966). Автоматическое распознавание нот (Кандидат наук). Массачусетский технологический институт, Кембридж, Массачусетс, США.
  5. ^ Прерау, Дэвид С. (1971). Компьютерное распознавание образов печатной музыки. Осенняя совместная компьютерная конференция. С. 153–162.
  6. ^ "ВАБОТ - ВАСЕДА РОБОТ". Гуманоид Университета Васэда. Получено 14 июля, 2019.
  7. ^ «Запись Wabot в коллекцию роботов IEEE». IEEE. Получено 14 июля, 2019.
  8. ^ Лапланте, Одри; Фудзинага, Ичиро (2016). Оцифровка музыкальных партитур: проблемы и возможности для библиотек. 3-й Международный семинар по электронным библиотекам для музыковедения. С. 45–48.
  9. ^ Hajič, Jan jr .; Коларова, Марта; Паша, Александр; Кальво-Сарагоса, Хорхе (2018). Как современные оптические системы распознавания музыки становятся полезными для электронных библиотек. 5-я Международная конференция по электронным библиотекам для музыковедения. Париж, Франция. С. 57–61.
  10. ^ а б c Бейнбридж, Дэвид; Белл, Тим (2001). «Задача оптического распознавания музыки». Компьютеры и гуманитарные науки. 35 (2): 95–121. Дои:10.1023 / А: 1002485918032. Получено 23 февраля 2017.
  11. ^ а б Берд, Дональд; Симонсен, Якоб Грю (2015). «На пути к стандартному испытательному стенду для оптического распознавания музыки: определения, показатели и изображения страниц». Журнал новых музыкальных исследований. 44 (3): 169–195. Дои:10.1080/09298215.2015.1045424.
  12. ^ «Галерея интересных нот». Дональд Берд. Получено 14 июля, 2019.
  13. ^ «Крайности традиционной нотной записи». Дональд Берд. Получено 14 июля, 2019.
  14. ^ Ребело, Ана; Фудзинага, Ичиро; Пашкевич, Филипе; Marcal, Andre R.S .; Гуэдес, Карлос; Кардозу, Джейми душ Сантуш (2012). «Оптическое распознавание музыки: современные и открытые вопросы» (PDF). Международный журнал поиска мультимедийной информации. 1 (3): 173–190. Дои:10.1007 / s13735-012-0004-6.
  15. ^ Гальего, Антонио-Хавьер; Кальво-Сарагоса, Хорхе (2017). «Удаление штрихов с помощью селективных автокодировщиков». Экспертные системы с приложениями. 89: 138–148. Дои:10.1016 / j.eswa.2017.07.002.
  16. ^ Castellanos, Fancisco J .; Кальво-Сарагоса, Хорхе; Вильенсони, Габриэль; Фудзинага, Ичиро (2018). Анализ документов изображений партитуры с помощью селективных автокодировщиков (PDF). 19-я Международная конференция по поиску информации о музыке. Париж, Франция. С. 256–263.
  17. ^ Туггенер, Лукас; Елези, Исмаил; Шмидхубер, Юрген; Штадельманн, Тило (2018). Детектор глубоких водоразделов для распознавания музыкальных объектов (PDF). 19-я Международная конференция по поиску информации о музыке. Париж, Франция. С. 271–278.
  18. ^ Hajič, Jan jr .; Дорфер, Матиас; Видмер, Герхард; Печина, Павел (2018). На пути к полному конвейеру рукописного OMR с обнаружением музыкальных символов с помощью U-Nets (PDF). 19-я Международная конференция по поиску информации о музыке. Париж, Франция. С. 225–232.
  19. ^ Паша, Александр; Hajič, Jan jr .; Кальво-Сарагоса, Хорхе (2018). «Базовый уровень для общего обнаружения музыкальных объектов с помощью глубокого обучения». Прикладные науки. 8 (9): 1488–1508. Дои:10.3390 / app8091488.
  20. ^ Паша, Александр; Чой, Квон-Ён; Куаснон, Бертран; Ricquebourg, Yann; Занибби, Ричард; Эйденбергер, Хорст (2018). Обнаружение рукописных музыкальных объектов: открытые проблемы и исходные результаты (PDF). 13-й Международный семинар по системам анализа документов. С. 163–168. Дои:10.1109 / DAS.2018.51.
  21. ^ Паша, Александр; Кальво-Сарагоса, Хорхе; Гайч, Ян мл. (2019). Построение обучающего графа нотации для полнофункционального оптического распознавания музыки. 20-я конференция Международного общества по поиску информации о музыке (в печати).
  22. ^ ван дер Вел, Eelco; Ульрих, Карен (2017). Оптическое распознавание музыки с помощью сверточных последовательностей моделей (PDF). 18-я конференция Международного общества по поиску информации о музыке. Сучжоу, Китай.
  23. ^ Кальво-Сарагоса, Хорхе; Ризо, Дэвид (2018). «Сквозное нейрооптическое музыкальное распознавание монофонических партитур». Прикладные науки. 8 (4): 606. Дои:10.3390 / app8040606.
  24. ^ Баро, Арнау; Риба, По; Кальво-Сарагоса, Хорхе; Форнес, Алисия (2017). Оптическое распознавание музыки рекуррентными нейронными сетями. 14-я Международная конференция по анализу и распознаванию документов. С. 25–26. Дои:10.1109 / ICDAR.2017.260.
  25. ^ Баро, Арнау; Риба, По; Кальво-Сарагоса, Хорхе; Форнес, Алисия (2019). «От оптического распознавания музыки до распознавания рукописной музыки: базовый уровень». Письма с распознаванием образов. 123: 1–8. Дои:10.1016 / j.patrec.2019.02.029. HDL:10045/89708.
  26. ^ Форнес, Алисия; Дутта, Анджан; Гордо, Альберт; Льядос, Хосеп (2013). «Конкурс музыкального сопровождения 2012 года: увольнение сотрудников и идентификация писателей». Распознавание графики. Новые тенденции и вызовы. Конспект лекций по информатике. Springer. 7423: 173–186. Дои:10.1007/978-3-642-36824-0_17. ISBN  978-3-642-36823-3.
  27. ^ «Сайт проекта SIMSSA». Университет Макгилла. Получено 14 июля, 2019.
  28. ^ «Сайт проекта Liber Usualis». Университет Макгилла. Получено 14 июля, 2019.
  29. ^ «Сайт проекта Cantus Ultimus». Университет Макгилла. Получено 14 июля, 2019.
  30. ^ «Сайт проекта TROMPA». Консорциум Тромпа. Получено 14 июля, 2019.
  31. ^ "Проект наборов данных OMR (репозиторий Github)". Паша, Александр. Получено 14 июля, 2019.
  32. ^ Форнес, Алисия; Дутта, Анджан; Гордо, Альберт; Льядос, Хосеп (2012). «CVC-MUSCIMA: Достоверная информация о рукописных изображениях партитуры для идентификации автора и удаления сотрудников». Международный журнал анализа и распознавания документов. 15 (3): 243–251. Дои:10.1007 / s10032-011-0168-2.
  33. ^ Hajič, Jan jr .; Печина, Павел (2017). Набор данных MUSCIMA ++ для рукописного оптического распознавания музыки. 14-я Международная конференция по анализу и распознаванию документов. Киото, Япония. С. 39–46. Дои:10.1109 / ICDAR.2017.16.
  34. ^ Туггенер, Лукас; Елези, Исмаил; Шмидхубер, Юрген; Пелильо, Марчелло; Штадельманн, Тило (2018). DeepScores - набор данных для сегментации, обнаружения и классификации крошечных объектов. 24-я Международная конференция по распознаванию образов. Пекин, Китай. Дои:10.21256 / zhaw-4255.
  35. ^ Кальво-Сарагоса, Хорхе; Ризо, Дэвид (2018). Camera-PrIMuS: нейронное сквозное оптическое распознавание музыки на реалистичных монофонических партитурах (PDF). 19-я Международная конференция по поиску информации о музыке. Париж, Франция. С. 248–255.
  36. ^ Кальво-Сарагоса, Хорхе; Ончина, Хосе (2014). Распознавание нотной записи на основе пера: набор данных HOMUS. 22-я Международная конференция по распознаванию образов. С. 3038–3043. Дои:10.1109 / ICPR.2014.524.
  37. ^ Парада-Кабалейро, Эмилия; Батлинер, Антон; Бэрд, Алиса; Шуллер, Бьорн (2017). Набор данных SEILS: символически закодированные партитуры в современной и ранней нотации для компьютерного музыковедения (PDF). 18-я международная конференция по поиску информации о музыке. Сучжоу, Китай. С. 575–581.
  38. ^ Паша, Александр; Эйденбергер, Хорст (2017). На пути к универсальному классификатору музыкальных символов. 14-я Международная конференция по анализу и распознаванию документов. Киото, Япония. С. 35–36. Дои:10.1109 / ICDAR.2017.265.
  39. ^ Aruspix
  40. ^ Audiveris
  41. ^ КАНТОР
  42. ^ Гамера
  43. ^ Куаснон, Бертран (2001). DMOS: универсальный метод распознавания документов, приложение к автоматическому генератору нот, математических формул и систем распознавания структур таблиц. Шестая международная конференция по анализу и распознаванию документов. С. 215–220. Дои:10.1109 / ICDAR.2001.953786.
  44. ^ OpenOMR
  45. ^ Родан
  46. ^ Информация о точности капелла-сканирования
  47. ^ а б PhotoScore Ultimate 7
  48. ^ PlayScore Pro
  49. ^ iSeeNotes
  50. ^ NotateMe сейчас
  51. ^ MusicPal
  52. ^ Сканер нот
  53. ^ PlayScore 2
  54. ^ Сканер нот - Музыка OCR
  55. ^ Komp Create
  56. ^ "Noten scannen mit capella-scan - capella-software AG". www.capella-software.com. Получено 2019-11-24.
  57. ^ Сканирующий свет FORTE В архиве 2013-09-22 в Wayback Machine
  58. ^ Оценка сканирования
  59. ^ MIDI-соединения SCAN 2.0 В архиве 2013-12-20 на Wayback Machine
  60. ^ Версия для сканирования Music Publisher В архиве 2013-04-13 в Wayback Machine
  61. ^ Примечание Сканирование
  62. ^ OMeR
  63. ^ PDFtoMusic
  64. ^ PlayScore
  65. ^ СкорСкан
  66. ^ Острый глаз
  67. ^ ВивальдиСкан В архиве 2005-12-24 на Wayback Machine
  68. ^ SmartScore В архиве 2012-04-17 в Wayback Machine
  69. ^ "Сканер нот | Программа для сканирования нот SCANSCORE". SCANSCORE. Получено 2019-11-24.
  70. ^ «ФОРТЕ 11 Премиум». Обозначение Форте. Получено 2019-12-19.

внешние ссылки

СМИ, связанные с Оптическое распознавание музыки в Wikimedia Commons