OpenSMILE - OpenSMILE

openSMILE
Разработчики)audEERING GmbH
изначальный выпускСентябрь 2010 г.; 10 лет назад (2010-09)
Стабильный выпуск
3.0[1] / 20 октября 2020 г.; 45 дней назад (2020-10-20)
Написано вC ++
ПлатформаLinux, macOS, Windows, Android, iOS
ТипМашинное обучение
ЛицензияИсточник доступен, проприетарный
Интернет сайтaudeering.com

openSMILE[2] является источник доступен программное обеспечение для автоматического извлечения признаков из звуковые сигналы и для классификации речевых и музыкальных сигналов. «УЛЫБКА» означает «Интерпретация речи и музыки с помощью извлечения большого пространства». Программное обеспечение в основном применяется в области автоматического распознавание эмоций и широко используется в аффективные вычисления исследовательское сообщество. Проект openSMILE существует с 2008 года и поддерживается немецкой компанией audEERING GmbH с 2013 года. OpenSMILE предоставляется бесплатно для исследовательских целей и личного использования на условиях лицензии с исходным кодом. Для коммерческого использования инструмента компания audEERING предлагает индивидуальные варианты лицензий.

Области применения

openSMILE используется для академических исследований, а также для коммерческих приложений для автоматического анализа речи и музыкальных сигналов в режиме реального времени. В отличие от автоматическое распознавание речи который извлекает речевой контент из речевого сигнала, openSMILE способен распознавать характеристики данного речевого или музыкального сегмента. Примеры таких характеристик, закодированных в человеческой речи: эмоция[3], возраст, пол и личность, а также состояния говорящего, например депрессия, интоксикация, или голосовые патологические расстройства. Программное обеспечение также включает технологию классификации музыки для автоматического определения настроения музыки и распознавания хор сегменты, ключ, аккорды, темп, метр, танцевальный стиль и жанр.

Инструментарий openSMILE служит эталоном в различных исследовательских соревнованиях, таких как Interspeech ComParE.[4], АВЭК[5], MediaEval[6], и EmotiW[7].

История

Проект openSMILE был начат в 2008 году Флорианом Эйбеном, Мартином Вёльмером и Бьёрн Шуллер на Технический университет Мюнхена в пределах Европейский Союз исследовательский проект SEMAINE. Целью проекта SEMAINE было создание виртуального агента с эмоциональным и социальный интеллект. В этой системе openSMILE применялся для анализа речи и эмоций в реальном времени. Финальный выпуск программного обеспечения SEMAINE основан на openSMILE версии 1.0.1.

В 2009 году был опубликован инструментарий распознавания эмоций (openEAR) на основе openSMILE. «EAR» означает «распознавание эмоций и аффектов».

В 2010 году была опубликована версия 1.0.1 openSMILE, которая была представлена ​​и награждена на ACM Multimedia Проблема программного обеспечения с открытым исходным кодом.

В период с 2011 по 2013 год технология openSMILE была расширена и улучшена Флорианом Эйбеном и Феликсом Венингером в контексте их докторской диссертации в Технический университет Мюнхена. Программное обеспечение также применялось в проекте ASC-Inclusion, который финансировался Европейский Союз. Для этого проекта программное обеспечение было расширено Эриком Марчи, чтобы научить эмоциональному выражению аутичный дети, основанные на автоматическом распознавании и визуализации эмоций.

В 2013 году компания AudEERING приобрела права на кодовую базу у Технический университет Мюнхена а версия 2.0 была опубликована под лицензией на исследования с доступным исходным кодом.

До 2016 года openSMILE загружался более 50 000 раз по всему миру и зарекомендовал себя как стандартный набор инструментов для распознавания эмоций.

Награды

openSMILE был награжден в 2010 году в рамках ACM Multimedia Конкурс открытого исходного кода. Программный инструмент применяется в многочисленных научных публикациях по автоматическому распознаванию эмоций. openSMILE[8] и его расширение openEAR[9] на сегодняшний день цитируются более чем в 1000 научных публикациях.

использованная литература

  1. ^ "Выпуск openSMILE 3.0". Получено 28 октября 2020.
  2. ^ Ф. Эйбен, М. Вёльмер, Б. Шуллер: «openSMILE - Мюнхенский универсальный и быстрый инструмент для извлечения аудио с открытым исходным кодом «, In Proc. ACM Multimedia (MM), ACM, Флоренция, Италия, ACM, стр. 1459-1462, октябрь 2010 г.
  3. ^ Б. Шуллер, Б. Власенко, Ф. Эйбен, М. Вёльмер, А. Штулзац, А. Вендемут, Г. Риголль, "Кросс-корпусное акустическое распознавание эмоций: варианты и стратегии (Расширенная аннотация), "в Proc. ACII 2015, Сиань, Китай, приглашен на специальную сессию по наиболее влиятельным статьям в транзакциях IEEE об эффективных вычислениях.
  4. ^ Б. Шуллер, С. Стейдл, А. Батлинер, Дж. Хиршберг, Дж. К. Бургун, А. Элкинс, Ю. Чжан, Э. Коутиньо: "Вызов компьютерного паралингвистики INTERSPEECH 2016: обман и искренность В архиве 2017-06-09 в Wayback Machine ", Материалы INTERSPEECH 2016, ISCA, Сан-Франциско, США, 2016.
  5. ^ Ф. Рингеваль, Б. Шуллер, М. Валстар, Р. Коуи, М. Пантик, «AVEC 2015 - 5-й международный конкурс аудио / визуальных эмоций и семинар, ”В материалах 23-й Международной конференции ACM по мультимедиа, MM 2015 (Брисбен, Австралия), ACM, октябрь 2015 г.
  6. ^ М. Эскевич, Р. Али, Д. Ракка, Р. Ордельман, С. Чен, Дж. Дж. Джонс "Задача поиска и гиперссылок на MediaEval 2014 ".
  7. ^ Ф. Рингеваль, С. Амирипарян, Ф. Эйбен, К. Шерер, Б. Шуллер, «Распознавание эмоций в естественных условиях: включение активности голоса и губ в мультимодальное слияние на уровне принятия решений, ”В Proceedings of the ICMI 2014 EmotiW - Emotion Recognition In The Wild Challenge and Workshop (EmotiW 2014), сателлит 16-й Международной конференции ACM по мультимодальному взаимодействию (ICMI 2014), (Стамбул, Турция), стр. 473–480, ACM, ноябрь 2014 г.
  8. ^ Эйбен, Флориан; Вёлльмер, Мартин; Шуллер, Бьорн (26 апреля 2018 г.). «Opensmile: мюнхенский универсальный и быстрый инструмент для извлечения аудио с открытым исходным кодом». ACM. С. 1459–1462 - через Google Scholar.
  9. ^ Эйбен, Флориан; Вёлльмер, Мартин; Шуллер, Бьорн (26 апреля 2018 г.). «OpenEAR - знакомство с мюнхенским набором инструментов распознавания эмоций и аффектов с открытым исходным кодом». IEEE. С. 1–6 - через Google Scholar.

Веб ссылки