Средний взаимный ранг - Mean reciprocal rank

В средний взаимный ранг это статистика мера для оценки любого процесса, который создает список возможных ответов на выборку запросов, упорядоченных по вероятности правильности. Обратный ранг ответа на запрос - это мультипликативный обратный ранга первого правильного ответа: 1 за первое место,¹⁄₂ за второе место,¹⁄₃ за третье место и так далее. Средний взаимный ранг - это среднее значение взаимных рангов результатов для выборки запросов Q:^[1][2]

${\displaystyle {\text{MRR}}={\frac {1}{|Q|}}\sum _{i=1}^{|Q|}{\frac {1}{{\text{rank}}_{i}}}.\!}$

куда ${\displaystyle {\text{rank}}_{i}}$ относится к ранговому положению первый соответствующий документ для я-й запрос.

Обратное значение среднего обратного ранга соответствует гармоническое среднее рангов.

Пример

Например, предположим, что у нас есть следующие три примера запроса для системы, которая пытается перевести английские слова во множественное число. В каждом случае система делает три предположения, первая из которых, по ее мнению, наиболее верна:

Запрос	Предлагаемые результаты	Правильный ответ	Классифицировать	Взаимный ранг
Кот	котенок, кати, кошки	кошки	3	1/3
тори	тории тори, торы	тори	2	1/2
вирус	вирусы, virii, viri	вирусы	1	1

Учитывая эти три образца, мы могли бы вычислить средний обратный ранг как (1/3 + 1/2 + 1) / 3 = 11/18 или около 0,61.

Если ни один из предложенных результатов не верен, обратный ранг равен 0.^[1] Обратите внимание, что учитывается только ранг первого релевантного ответа, возможные дальнейшие релевантные ответы игнорируются. Если пользователей также интересуют другие соответствующие элементы, средняя средняя точность - потенциальная альтернативная метрика.

Смотрите также

• Поиск информации
• Ответ на вопрос

Рекомендации

1. Э. М. Вурхиз (1999). "Материалы 8-й конференции по поиску текстов" (PDF). Отчет TREC-8 с ответами на вопросы. С. 77–82.
2. Д. Р. Радев; Х. Ци; Х. Ву; В. Фан (2002). "Оценка веб-систем ответа на вопросы" (PDF). Труды LREC.