NIST (метрическая система) - NIST (metric)

NIST это метод для оценка качества текста, который был переведен с использованием машинный перевод. Его название происходит от США. Национальный институт стандартов и технологий.

Он основан на BLEU метрическая, но с некоторыми переделками. Где BLEU просто вычисляет н-грамм точности добавляя равный вес каждому из них, NIST также вычисляет, насколько информативен конкретный н-грамм является. То есть, когда правильный н-грамм , чем реже встречается n-грамм, тем больший вес он получает.^[1]

Например, если биграмма "на" правильно сопоставлена, она получит меньший вес, чем правильное сопоставление биграмм "интересные вычисления", так как это менее вероятно.

NIST также отличается от BLEU при расчете штрафа за краткость, поскольку небольшие вариации длины перевода не так сильно влияют на общую оценку.

Смотрите также

• BLEU
• F-мера
• МЕТЕОР
• Разделение имен существительных
• ROUGE (метрическая система)
• Коэффициент ошибок в словах (WER)

Рекомендации

1. «Автоматическая оценка качества машинного перевода с использованием статистики совпадения N-граммов» (PDF). Получено 2010-04-17.

Официальные результаты оценки машинного перевода NIST 2005