Пример штейна - Steins example - Wikipedia

Пример Штейна (или же явление или же парадокс), в теория принятия решений и теория оценки, это явление, когда при одновременной оценке трех или более параметров существуют комбинированные оценщики в среднем более точный (т.е. среднеквадратичная ошибка ), чем любой метод, обрабатывающий параметры отдельно. Он назван в честь Чарльз Штайн из Стэндфордский Университет, открывший это явление в 1955 году.^[1]

Интуитивное объяснение это оптимизация для среднеквадратичной ошибки комбинированный Оценщик - это не то же самое, что оптимизация ошибок отдельных оценщиков отдельных параметров. С практической точки зрения, если объединенная ошибка действительно представляет интерес, то следует использовать комбинированную оценку, даже если лежащие в основе параметры независимы. Если вместо этого кто-то заинтересован в оценке отдельного параметра, то использование комбинированной оценки не помогает, а на самом деле хуже.

Официальное заявление

Следующее, возможно, является самой простой формой парадокса, частным случаем, когда количество наблюдений равно количеству параметров, которые необходимо оценить. Позволять θ быть вектор, состоящий из п ≥ 3 неизвестных параметра. Чтобы оценить эти параметры, одно измерение Икс_я выполняется для каждого параметра θ_я, в результате чего получается вектор Икс длинып. Предположим, что измерения известны как независимый, Гауссовский случайные переменные, со средним θ и дисперсия 1, т. е.

{ displaystyle { mathbf {X}} sim N ({ boldsymbol { theta}}, 1).}

Таким образом, каждый параметр оценивается с использованием одного измерения с зашумлением, и каждое измерение одинаково неточно.

В этих условиях интуитивно понятно и обычно использовать каждое измерение как оценку соответствующего параметра. Это так называемое «обычное» решающее правило можно записать как

{ displaystyle { hat { boldsymbol { theta}}} = { mathbf {X}}.}

Качество такого оценщика измеряется его функция риска. Часто используемой функцией риска является среднеквадратичная ошибка, определяется как

{ displaystyle operatorname {E} left [ left | { boldsymbol { theta}} - { hat { boldsymbol { theta}}} right | ^ {2} right].}

Удивительно, но оказалось, что предложенная выше «обычная» оценка оказывается неоптимальной с точки зрения среднеквадратичной ошибки, когда п ≥ 3. Другими словами, в обсуждаемой здесь ситуации существуют альтернативные оценки, которые всегда достичь более низкого иметь в виду квадрат ошибки, независимо от значения ${ displaystyle { boldsymbol { theta}}}$ является.

Для данного θ очевидно, что можно было бы определить идеальную "оценку", которая всегда θ, но эта оценка была бы плохой для других значений θ. Оценки парадокса Стейна для данного θ, лучше чем Икс для некоторых значений Икс но обязательно хуже для других (за исключением, возможно, одного конкретного θ вектор, для которого новая оценка всегда лучше, чем Икс). Они лучше только в среднем.

Точнее, оценщик ${ displaystyle { hat { boldsymbol { theta}}} _ {1}}$ говорят доминировать другой оценщик ${ displaystyle { hat { boldsymbol { theta}}} _ {2}}$ если для всех значений ${ displaystyle { boldsymbol { theta}}}$ , риск ${ displaystyle { hat { boldsymbol { theta}}} _ {1}}$ меньше или равен риску ${ displaystyle { hat { boldsymbol { theta}}} _ {2}}$ , и если неравенство строгий для некоторых ${ displaystyle { boldsymbol { theta}}}$ . Оценщик называется допустимый если никакой другой оценщик не доминирует над ним, иначе это недопустимый. Таким образом, пример Стейна можно просто сформулировать следующим образом: Обычное решающее правило для оценки среднего многомерного гауссовского распределения недопустимо при среднеквадратическом риске ошибки.

Многие простые и практичные оценщики обеспечивают лучшую производительность, чем обычные оценщики. Самый известный пример - это Оценка Джеймса – Стейна, который работает, начиная с Икс и двигаясь к определенной точке (например, исходной точке) на величину, обратно пропорциональную расстоянию Икс с этого момента.

Набросок доказательства этого результата см. Доказательство примера Штейна. Альтернативное доказательство принадлежит Ларри Брауну: он доказал, что обычная оценка для п-мерный многомерный вектор нормального среднего допустим, если и только если п-размерный Броуновское движение повторяется.^[2] Поскольку броуновское движение не повторяется при п ≥ 3 обычная оценка недопустима для п ≥ 3.

Подразумеваемое

Пример Штейна удивителен, поскольку «обычное» правило принятия решений интуитивно понятно и широко используется. Фактически, множество методов построения оценщика, включая оценка максимального правдоподобия, лучшая линейная несмещенная оценка, наименьших квадратов оценка и оптимальная эквивариантная оценка, все в результате в "обыкновенной" оценщике. Тем не менее, как обсуждалось выше, эта оценка неоптимальна.

Чтобы продемонстрировать неинтуитивный характер примера Штейна, рассмотрим следующий пример из реальной жизни. Предположим, мы должны оценить три не связанных между собой параметра, таких как урожай пшеницы в США за 1993 год, количество зрителей на теннисном турнире Уимблдон в 2001 году и вес случайно выбранного шоколадного батончика из супермаркета. Предположим, у нас есть независимые гауссовские измерения каждой из этих величин. Пример Штейна теперь говорит нам, что мы можем получить лучшую оценку (в среднем) для вектора трех параметров, одновременно используя три несвязанных измерения.

На первый взгляд кажется, что мы каким-то образом можем лучше оценить урожайность пшеницы в США, измерив некоторые другие не связанные статистические данные, такие как количество зрителей на Уимблдоне и вес шоколадного батончика. Это, конечно, абсурд; мы не получили более точной оценки урожайности пшеницы в США сами по себе, но мы создали оценку для вектора средних значений всех трех случайных величин, которая имеет уменьшенную общий риск. Это происходит потому, что стоимость плохой оценки в одном компоненте вектора компенсируется более точной оценкой в другом компоненте. Кроме того, конкретный набор из трех оценочных средних значений, полученных с помощью нового средства оценки, не обязательно будет лучше, чем обычный набор (измеренные значения). Только в среднем новый оценщик лучше.

Интуитивное объяснение

Для любого конкретного значения θ новая оценка улучшит как минимум одну из индивидуальных среднеквадратических ошибок ${ displaystyle operatorname {E} left [ left ({ theta _ {i}} - {{ hat { theta}} _ {i}} right) ^ {2} right].}$ Это несложно - например, если ${ displaystyle theta _ {1}}$ находится между -1 и 1 и σ = 1, то оценка, которая перемещает ${ displaystyle X_ {1}}$ к 0 на 0,5 (или устанавливает его в ноль, если его абсолютное значение было меньше 0,5) будет иметь более низкую среднеквадратичную ошибку, чем ${ displaystyle X_ {1}}$ сам. Но есть и другие значения ${ displaystyle theta _ {1}}$ для которого эта оценка хуже, чем ${ displaystyle X_ {1}}$ сам. Уловка оценки Штейна и других, которые приводят к парадоксу Штейна, заключается в том, что они регулируют сдвиг таким образом, чтобы всегда (для любого θ вектор) хотя бы один ${ displaystyle X_ {i}}$ чья среднеквадратичная ошибка улучшена, и ее улучшение более чем компенсирует любое ухудшение среднеквадратичной ошибки, которое может произойти для другого ${ Displaystyle { шляпа { theta}} _ {я}}$ . Беда в том, что, не зная θ, вы не знаете, какой из п среднеквадратичные ошибки улучшены, поэтому вы не можете использовать оценщик Штейна только для этих параметров.

Пример вышеуказанной настройки встречается в оценка канала в телекоммуникациях, например, потому что разные факторы влияют на общую производительность канала.

Смотрите также

Оценка Джеймса – Стейна

Примечания

^ Эфрон и Моррис 1977
^ Браун, Л. Д. (1971). «Допустимые оценки, рекуррентные диффузии и неразрешимые краевые задачи». Анналы математической статистики. 42 (3): 855–903. Дои:10.1214 / aoms / 1177693318. ISSN 0003-4851.