Оценка программы - Program evaluation

Оценка программы это систематический метод сбора, анализа и использования информации для ответов на вопросы о проектах, политиках и программы,[1] особенно об их эффективности и действенности. Как в государственном, так и в частном секторе заинтересованные стороны часто хотят знать, оказывают ли программы, которые они финансируют, реализуют, голосуют, получают или возражают, ожидаемый эффект. В то время как оценка программы сначала сосредотачивается вокруг этого определения, важные соображения часто включают в себя, сколько программа стоит на участника, как программа может быть улучшена, стоит ли программа стоить, есть ли лучшие альтернативы, если есть непреднамеренный результаты, а также целесообразность и полезность программных целей.[2] Оценщики помогают ответить на эти вопросы, но лучший способ ответить на них - это сделать оценку совместным проектом между оценщиками и заинтересованными сторонами.[3]

Процесс оценки считается относительно недавним явлением. Однако документально подтверждено, что запланированная социальная оценка датируется 2200 годом до нашей эры.[4] Оценка стала особенно актуальной в США в 1960-х годах в период Великое общество социальные программы, связанные с Кеннеди и Джонсон администрации.[5][6] Чрезвычайные суммы были вложены в социальные программы, но влияние этих инвестиций в значительной степени оставалось неизвестным.

Оценка программы может включать как количественный и качественные методы из социальные исследования. Люди, которые проводят оценку программ, происходят из разных слоев общества, например: социология, психология, экономика, социальная работа, и публичная политика. Некоторые аспирантуры также имеют специальные программы обучения для оценки программ.

Проведение оценки

Оценка программы может проводиться в несколько этапов в течение срока действия программы. Каждый из этих этапов поднимает разные вопросы, на которые оценщик должен ответить, и, соответственно, требуются разные подходы к оценке. Росси, Липси и Фриман (2004) предлагают следующие виды оценки, которые могут быть подходящими на этих различных этапах:

  • Оценка потребности в программе
  • Оценка дизайна программы и логики / теории
  • Оценка того, как выполняется программа (т.е. выполняется ли она в соответствии с планом? Максимизируют ли процессы программы возможные результаты?)
  • Оценка результата или воздействия программы (то есть того, чего она фактически достигла)
  • Оценка стоимости и эффективности программы

Оценка потребностей

Оценка потребностей исследует население, на которое рассчитана программа, чтобы увидеть, действительно ли потребность, концептуализированная в программе, существует у населения; действительно ли это проблема; и если да, то как с этим лучше всего поступить. Это включает в себя определение и диагностику реальной проблемы, которую пытается решить программа, кого или что затрагивает проблема, насколько широко распространена проблема и каковы измеримые последствия, которые она вызывает. Например, для жилищной программы, направленной на уменьшение бездомности, оценщик программы может захотеть выяснить, сколько людей бездомны в данном географическом районе и каковы их демографические данные. Росси, Липси и Фриман (2004) предостерегают от вмешательства без должной оценки необходимости в нем, потому что это может привести к потере значительного количества средств, если необходимость не существует или была неправильно понята.

Оценка потребностей включает процессы или методы, используемые оценщиками для описания и диагностики социальных потребностей.[7]Это важно для оценщиков, потому что им необходимо определить, эффективны ли программы, и они не могут этого сделать, пока не выяснят, в чем заключается проблема / потребность. Программы, в которых не проводится оценка потребностей, могут иметь иллюзию, что они устранили проблему / потребность, хотя на самом деле в этом вообще не было необходимости. Оценка потребностей включает исследование и регулярные консультации с заинтересованными сторонами сообщества и людьми, которые получат пользу от проекта, прежде чем программа сможет быть разработана и реализована. Следовательно, это должен быть подход снизу вверх. Таким образом, потенциальные проблемы могут быть реализованы на ранней стадии, поскольку процесс вовлекал бы сообщество в определение потребности и тем самым позволял бы выявить потенциальные препятствия.

Таким образом, важная задача оценщика программ состоит в следующем: Во-первых, дать точное определение проблемы.[7] Оценщикам необходимо сначала определить проблему / потребность. Наиболее эффективно это достигается путем совместного включения всех возможных заинтересованных сторон, т. Е. Сообщества, на которое воздействует потенциальная проблема, агентов / участников, работающих над решением и решением проблемы, спонсоров и т. Д. Включение поддержки на ранних этапах процесса снижает потенциал для ответные действия, недопонимание и неполная информация позже.

Во-вторых, оцените масштаб проблемы.[7]Четко определив, в чем заключается проблема, оценщики должны оценить масштабы проблемы. Им нужно ответить на вопросы «где» и «насколько серьезны». Оценщикам необходимо выяснить, где находится проблема и насколько она велика. Указывать на наличие проблемы намного проще, чем указывать, где она находится и насколько распространена. Росси, Липси и Фриман (2004) привели пример того, что: лицо, опознавшее некоторых подвергшихся насилию детей, может быть достаточным доказательством, чтобы убедить человека в существовании жестокого обращения с детьми. Но для указания того, сколько детей она затрагивает и где она находится в географическом и социальном плане, потребуются знания о детях, подвергшихся жестокому обращению, характеристиках преступников и влиянии проблемы на рассматриваемую политическую власть.

Это может быть сложно, учитывая, что жестокое обращение с детьми не является публичным поведением, а также имея в виду, что оценка уровня частного поведения обычно невозможна из-за таких факторов, как незарегистрированные случаи. В этом случае оценщикам придется использовать данные из нескольких источников и применять разные подходы для оценки показателей заболеваемости. Есть еще два вопроса, на которые нужно ответить:[8]Оценщикам также необходимо ответить на вопросы «как» и «что».[8] Вопрос «как» требует, чтобы оценщики определили, как будет удовлетворена потребность. Выявив потребность и ознакомившись с данными оценщиков сообщества, следует провести анализ эффективности, чтобы определить, действительно ли предложенный план в программе сможет устранить эту потребность. Вопрос «что?» Требует, чтобы оценщики провели анализ задачи, чтобы выяснить, как лучше всего работать. Например, устанавливаются ли стандарты выполнения работы организацией или необходимо учитывать некоторые государственные правила при выполнении задачи.[8]

В-третьих, определите и определите цель вмешательств и точно опишите характер потребностей в услугах этой группы населения.[7]Важно знать, что / кто является целевой группой населения - это могут быть отдельные лица, группы, сообщества и т. Д. Население делится на три единицы: население группы риска, нуждающееся население и востребованное население.[7]

  • Группа риска: люди со значительной вероятностью развития риска, например К группе риска для программ контроля рождаемости относятся женщины детородного возраста.
  • Нуждающееся население: люди с состоянием, которое программа стремится решить; например Население, нуждающееся в программе, направленной на предоставление АРВ-препаратов ВИЧ-инфицированным, - это люди, инфицированные ВИЧ.
  • Спросное население: та часть нуждающегося населения, которая согласна иметь потребность и готова принять участие в том, что предлагает программа, например не все ВИЧ-положительные люди захотят принимать АРВ-препараты.

Возможность указать, что / кто является целевой аудиторией, поможет установить соответствующие границы, чтобы вмешательства могли правильно адресовать целевую группу населения и их можно было применять <[7]

Оценка потребностей состоит из четырех этапов:[9]

  1. Выполните анализ «пробелов»
    Оценщикам необходимо сравнить текущую ситуацию с желаемой или необходимой ситуацией. Различие или разрыв между двумя ситуациями поможет определить потребность, цель и задачи программы.
  2. Определите приоритеты и важность
    На первом этапе, описанном выше, оценщики определили бы ряд вмешательств, которые потенциально могут удовлетворить потребность, например: обучение и развитие, развитие организации и т. д. Теперь они должны быть изучены с точки зрения их значимости для целей и ограничений программы. Это должно быть сделано с учетом следующих факторов: экономическая эффективность (рассмотрите бюджет программы, оцените соотношение затрат и выгод), давление со стороны руководства (ожидает ли высшее руководство решения) и численность населения (вовлечено ли много ключевых людей).
  3. Определите причины проблем с производительностью и / или возможностей
    Когда потребности были расставлены по приоритетам, следующим шагом будет определение конкретных проблемных областей, которые необходимо решить. А также оценить навыки людей, которые будут проводить вмешательства.
  4. Определите возможные решения и возможности роста
    Сравните последствия вмешательства, если оно будет реализовано или нет.

Следовательно, анализ потребностей является очень важным шагом в оценке программ, потому что эффективность программы не может быть оценена, если мы не знаем, в чем проблема была в первую очередь.

Оценка теории программ

Теория программ, также называемая логическая модель, карта знаний,[10] или путь воздействия,[11] - это предположение, неявное в способе разработки программы, о том, как действия программы должны приводить к желаемым результатам. Эта `` логическая модель '' часто не указывается явно людьми, которые запускают программы, она просто предполагается, и поэтому оценщику нужно будет выяснить у сотрудников программы, как именно программа должна достичь своих целей, и оценить, соответствует ли эта логика. правдоподобно. Например, в программе профилактики ВИЧ можно предположить, что информирование людей о передаче ВИЧ / СПИДа, рисках и методах безопасного секса приведет к практике более безопасного секса. Однако исследования в Южной Африке все чаще показывают, что, несмотря на повышение уровня образования и знаний, люди по-прежнему часто не практикуют безопасный секс.[12] Следовательно, логика программы, которая полагается на образование как средство приучения людей к использованию презервативов, может быть ошибочной. Вот почему так важно читать исследования, проведенные в этой области. Разъяснение этой логики также может выявить непредвиденные или непредвиденные последствия программы, как положительные, так и отрицательные. Теория программ требует проверки гипотез для оценки воздействия. Разработка логической модели также может способствовать общему пониманию среди сотрудников программы и заинтересованных сторон относительно того, что программа фактически должна делать и как она должна это делать, чего часто не хватает (см. Анализ путей воздействия с участием ). Конечно, также возможно, что в процессе попытки выявить логическую модель, лежащую в основе программы, оценщики могут обнаружить, что такая модель либо не полностью разработана, либо внутренне противоречива, либо (в худшем случае) по существу не существует. Это решительно ограничивает эффективность оценки, хотя не обязательно сокращает или отменяет программу.[13]

Создание логической модели - прекрасный способ визуализировать важные аспекты программ, особенно при подготовке к оценке. Оценщик должен создать логическую модель с участием многих различных заинтересованных сторон. Логические модели состоят из 5 основных компонентов: ресурсы или входы, действия, выходы, краткосрочные результаты и долгосрочные результаты. [14] Создание логической модели помогает сформулировать проблему, ресурсы и возможности, которые в настоящее время используются для решения проблемы, а также измеримые результаты программы. Рассмотрение различных компонентов программы по отношению к общим краткосрочным и долгосрочным целям позволяет выявить потенциальные несоответствия. Создание реальной логической модели особенно важно, поскольку она помогает прояснить для всех заинтересованных сторон: определение проблемы, всеобъемлющие цели, а также возможности и результаты программы.[14]

Росси, Липси и Фриман (2004) предлагают четыре подхода и процедуры, которые можно использовать для оценки теории программ.[7] Эти подходы обсуждаются ниже.

  • Оценка в отношении социальных потребностей [7]

Это влечет за собой оценку теории программы, соотнося ее с потребностями целевой группы населения, для обслуживания которой предназначена программа. Если теория программы не отвечает потребностям целевой группы, она будет считаться неэффективной, даже если она будет хорошо реализована.[7]

  • Оценка логики и правдоподобия[7]

Эта форма оценки включает просьбу к группе экспертов-рецензентов критически проанализировать логику и правдоподобие предположений и ожиданий, заложенных в структуре программы.[7] Процесс обзора является неструктурированным и открытым для решения определенных вопросов, связанных с разработкой программы. Рутман (1980), Смит (1989) и Уолли (1994) предложили вопросы, перечисленные ниже, чтобы облегчить процесс обзора.[7]

Хорошо ли определены цели и задачи программы?
Возможны ли цели и задачи программы?
Возможен ли процесс изменений, предполагаемый в теории программ?
Хорошо ли определены и достаточны ли процедуры для идентификации членов целевой группы, оказания им услуг и поддержки этих услуг до завершения?
Хорошо ли определены и достаточны ли составные компоненты, мероприятия и функции программы?
Достаточны ли ресурсы, выделяемые на программу и ее различные мероприятия?
  • Оценка путем сравнения с исследованиями и практикой [7]

Эта форма оценки требует получения информации из исследовательской литературы и существующей практики для оценки различных компонентов теории программ. Оценщик может оценить, согласуется ли теория программы с данными исследований и практическим опытом программ с аналогичными концепциями.[7]

  • Оценка посредством предварительного наблюдения [7]

Этот подход включает включение наблюдений из первых рук в процесс оценки, так как он обеспечивает реальную проверку соответствия между теорией программы и самой программой.[7] Наблюдения могут быть сосредоточены на достижимости результатов, обстоятельствах целевой группы и правдоподобности программных мероприятий и вспомогательных ресурсов.[7]

Эти различные формы оценки теории программ могут быть проведены, чтобы убедиться в правильности теории программы.

Райт и Уоллис (2019) описали дополнительный метод оценки теории программ, основанный на теории структура. Этот подход, известный как интегративный анализ высказываний (IPA), основан на исследованиях, в ходе которых было обнаружено, что теории с большей вероятностью будут работать так, как ожидалось, когда они имеют лучшую структуру (помимо значения и данных). IPA включает, во-первых, идентификацию предложений (причинно-следственных связей) и создание визуальной диаграммы этих предложений. Затем исследователь исследует количество концепций и причинно-следственные связи между ними (кружки и стрелки на диаграмме), чтобы измерить широту и глубину понимания, отраженного в структуре теории. Мера для широта количество понятий. Это основано на идее о том, что реальные программы включают в себя множество взаимосвязанных частей, поэтому теория, которая показывает большее количество концепций, показывает большую широту понимания программы. В глубина - это процент концепций, которые являются результатом более чем одной концепции. Это основано на идее, что в реальных программах у вещей есть несколько причин. Следовательно, концепция, которая является результатом более чем одной концепции в теории, показывает лучшее понимание этой концепции; теория с более высоким процентом лучше понятых концепций показывает большую глубину понимания программы.

Оценка реализации

Анализ процесса выходит за рамки теории того, что программа должна делать, и вместо этого оценивает, как программа выполняется. Эта оценка определяет, реализуются ли компоненты, определенные как критические для успеха программы. Оценка определяет, достигаются ли целевые группы населения, получают ли люди предполагаемые услуги, имеет ли персонал соответствующую квалификацию. Оценка процесса - это непрерывный процесс, в котором могут использоваться повторяющиеся меры для оценки того, эффективно ли выполняется программа. Эта проблема особенно важна, потому что многие инновации, особенно в таких областях, как образование и государственная политика, состоят из довольно сложных цепочек действий. Многие из этих элементов зависят от предыдущей правильной реализации других элементов и завершатся ошибкой, если предыдущая реализация не была выполнена правильно. Это было убедительно продемонстрировано Джин В. Гласс и многие другие в 1980-е годы. Поскольку неправильное или неэффективное внедрение приведет к таким же нейтральным или отрицательным результатам, которые были бы получены при правильном внедрении плохой инновации, очень важно, чтобы оценочные исследования оценивали сам процесс внедрения.[15] В противном случае хорошая инновационная идея может быть ошибочно охарактеризована как неэффективная, хотя на самом деле она просто никогда не была реализована так, как задумано.

Оценка воздействия (эффективности)

Оценка воздействия определяет причинные последствия программы. Это включает в себя попытку измерить, достигла ли программа намеченных результатов, то есть результатов программы.

Результаты программы

Результат - это состояние целевой группы населения или социальные условия, которые, как ожидается, будут изменены в программе.[7] Результаты программы - это наблюдаемые характеристики целевой группы населения или социальных условий, а не программы. Таким образом, концепция результата не обязательно означает, что цели программы действительно изменились или что программа заставила их измениться каким-либо образом.[7]

Есть два типа результатов, а именно уровень результата и изменение результата, также связанных с эффектом программы.[7]

  • Уровень результата относится к статусу результата в определенный момент времени.
  • Изменение результата относится к разнице между уровнями результатов в разные моменты времени.
  • Эффект программы относится к той части изменения результата, которая может быть отнесена исключительно к программе, а не к влиянию какого-либо другого фактора.

Измерение результатов программы

Измерение результатов - это представление обстоятельств, определенных как результат, с помощью наблюдаемых показателей, которые систематически меняются в зависимости от изменений или различий в этих обстоятельствах.[7] Измерение результатов - это систематический способ оценки степени, в которой программа достигла намеченных результатов.[16] Согласно Mouton (2009), измерение воздействия программы означает демонстрацию или оценку накопленного дифференцированного непосредственного и возникающего эффекта, некоторые из которых могут быть непреднамеренными и, следовательно, непредвиденными.[17]

Оценка результатов помогает понять, эффективна программа или нет. Это также поможет вам прояснить ваше понимание вашей программы. Но самая важная причина для этого - понять, как ваша работа влияет на людей, которым вы служите.[17] С помощью собранной вами информации вы можете определить, какие действия следует продолжать и развивать, а какие необходимо изменить, чтобы повысить эффективность программы.

Это может включать использование сложных статистических методов для измерения эффекта программы и выявления причинно-следственной связи между программой и различными результатами. Более подробную информацию об оценке воздействия можно найти в разделе «Определение причинно-следственной связи».

Оценка эффективности

Наконец, анализ рентабельности или рентабельности позволяет оценить эффективность программы. Оценщики описывают преимущества и стоимость программы для сравнения. Эффективная программа имеет более низкое соотношение затрат и выгод. Есть два типа эффективности: статический и динамический. В то время как статическая эффективность касается достижения целей с наименьшими затратами, динамическая эффективность связана с постоянным улучшением.[18]

Определение причинно-следственной связи

Возможно, самая сложная часть оценки - это определить, вызывает ли сама программа те изменения, которые наблюдаются у населения, на которое она была нацелена. События или процессы вне программы могут быть реальной причиной наблюдаемого результата (или реальным предотвращением ожидаемого результата).

Причинно-следственную связь определить сложно. Одна из основных причин этого: самостоятельный выбор предвзятость.[19] Люди выбирают себя для участия в программе. Например, в программе профессионального обучения одни люди решают участвовать, а другие - нет. Те, кто действительно участвует, могут отличаться от тех, кто не участвует, во многом. Они могут быть более решительными в поисках работы или иметь лучшие ресурсы поддержки. Эти характеристики могут быть причиной наблюдаемого результата увеличения занятости, а не программы профессионального обучения.

Оценка, проводимая со случайным распределением, может сделать более убедительные выводы о причинно-следственной связи. Случайное назначение людей для участия или отказа от участия в программе сокращает или исключает предвзятость самоотбора. Таким образом, группа людей, которые участвуют, вероятно, будет более сопоставима с группой, которая не участвовала.

Однако, поскольку большинство программ не могут использовать случайное присвоение, причинно-следственную связь невозможно определить. Анализ воздействия по-прежнему может предоставить полезную информацию. Например, можно описать результаты программы. Таким образом, оценка может описать, что люди, участвовавшие в программе, с большей вероятностью испытали данный результат, чем люди, которые не участвовали.

Если программа достаточно велика и имеется достаточно данных, можно использовать статистический анализ, чтобы обосновать программу, показав, например, что другие причины маловероятны.

Надежность, достоверность и чувствительность

Важно обеспечить, чтобы инструменты (например, тесты, анкеты и т. Д.), Используемые при оценке программ, были как можно более надежными, действительными и чувствительными. По данным Росси и соавт. (2004, с. 222),[7] «плохо выбранная или плохо продуманная мера может полностью подорвать ценность оценки воздействия, поскольку дает неверные оценки. Оценки воздействия могут считаться достоверными только в том случае, если показатели результатов являются действительными, надежными и должным образом чувствительными ».

Надежность

Надежность измерительного прибора - это «степень, в которой мера дает одинаковые результаты при многократном использовании для измерения одного и того же объекта» (Росси и др., 2004, стр. 218).[7] Чем надежнее показатель, тем выше его статистическая мощность и тем надежнее его результаты. Если измерительный инструмент ненадежен, он может ослабить и скрыть реальные эффекты программы, и программа будет «казаться менее эффективной, чем она есть на самом деле» (Росси и др., 2004, стр. 219).[7] Следовательно, важно, чтобы оценка была как можно более надежной.

Период действия

Достоверность средства измерения - это «степень, в которой он измеряет то, что он предназначен для измерения» (Росси и др., 2004, стр. 219).[7] Эту концепцию может быть трудно точно измерить: при общем использовании в оценках инструмент может считаться действительным, если заинтересованные стороны принимают как действительный (заинтересованные стороны могут включать, например, спонсоров, администраторов программы и т. Д.).

Чувствительность

Основная цель процесса оценки состоит в том, чтобы определить, влияет ли программа на социальную проблему, которую она стремится решить; следовательно, измерительный инструмент должен быть достаточно чувствительным, чтобы распознавать эти потенциальные изменения (Росси и др., 2004).[7] Инструмент измерения может быть нечувствительным, если он содержит элементы, измеряющие результаты, на которые программа не может повлиять, или если инструмент изначально был разработан для приложений к отдельным лицам (например, стандартизированные психологические меры), а не к групповой обстановке (Росси и др. , 2004).[7] Эти факторы могут вызвать «шум», который может скрыть любой эффект, который могла иметь программа.

Только меры, которые в достаточной мере соответствуют критериям надежности, достоверности и чувствительности, могут считаться достоверными оценками. Оценщики обязаны производить достоверные оценки, так как их выводы могут иметь далеко идущие последствия. Дискредитирующая оценка, которая не может показать, что программа достигает своей цели, хотя на самом деле она создает положительные изменения, может привести к незаслуженной потере финансирования программы.[неправильный синтез? ]

Шаги к рамкам оценки программ

Центр по контролю за заболеваниями (CDC) определяет шесть этапов полной оценки программы. Описываются следующие шаги: привлечь заинтересованную сторону, описать программу, сфокусировать план оценки, собрать достоверные доказательства, обосновать выводы, обеспечить использование и обмен извлеченными уроками.[20] Эти шаги могут происходить в рамках цикла, чтобы представить непрерывный процесс оценки.

Оценка коллективного воздействия

Хотя процессы оценки программ, упомянутые здесь, подходят для большинства программ, очень сложные нелинейные инициативы, например, использующие коллективное воздействие (CI) модели требуют динамического подхода к оценке. Коллективное воздействие - это «приверженность группы важных участников из разных секторов общей повестке дня для решения конкретной социальной проблемы»[21] и обычно включает в себя три этапа, каждый с различным рекомендуемым подходом к оценке:

  • Ранняя фаза: Участники CI изучают возможные стратегии и разрабатывают планы действий. Характеризуется неопределенностью.

Рекомендуемый подход к оценке: Оценка развития, чтобы помочь партнерам CI понять контекст инициативы и ее развития:[22] «Оценка развития включает в себя обратную связь в режиме реального времени о том, что появляется в сложных динамических системах, когда новаторы стремятся внести изменения в системы».[23]

  • Средняя фаза: Партнеры CI реализуют согласованные стратегии. Некоторые результаты легче предвидеть.

Рекомендуемый подход к оценке: Формирующая оценка для уточнения и улучшения прогресса, а также непрерывная оценка развития для изучения новых элементов по мере их появления. Формирующая оценка включает «тщательный мониторинг процессов с целью реагирования на новые свойства и любые неожиданные результаты».[24]

  • Поздняя фаза: Действия достигают стабильности и больше не формируются. Опыт сообщает знания о том, какие действия могут быть эффективными.

Рекомендуемый подход к оценке: Итоговая оценка «использует как количественные, так и качественные методы, чтобы лучше понять, чего [проект] достиг, и как и почему это произошло».[25]

Планирование оценки программы

Планирование оценки программы можно разбить на четыре части: фокусировка на оценке, сбор информации, использование информации и управление оценкой.[26] Оценка программы включает в себя размышление над вопросами о цели оценки, какие вопросы необходимо задать и что будет сделано с собранной информацией. Важные вопросы для рассмотрения включают:

  • Что я буду оценивать?
  • Какова цель этой оценки?
  • Кто будет использовать эту оценку? Как они это будут использовать?
  • На какие вопросы пытается ответить эта оценка?
  • Какая информация мне нужна, чтобы ответить на вопросы?
  • Когда нужна оценка? Какие ресурсы мне нужны?
  • Как я буду собирать нужные мне данные?
  • Как будут анализироваться данные?
  • Каков график моей реализации?

Методологические ограничения и проблемы

Скудный подход

«Скудный подход к оценке» разработан, чтобы помочь оценщикам, работающим в условиях ограниченного бюджета, ограниченного доступа или наличия данных и ограниченного времени обработки, проводить эффективные оценки, которые являются методологически строгими (Bamberger, Rugh, Church & Fort, 2004).[27] Этот подход стал ответом на постоянно растущую потребность в более быстрых и экономичных процессах оценки в сложных условиях бюджета, временных ограничений и ограниченной доступности данных. Однако не всегда возможно разработать оценку для достижения самых высоких стандартов. Многие программы не включают процедуру оценки в свой план или бюджет. Следовательно, многие процессы оценки не начинаются до тех пор, пока программа не начнется, что может привести к ограничению времени, бюджета или данных для оценщиков, что, в свою очередь, может повлиять на надежность, достоверность или чувствительность оценки. > Ограниченный подход помогает обеспечить максимальную методологическую строгость при этих ограничениях.

Ограничения бюджета

Часто программы сталкиваются с бюджетными ограничениями, потому что большинство исходных проектов не включают в себя бюджет для проведения оценки (Bamberger et al., 2004). Следовательно, это автоматически приводит к тому, что на оценки выделяются меньшие бюджеты, которых недостаточно для строгой оценки. Из-за бюджетных ограничений может быть трудно эффективно применять наиболее подходящие методологические инструменты. Эти ограничения могут, следовательно, повлиять на время, отведенное для проведения оценки (Bamberger et al., 2004).[27] Бюджетные ограничения могут быть устранены путем упрощения схемы оценки, пересмотра размера выборки, изучения экономических методов сбора данных (таких как использование добровольцев для сбора данных, сокращения опросов или использования фокус-групп и ключевых информаторов) или поиска надежных вторичных данных (Bamberger et al. др., 2004).[27]

Ограничения времени

Наибольшее ограничение по времени, с которым может столкнуться оценщик, - это когда оценщика вызывают для проведения оценки, когда проект уже выполняется, если им дается ограниченное время для проведения оценки по сравнению с продолжительностью исследования, или если они еще не дано достаточно времени для адекватного планирования. Ограничения по времени особенно проблематичны, когда оценщик не знаком с районом или страной, в которой расположена программа (Bamberger et al., 2004).[27] Временные ограничения могут быть устранены с помощью методов, перечисленных в разделе бюджетных ограничений, как указано выше, а также путем тщательного планирования для обеспечения эффективного сбора и анализа данных в ограниченном временном пространстве.

Ограничения данных

Если оценка начата в конце программы, исходных данных о состоянии целевой группы до начала вмешательства может не быть (Bamberger et al., 2004).[27] Другая возможная причина нехватки данных заключается в том, что данные были собраны персоналом программы и содержат систематические ошибки в отчетности или плохие стандарты ведения документации, и поэтому от них мало пользы (Bamberger et al., 2004).[27] Другой источник ограничений данных может возникнуть в том случае, если целевую группу трудно достать для сбора данных - например, от бездомных, наркоманов, рабочих-мигрантов и так далее (Bamberger et al., 2004).[27] Ограничения данных могут быть устранены путем восстановления базовых данных из вторичных данных или с помощью нескольких методов. Множественные методы, такие как сочетание качественных и количественных данных, могут повысить достоверность за счет триангуляции и сэкономить время и деньги. Кроме того, эти ограничения могут быть устранены с помощью тщательное планирование и консультация с участниками программы. За счет четкого определения и понимания потребностей клиентов перед оценкой можно упростить и сократить затраты и время процесса оценки, сохраняя при этом доверие.

В целом ограничения по времени, денежным средствам и данным могут иметь негативные последствия для действительности, надежности и переносимости оценки. Ограниченный подход был создан, чтобы помочь оценщикам исправить указанные выше ограничения путем определения способов сокращения затрат и времени, восстановления исходных данных и обеспечения максимального качества при существующих ограничениях (Bamberger et al., 2004).

Пятиуровневый подход

Пятиуровневый подход к оценке дополнительно развивает стратегии, на которых основан ограниченный подход к оценке.[28] Первоначально он был разработан Джейкобсом (1988) как альтернативный способ оценки программ на уровне сообществ и, как таковой, применялся к программе для детей и семей в штате Массачусетс, США.[29] Пятиуровневый подход предлагается в качестве концептуальной основы для более точного сопоставления оценок с характеристиками самих программ, а также с конкретными ресурсами и ограничениями, присущими каждому контексту оценки.[28] Другими словами, пятиуровневый подход направлен на адаптацию оценки к конкретным потребностям каждого контекста оценки.

Ранние уровни (1-3) генерируют описательную и ориентированную на процесс информацию, в то время как более поздние уровни (4-5) определяют как краткосрочные, так и долгосрочные эффекты программы.[30] Пять уровней организованы следующим образом:

  • Уровень 1: оценка потребностей (иногда называемая предварительным внедрением)[31]
  • Уровень 2: мониторинг и подотчетность
  • Уровень 3: проверка качества и разъяснение программы (иногда называемое пониманием и уточнением)[32]
  • Уровень 4: достижение результатов
  • Уровень 5: установление воздействия

Для каждого уровня определены цель (цели), а также соответствующие задачи, которые позволяют достичь определенной цели уровня.[32] Например, цель первого уровня, оценка потребностей, - документировать потребность в программе в сообществе. Задача этого уровня будет заключаться в оценке потребностей и активов сообщества путем работы со всеми соответствующими заинтересованными сторонами.[32]

Хотя уровни структурированы для последовательного использования, а это означает, что информация, собранная на более ранних уровнях, требуется для задач на более высоких уровнях, это признает гибкий характер оценки.[30] Следовательно, можно переходить с более поздних уровней обратно на предыдущие или даже работать на двух уровнях одновременно.[32] Тем не менее, оценщикам программ важно отметить, что программа должна оцениваться на соответствующем уровне.[31]

Пятиуровневый подход считается полезным для программ поддержки семьи, в которых особое внимание уделяется расширению прав и возможностей сообщества и участников. Это потому, что он поощряет совместный подход с участием всех заинтересованных сторон, и именно через этот процесс размышления достигается расширение прав и возможностей.[29]

Методологические проблемы, связанные с языком и культурой

Цель этого раздела - привлечь внимание к некоторым методологическим проблемам и дилеммам, с которыми могут столкнуться оценщики при проведении оценки программы в развивающейся стране. Во многих развивающихся странах основными спонсорами оценки являются донорские агентства из развитых стран, и этим агентствам требуются регулярные отчеты об оценке, чтобы поддерживать подотчетность и контроль над ресурсами, а также собирать доказательства успеха или неудачи программы.[33] Однако существует множество препятствий и проблем, с которыми сталкиваются оценщики, пытаясь реализовать программу оценки, которая пытается использовать методы и системы, которые не разработаны в контексте, к которому они применяются.[34] Некоторые из проблем включают различия в культуре, взглядах, языке и политическом процессе.[34][35]

Культура определяется Эббуттом (1998, стр. 416) как «совокупность как письменных, так и неписаных ожиданий, ценностей, норм, правил, законов, артефактов, ритуалов и поведения, которые пронизывают общество и влияют на то, как люди ведут себя в обществе».[35] Культура может влиять на многие аспекты процесса оценки, включая сбор данных, реализацию программы оценки, а также анализ и понимание результатов оценки.[35] В частности, инструменты, которые традиционно используются для сбора данных, такие как анкеты и полуструктурированные интервью, должны учитывать различия в культуре, если они изначально были разработаны в ином культурном контексте.[36] Понимание и значение конструкций, которые оценщик пытается измерить, могут не разделяться между оценщиком и выборочной совокупностью, и, следовательно, перенос концепций является важным понятием, так как это повлияет на качество сбора данных, выполняемого оценщиками, как а также анализ и результаты, полученные на основе данных.[36]

Язык также играет важную роль в процессе оценки, поскольку язык тесно связан с культурой.[36] Язык может быть основным препятствием для передачи концепций, к которым оценщик пытается получить доступ, и часто требуется перевод.[35] С переводом возникает множество проблем, включая потерю смысла, а также его преувеличение или усиление смысла переводчиками.[35] Например, термины, которые зависят от контекста, могут не переводиться на другой язык с таким же весом или значением. В частности, инструменты сбора данных должны учитывать значение, поскольку предмет может считаться конфиденциальным в конкретном контексте, может оказаться конфиденциальным в контексте, в котором проводится оценка.[36] Таким образом, оценщики должны принимать во внимание две важные концепции при управлении инструментами сбора данных: лексическая эквивалентность и концептуальная эквивалентность.[36] Лексическая эквивалентность задает вопрос: как можно сформулировать вопрос на двух языках, используя одни и те же слова? Это трудная задача для выполнения, и использование таких методов, как обратный перевод, может помочь оценщику, но не может привести к идеальной передаче смысла.[36] Это приводит к следующему пункту - концептуальной эквивалентности. Однозначный перенос концепций из одной культуры в другую не является обычным явлением.[36] Инструменты сбора данных, которые не прошли адекватное тестирование и пилотирование, могут поэтому давать результаты, которые не являются полезными, поскольку концепции, которые измеряются инструментом, могли иметь другое значение и, таким образом, сделать инструмент ненадежным и недействительным.[36]

Таким образом, можно видеть, что оценщики должны принимать во внимание методологические проблемы, создаваемые различиями в культуре и языке, пытаясь провести оценку программы в развивающейся стране.

Результаты использования

Есть три стандартных варианта использования результатов оценки: убедительное использование, прямое (инструментальное) использование, и концептуальное использование.

Убедительное использование

Убедительное использование - это зачисление результатов оценки в попытке убедить аудиторию либо поддержать повестку дня, либо выступить против нее. Если «убеждающий» не является тем же лицом, которое проводило оценку, эта форма использования не представляет особого интереса для оценщиков, поскольку они часто не могут предвидеть возможные будущие попытки убеждения.[7]

Прямое (инструментальное) использование

Оценщики часто адаптируют свои оценки для получения результатов, которые могут иметь прямое влияние на улучшение структуры или процесса программы. Например, оценка нового образовательного мероприятия может дать результаты, свидетельствующие об отсутствии улучшения оценок учащихся. Это может быть связано с тем, что вмешательство не имеет серьезной теоретической основы, или может быть, что вмешательство проводится не так, как предполагалось изначально. Мы надеемся, что результаты оценки заставят создателей вмешательства вернуться к чертежной доске, чтобы воссоздать основную структуру вмешательства или даже изменить процессы реализации.[7]

Концептуальное использование

Но даже если результаты оценки не имеют прямого влияния на изменение формы программы, они все равно могут быть использованы для информирования людей о проблемах, которые программа пытается решить. Возвращаясь к примеру оценки нового образовательного вмешательства, результаты также можно использовать для информирования преподавателей и учащихся о различных препятствиях, которые могут повлиять на трудности обучения учащихся. Эта новая информация может тогда быть инициирована рядом исследований этих барьеров.[7]

Переменные, влияющие на использование

Есть пять условий, которые влияют на полезность результатов оценки, а именно: актуальность, общение между оценщиками и пользователями результатов, обработка информации пользователями, достоверность результатов, а также уровень вовлеченности или защиты пользователей.[7]

Рекомендации по максимальному использованию

Цитируется непосредственно из Rossi et al. (2004, с. 416) .:[7]

  • Оценщики должны понимать когнитивные стили лиц, принимающих решения.
  • Результаты оценки должны быть своевременными и доступными при необходимости.
  • При оценке должны соблюдаться программные обязательства заинтересованных сторон.
  • Планы использования и распространения должны быть частью плана оценки
  • Оценка должна включать оценку использования

Сравнение внутренних и внешних экспертов по оценке программ

Выбор оценщика, выбранного для оценки программы, может считаться столь же важным, как и сам процесс оценки. Оценщики могут быть внутренними (лица, связанные с выполняемой программой) или внешними (лица, не связанные с какой-либо частью выполнения / реализации программы). (Отдел надзорных служб, 2004 г.). Ниже приводится краткое изложение преимуществ и недостатков внутренних и внешних оценщиков, адаптированное по материалам Отдела надзорных услуг (2004 г.), для более полного списка преимуществ и недостатков внутренних и внешних оценщиков см. (Отдел надзорных услуг, 2004 г.) ).

Внутренние оценщики

Преимущества

  • Может иметь лучшее общее представление о программе и обладать неформальными знаниями о программе
  • Менее опасный, поскольку уже знаком с персоналом
  • Дешевле

Недостатки

  • Может быть менее объективным
  • Может быть больше озабочен другими видами деятельности программы и не уделять оценке всего внимания
  • Может быть недостаточно подготовлен как оценщик.

Внешние оценщики

Преимущества

  • Более объективный процесс, предлагает новые перспективы, различные углы для наблюдения и критики процесса
  • Может иметь возможность уделять больше времени и внимания оценке
  • Может иметь больший опыт и умение оценивать

Недостатки

  • Может быть дороже и потребовать больше времени на контракт, мониторинг, переговоры и т. Д.
  • Может быть незнакомым с персоналом программы и вызывать беспокойство по поводу оценки
  • Может быть незнаком с политикой организации, некоторыми ограничениями, влияющими на программу.

Три парадигмы

Позитивист

Поттер (2006)[37] определяет и описывает три широкие парадигмы оценки программ. Первый и, вероятно, наиболее распространенный - это позитивист подход, при котором оценка может происходить только там, где есть «объективные», наблюдаемые и измеримые аспекты программы, требующие преимущественно количественных доказательств. Позитивистский подход включает такие параметры оценки, как оценка потребностей, оценка теории программ, оценка программного процесса, оценка воздействия и оценка эффективности (Rossi, Lipsey and Freeman, 2004).[38]Подробным примером позитивистского подхода является исследование, проведенное Калифорнийским институтом государственной политики в отчете под названием «Оценка академических программ в местных колледжах Калифорнии», в котором оценщики исследуют измеримые виды деятельности (т.е. данные о зачислении) и проводят количественные оценки, такие как факторный анализ.[39]

Толковательный

Вторая парадигма, обозначенная Поттером (2006), - это парадигма интерпретационных подходов, в которой утверждается, что оценщику важно развивать понимание точки зрения, опыта и ожиданий всех заинтересованных сторон. Это приведет к лучшему пониманию различных значений и потребностей заинтересованных сторон, что имеет решающее значение для того, чтобы кто-то смог сделать суждение о достоинствах или ценности программы. Контакт оценщика с программой часто осуществляется в течение длительного периода времени, и, несмотря на отсутствие стандартизированного метода, обычно используются наблюдение, интервью и фокус-группы. В отчете, подготовленном Всемирным банком, подробно описаны 8 подходов, в которых могут применяться качественные и количественные методы. быть интегрированным и, возможно, дать понимание, которое невозможно получить с помощью одного метода.[40]

Критически-освободительный

Поттер (2006) также определяет критически-освободительные подходы к оценке программ, которые в значительной степени основаны на исследование действий в целях социальных преобразований. Такой подход гораздо более идеологичен и часто включает в себя большую степень социальной активности со стороны оценщика. Такой подход подходит для качественных оценок и оценок с участием общественности. Поттер утверждает, что из-за того, что он уделяет большое внимание структурам власти в обществе и делает упор на участие и расширение прав и возможностей, этот тип оценки может быть особенно полезен в развивающихся странах.

Несмотря на парадигму, которая используется в любой оценке программ, будь то позитивистская, интерпретативная или критически-эмансипативная, важно признать, что оценка имеет место в определенных социально-политических контекстах. Оценка не существует в вакууме, и на все оценки, осознают они это или нет, влияют социально-политические факторы. Важно понимать, что оценки и выводы, которые являются результатом такого процесса оценки, могут быть использованы в пользу или против определенных идеологических, социальных и политических программ (Weiss, 1999).[41] Это особенно верно в эпоху, когда ресурсы ограничены и существует конкуренция между организациями за то, чтобы одни проекты имели приоритет над другими (Louw, 1999).[42]

Оценка полномочий

Основная статья: Оценка полномочий

Оценка расширения прав и возможностей использует концепции, методы и выводы оценки, чтобы способствовать улучшению и самоопределению конкретной программы, нацеленной на конкретную целевую группу населения / участников программы.[43] Оценка расширения прав и возможностей ориентирована на привлечение участников программы к изменению программ, на которые они нацелены. Одним из основных направлений оценки расширения прав и возможностей является вовлечение участников программы в проведение процесса оценки. Затем этот процесс часто сопровождается критическим осмыслением программы. В таких случаях внешний / сторонний оценщик выступает в качестве консультанта / коуча / фасилитатора для участников программы и стремится понять программу с точки зрения участников. После того, как будет получено четкое понимание точки зрения участников, могут быть разработаны соответствующие шаги и стратегии (с ценным вкладом участников) и реализованы для достижения желаемых результатов.

По словам Феттермана (2002)[43] оценка полномочий состоит из трех этапов;

  • Создание миссии
  • Подведение итогов
  • Планирование на будущее

Создание миссии

На первом этапе оценщики просят участников и сотрудников (программы) определить миссию программы. Оценщики могут решить выполнить этот шаг, собрав вместе такие стороны и попросив их разработать и обсудить миссию программы. Логика, лежащая в основе этого подхода, состоит в том, чтобы показать каждой стороне, что могут быть разные взгляды на то, какова в действительности миссия программы.

Подведение итогов

Подведение итогов на втором этапе состоит из двух важных задач. Первая задача связана с составлением участниками программы и ее персоналом списка текущих ключевых мероприятий, которые имеют решающее значение для функционирования программы. Вторая задача связана с рейтингом определенных ключевых видов деятельности, также известных как расстановка приоритетов. Например, каждого члена группы можно попросить оценить каждое ключевое действие по шкале от 1 до 10, где 10 - самое важное, а 1 - наименее важное. Роль оценщика во время выполнения этой задачи состоит в том, чтобы облегчить интерактивное обсуждение между участниками в попытке установить некую базовую линию общего значения и понимания, относящегося к ключевым действиям. Кроме того, соответствующая документация (например, финансовые отчеты и информация об учебной программе) может быть включена в обсуждение при рассмотрении некоторых ключевых мероприятий.

Планирование на будущее

После расстановки приоритетов для основных действий следующим шагом будет планирование на будущее. Здесь оценщик спрашивает участников программы и персонал программы, как они хотели бы улучшить программу по отношению к перечисленным ключевым мероприятиям. Цель состоит в том, чтобы создать нить согласованности, посредством которой созданная миссия (шаг 1) направляет анализ (шаг 2), который формирует основу для планов на будущее (шаг 3). Таким образом, при планировании на будущее конкретные цели согласовываются с соответствующими ключевыми видами деятельности. В дополнение к этому для участников программы и ее персонала также важно определить возможные формы доказательств (измеримые индикаторы), которые можно использовать для отслеживания прогресса в достижении конкретных целей. Цели должны быть связаны с мероприятиями программы, талантами, ресурсами и объемом возможностей - короче говоря, сформулированные цели должны быть реалистичными.

Эти три этапа оценки полномочий создают потенциал для более эффективного выполнения программы и большего соответствия потребностям целевой группы населения. Оценка расширения прав и возможностей как процесс, которому способствует опытный оценщик, снабжает, а также дает участникам возможность, предоставляя им «новый» способ критического мышления и размышления о программах. Кроме того, это дает возможность участникам и персоналу программы осознать свою способность вносить изменения в программу посредством коллективных действий.[44]

Трансформационная парадигма

Преобразующая парадигма является неотъемлемой частью включения социальной справедливости в оценку. Донна Мертенс, ведущий исследователь в этой области, утверждает, что парадигма трансформации «фокусируется в первую очередь на точках зрения маргинализированных групп и исследует системные структуры власти с помощью смешанных методов для обеспечения социальной справедливости и прав человека».[45] Трансформационная парадигма возникла после того, как маргинализированные группы, которые исторически были оттеснены в сторону при оценке, начали сотрудничать с учеными, выступая за социальную справедливость и права человека при оценке. Трансформационная парадигма вводит множество различных парадигм и подходов в процесс оценки, что приводит к тому, что процесс оценки постоянно ставится под сомнение.

Оба Американская ассоциация оценки и Национальная ассоциация социальных работников обращать внимание на этический долг обладать культурная компетентность при проведении оценок. Культурную компетентность в оценке можно в широком смысле определить как системный ответный запрос, который активно осознает, понимает и ценит культурный контекст, в котором проводится оценка; что образует и формулирует эпистемологию оценки; который использует методологию, приемлемую с культурной и контекстной точек зрения; и в котором используются средства интерпретации, созданные заинтересованными сторонами, для получения результатов и дальнейшего использования результатов.[46] Многие руководители здравоохранения и оценки стараются указать, что культурная компетентность не может быть определена с помощью простого контрольного списка, а скорее является атрибутом, который развивается с течением времени. Корень культурной компетентности в оценке - искреннее уважение к изучаемым сообществам и открытость для поиска глубины в понимании различных культурных контекстов, практик и парадигм мышления. Это включает в себя творческий подход и гибкость, позволяющую улавливать различные культурные контексты, а также повышенное понимание различий во власти, существующих в контексте оценки. К важным навыкам относятся: способность строить взаимопонимание через различия, завоевывать доверие членов сообщества, а также саморефлексировать и распознавать собственные предубеждения.[47]

Парадигмы

Парадигмы аксиология, онтология, эпистемология, и методология отражают практику социальной справедливости в оценке. Эти примеры сосредоточены на устранении неравенства и несправедливости в обществе путем поощрения интеграции и равенства в правах человека.

Аксиология (ценности и ценностные суждения)

Аксиологическое предположение трансформирующей парадигмы основывается на четырех основных принципах:[45]

  • Важность культурного уважения
  • Поощрение социальной справедливости
  • Содействие правам человека
  • Устранение неравенства

Онтология (Реальность)

Различия во взглядах на то, что реально, определяется разными ценностями и жизненным опытом. В свою очередь, эти ценности и жизненный опыт часто связаны с различиями в доступе к привилегиям, основанным на таких характеристиках, как инвалидность, пол, сексуальная идентичность, религия, раса / этническая принадлежность, национальное происхождение, политическая партия, уровень дохода, возраст, язык и иммиграция. или статус беженца.[45]

Эпистемология (Знание)

Знание конструируется в контексте власти и привилегии с последствиями, связанными с тем, какой версии знания предоставляется привилегия.[45] «Знание социально и исторически находится в сложном культурном контексте».[48]

Методология (систематический запрос)

Методологические решения нацелены на определение подхода, который будет наилучшим образом способствовать использованию процесса и результатов для повышения социальной справедливости; определить системные силы, поддерживающие статус-кво, и те, которые позволят изменениям произойти; и признать необходимость критических и рефлексивных отношений между оценщиком и заинтересованными сторонами.[45]

Линзы

Действуя через социальную справедливость, совершенно необходимо иметь возможность смотреть на мир через призму тех, кто переживает несправедливость. Теория критических рас, феминистская теория и теория квир / ЛГБТК - это рамки того, как мы должны думать об обеспечении справедливости для маргинализированных групп. Эти линзы создают возможность сделать каждую теорию приоритетной в решении проблемы неравенства.

Теория критических рас

Теория критических рас (CRT) - это расширение критической теории, которая сосредоточена на неравенстве, основанном на расе и этнической принадлежности. Даниэль Солорзано описывает роль CRT как основу для исследования и выявления тех системных аспектов общества, которые позволяют сохранять дискриминационный и репрессивный статус-кво расизма.[49]

Феминистская теория

Суть феминистские теории заключается в том, чтобы «разоблачить индивидуальные и институциональные практики, которые закрывали доступ к женщинам и другим угнетенным группам и игнорировали или обесценивали женщин» [50]

Квир / ЛГБТ-теория

Квир-теоретики / ЛГБТК ставят под сомнение гетеросексистское предубеждение, которое пронизывает общество с точки зрения власти и дискриминации меньшинств сексуальной ориентации. Из-за деликатности вопросов, связанных со статусом ЛГБТ, оценщики должны знать о безопасных способах защиты личности таких лиц и обеспечивать выявление дискриминационных практик, чтобы построить более справедливое общество.[45]

Правительственные требования

Рамки для оценки программ в области общественного здравоохранения
Рамки для оценки программ в области общественного здравоохранения

Учитывая дефицит федерального бюджета, администрация Обамы перешла к применению «научно обоснованного подхода» к государственным расходам, включая строгие методы оценки программ. В президентском бюджете на 2011 год предусмотрено финансирование 19 оценок государственных программ для таких агентств, как Министерство образования и Агентство США по международному развитию (USAID). Межучрежденческая группа обеспечивает достижение цели повышения прозрачности и подотчетности за счет создания эффективных сетей оценки и использования передового опыта.[51]Шестиступенчатая структура для проведения оценки программ общественного здравоохранения, опубликованная Центры по контролю и профилактике заболеваний (CDC) изначально уделяли особое внимание программной оценке государственных программ в США. Фреймворк выглядит следующим образом:

  1. Участвовать заинтересованные стороны
  2. Опишите программу.
  3. Сосредоточьтесь на оценке.
  4. Соберите достоверные доказательства.
  5. Обоснуйте выводы.
  6. Обеспечьте использование и поделитесь извлеченными уроками.

В январе 2019 г. Закон об основах разработки политики на основе доказательств ввел новые требования для федеральных агентств, такие как назначение главного специалиста по оценке. Руководство опубликовано Управление управления и бюджета по реализации этого закона требует от агентств разработать многолетнюю программу обучения, в которой есть конкретные вопросы, на которые агентство хочет ответить для улучшения стратегических и операционных результатов.[52] Агентства также должны составлять годовой план оценки, в котором резюмируются конкретные оценки, которые агентство планирует провести для решения вопросов в программе обучения.

Виды оценки

Есть много разных подходов к оценке программ. Каждый служит своей цели.

  • Оценка, ориентированная на использование
  • Модель оценки CIPP
  • Формирующая оценка
  • Суммативная оценка
  • Оценка развития
  • Оценка, ориентированная на принципы
  • Теоретическая оценка
  • Оценка, ориентированная на реалистичность

Модель оценки CIPP

Основная статья: Модель оценки CIPP

История модели CIPP

Модель оценки CIPP была разработана Дэниелом Стаффлбимом и его коллегами в 1960-х годах. CIPP является аббревиатурой от Context, Input, Process и Product. CIPP - это модель оценки, которая требует оценки контекст, ввод, обработать и товар в оценке ценности программы. CIPP - это подход к оценке, ориентированный на принятие решений, в котором особое внимание уделяется систематическому предоставлению информации для управление программой и эксплуатация.[53]

Модель CIPP

Структура CIPP была разработана как средство связи оценки с программой. принятие решений. Он направлен на обеспечение аналитической и рациональной основы для принятия решений по программе, основанной на цикле планирования, структурирования, реализации, анализа и пересмотра решений, каждое из которых рассматривается через различные аспекты оценки - контекст, ввод, оценка процесса и продукта.[53]

Модель CIPP - это попытка сделать оценку, имеющую прямое отношение к потребностям лиц, принимающих решения, на этапах и мероприятиях программы.[53] Контекст Stufflebeam, ввод, процесс и товар (CIPP) оценочная модель рекомендуется в качестве основы для систематического руководства концепцией, дизайном, реализация, а также оценка проектов обучения обслуживанию, а также предоставление обратной связи и суждение об эффективности проекта для постоянного улучшения.[53]

Четыре аспекта оценки CIPP

Эти аспекты - контекст, входные данные, процесс и продукт. Эти четыре аспекта оценки CIPP помогают лицу, принимающему решение, ответить на четыре основных вопроса:

  • Что нам делать?

Это включает сбор и анализ данных оценки потребностей для определения целей, приоритетов и задач. Например, контекстная оценка программы повышения грамотности может включать в себя анализ существующих целей программы повышения грамотности, результатов тестов на достижение грамотности, проблем персонала (общих и частных), политики и планов в области грамотности, а также проблем сообщества, представлений или установок и потребностей.[53]

  • Как нам это сделать?

Это включает шаги и ресурсы, необходимые для достижения новых целей и задач, и может включать определение успешных внешних программ и материалов, а также сбор информации.[53]

  • Делаем ли мы это по плану?

Это дает лицам, принимающим решения, информацию о том, насколько хорошо выполняется программа. Постоянно отслеживая программу, лица, принимающие решения, узнают такие вещи, как то, насколько хорошо она следует планам и руководящим принципам, возникающим конфликтам, поддержке и моральному духу персонала, сильным и слабым сторонам материалов, проблемам доставки и бюджетированию.[53]

  • Программа работала?

Измеряя фактические результаты и сравнивая их с ожидаемыми, лица, принимающие решения, могут лучше решить, следует ли продолжать программу, изменять ее или вообще отказаться от нее. В этом суть оценки продукта.[53]

Использование CIPP на разных этапах оценки

Как оценка В руководстве модель CIPP позволяет оценщикам оценивать программу на разных этапах, а именно: до начала программы, помогая оценщикам оценить потребности и в конце программы оценить, оказала ли программа эффект.

Модель CIPP позволяет оценщикам задавать формирующие вопросы в начале программы, а затем поддерживает оценку воздействия программы, задавая итоговые вопросы по всем аспектам программы.

  • Контекст: Что должно быть сделано? Vs. Были ли учтены важные потребности?
  • Ввод: Как это сделать? Vs. Был ли использован оправданный замысел?
  • Обработать: Это делается? Vs. Был ли дизайн хорошо выполнен?
  • Товар: Успешно? Vs. Была ли попытка успешной?

Смотрите также

использованная литература

  1. ^ Управление по делам детей и семьи (2010 г.) Руководство по оценке для менеджера программы. Глава 2: Что такое оценка программы?.
  2. ^ Шакман, Джин. Что такое оценка программы: руководство для начинающих (отчет). Проект исследования глобальных социальных изменений. SSRN  3060080.
  3. ^ «Советы по проведению строгой оценки». Оценка программы. CDC - Офис заместителя директора по программе - Оценка программы. Получено 8 апреля, 2012.
  4. ^ Shadish, W. R .; Cook, T. D .; Левитон, Л. С. (1991). Основы оценки программ: теории практики. Ньюбери-Парк, Калифорния: Сейдж.
  5. ^ «Министерство труда США - Краткая история DOL - Эры новых границ и великого общества, 1961-1969». dol.gov.
  6. ^ Национальный архив, отчеты Управления управления и бюджета (1995) 51.8.8 Записи Управления оценки программ
  7. ^ а б c d е ж г час я j k л м п о п q р s т ты v ш Икс у z аа ab ac объявление ае аф Росси, П. Липси, М. У. и Фриман, Х. (2004). Оценка: системный подход (7-е изд.). Таузенд-Оукс, Калифорния: Сейдж.
  8. ^ а б c Барбазетт, Дж. (2006). Что такое оценка потребностей? (PDF) (Отчет).
  9. ^ Rouda, R.H .; Кусы, М. Э. (1995). «Оценка потребностей: первый шаг».
  10. ^ Райт Б. и Уоллис С. (2019). Практическое картирование для прикладных исследований и оценки программ. Публикации SAGE.
  11. ^ Центры по контролю и профилактике заболеваний. Рамки для оценки программ в области общественного здравоохранения. MMWR 1999; 48 (№ RR-11).
  12. ^ Ван дер Рит, М. (2009). «Создание контекста: использование теории деятельности для понимания изменения поведения в ответ на ВИЧ и СПИД». Неопубликованная докторская диссертация. Университет Квазулу-Наталь, Питермарицбург.
  13. ^ Eveland, JD. (1986) "Программы исследований инноваций малого бизнеса: проблемы поиска решений". В Д. Грей, Т. Соломон и В. Хетцнер (ред.), Технологические инновации: стратегии нового партнерства. Амстердам: Северная Голландия
  14. ^ а б Маклафлин, Дж. А., и Джордан, Г. Б. (1999). Логические модели: инструмент для рассказа истории производительности ваших программ. Оценка и планирование программы, 22 (1), 65-72.
  15. ^ Eveland, JD (1986) "Распространение, передача технологий и реализация: размышления и разговоры об изменениях". Знания. 8 (2): 303-322.
  16. ^ Серия «Промежуточное развитие». Измерение результатов. Dare Mighty Things, INC.
  17. ^ а б Мутон, Дж (2009). «Оценка воздействия комплексных социальных вмешательств». Журнал государственного управления. 44: 849–865.
  18. ^ Шахаб, Сина; Клинч, Дж. Питер; О'Нил, Эоин (21 июля 2017 г.). «Оценка планирования на основе воздействия: усовершенствование нормативных критериев для анализа политики» (PDF). Окружающая среда и планирование B: городская аналитика и городская наука. 46 (3): 534–550. Дои:10.1177/2399808317720446. HDL:10197/9594.
  19. ^ Делберт Чарльз Миллер, Нил Дж. Салкинд (2002) Справочник по дизайну исследований и социальным измерениям. Издание: 6, переработанное. Опубликовано SAGE,.
  20. ^ Центры по контролю и профилактике заболеваний США. «Система оценки». CDC. Получено 20 сентября 2012.
  21. ^ Каня, Джон; Крамер, Марк. «Коллективный удар». Стэнфордский обзор социальных инноваций. Стэнфордский центр филантропии и гражданского общества при Стэнфордском университете. Получено 19 сентября 2014.
  22. ^ Прескилл, Хэлли; Паркхерст, Марси; Джастер, Дженнифер Сплански. «Руководство по оценке коллективного воздействия» (PDF). www.fsg.org. FSG, Inc. Получено 2014-09-19.[постоянная мертвая ссылка ]
  23. ^ Паттон, Майкл. «Подходы и методы оценки». Институт оценщиков. Университет Джорджа Вашингтона. Получено 2014-09-19.
  24. ^ «Формирующая оценка». Набор инструментов для оценки взаимодействия с сообществом. Получено 19 сентября 2014.
  25. ^ «Суммативная оценка». Набор инструментов для оценки взаимодействия с сообществом. Получено 19 сентября 2014.
  26. ^ Тейлор-Пауэлл, Эллен; Стил, Сара; Дугла, Мохаммед. «Планирование оценки программы» (PDF). Расширение Висконсинского университета. Получено 20 сентября, 2014.
  27. ^ а б c d е ж г Бамбергер, М. (2004). «Оценка ограниченности: разработка оценок воздействия в условиях бюджета, времени и данных». Американский журнал оценки. 25: 5–37. Дои:10.1177/109821400402500102.
  28. ^ а б Джейкобс, Ф. Х. (2003). "Оценка программы" Ребенок и семья: научиться получать удовольствие от сложности ". Прикладная развивающая наука. 7 (2): 62–75. Дои:10.1207 / S1532480XADS0702_3.
  29. ^ а б Weiss, H.B., & Greene, J.C. (1992). Партнерство по расширению прав и возможностей для поддержки семьи и образовательных программ и оценок. Обзор семейных наук, 5 (1,2): 131-148.
  30. ^ а б «Пятиуровневый подход к оценке». Национальная сеть образования для родителей (без даты). Архивировано из оригинал на 2012-10-24. Получено 18 сентября, 2012.
  31. ^ а б Bailey, S.J .; Дин, М. Ю. (2002). «Основы для ознакомления с программой оценки преподавателей и сотрудников». Журнал расширения. Получено 18 сентября, 2012.
  32. ^ а б c d «Пятиуровневый подход к оценке программ» (PDF). ag.arizona.edu. Получено 18 сентября, 2012.
  33. ^ Бамбергер, М. (2000). «Оценка программ международного развития: взгляд с фронта». Американский журнал оценки. 21 (1): 95–102. Дои:10.1177/109821400002100108.
  34. ^ а б Смит, Т. (1990). «Оценка политики в странах третьего мира: некоторые вопросы и проблемы». Азиатский журнал государственного управления. 12: 55–68. Дои:10.1080/02598272.1990.10800228.
  35. ^ а б c d е Эббутт, Д. (1998). «Оценка проектов в развивающихся странах: некоторые культурные и методологические вопросы». Международный журнал развития образования. 18 (5): 415–424. Дои:10.1016 / S0738-0593 (98) 00038-8.
  36. ^ а б c d е ж г час Bulmer, M .; Уорвик, Д. (1993). Социальные исследования в развивающихся странах: опросы и переписи в странах третьего мира. Лондон: Рутледж. ISBN  978-0-471-10352-3.
  37. ^ Поттер, К. (2006). Оценка программы. В M. Terre Blanche, K. Durrheim & D. Painter (ред.), Исследования на практике: прикладные методы для социальных наук (2-е изд.) (Стр. 410-428). Кейптаун: UCT Press.
  38. ^ Росси П., Липси М. В. и Фриман Х. (2004). Оценка: системный подход (7-е изд.). Таузенд-Оукс: Шалфей.
  39. ^ Гилл, Эндрю. «Оценка академических программ в местных колледжах Калифорнии». PPIC.
  40. ^ Вулкок, Майкл. «Интеграция качественного и количественного подходов в оценку программ» (PDF). Получено 21 сентября 2011.
  41. ^ Weiss, C.H. (1999). Взаимосвязь исследований и политики: какое влияние оказывают исследования в области социальных наук? Мировой отчет по социальным наукам, стр. 194-205.
  42. ^ Лоу, Дж. (1999). Улучшение практики посредством оценки. В Д. Дональде, А. Дауэсе и Дж. Лоу (ред.), Решение детских невзгод (стр. 60-73). Кейптаун: Дэвид Филип.
  43. ^ а б Феттерман, Д. (2002). «Оценка расширения прав и возможностей: построение сообществ практиков и культуры обучения». Американский журнал общественной психологии. 30 (1): 81–102. Дои:10.1023 / а: 1014324218388. PMID  11928779.
  44. ^ Феттерман, Д. (2005). Принципы оценки полномочий в действии: оценка уровней приверженности. В D.M. Феттерман и А. Вандерсман (ред.), Принципы оценки полномочий на практике(стр.27-41). Нью-Йорк: Guilford Press
  45. ^ а б c d е ж Мертенс, Д. и Уилсон, А. (2012). Теория и практика оценки программ: подробное руководство. Нью-Йорк, Нью-Йорк: Гилфорд Пресс. С. 168–180.
  46. ^ СенГупта, С., Хопсон, Р., и Томпсон-Робинсон, М. (2004). Культурная компетентность в оценке: обзор. Новые направления в оценке, 102. С. 5–19.
  47. ^ Эндо, Т., Йох, Т., и Ю, Х. (2003). Голоса с мест: лидеры оценки здоровья в мультикультурной оценке. Окленд, Калифорния: Партнеры по исследованию политики. п. 5.
  48. ^ Мертенс, Д., Ямасита, М. (2010). Заявление о миссии Группы актуальных интересов Американской ассоциации оценки: смешанные методы оценки. Вашингтон. п. 48.
  49. ^ Солорзано, Д. (1997). «Образы и слова, которые ранят: критическая расовая теория, расовые стереотипы и педагогическое образование». Педагогическое образование Ежеквартально. 24: 5–19.
  50. ^ Брабек, М., Брабек, К. (2009). Феминистский взгляд на этику исследований. Таузенд-Оукс, Калифорния: Сейдж. п. 39.
  51. ^ «Оценка программы» (PDF). Белый дом. Архивировано из оригинал (PDF) на 2011-07-04. Получено 20 сентября 2011.
  52. ^ «Фаза 1 реализации Закона 2018 года об основах разработки политики на основе фактов: учебные программы, кадры и руководство по планированию» (PDF). Управление управления и бюджета. 2019-07-10.
  53. ^ а б c d е ж г час Робинсон, Б. (2002). CIPP возник на более ранних этапах, когда не было абзацев или каких-либо сокращений для каких-либо продуктов или строф. Подход CIPP к оценке. Проект Коллит: справочная информация от Бернадетт.

дальнейшее чтение

  • Борланд, Дж. И Ценг, Ю. П. (2011). Учебник по оценке социальных программ. Четность, 24 (7), 8.
  • Боулметис, Джон и Датвин, Филлис. Азбука оценки (2005)
  • Кук, Томас Д. и Кэмпбелл, Дональд Т. Квази-экспериментирование: проектирование и анализ полевых настроек (1979)
  • Хайдуков, Данил; Тасалов, Кирилл; Щепетина, Екатерина; Чуева, Екатерина (2016). Совершенствование методических подходов к повышению эффективности государственных программ Российской Федерации // Научная конференция МГУ им. М.В. Ломоносова «Эффективный менеджмент», Полиграф Сервис, Москва, с. 65–73.
  • Прескилл, Халли, Паркхерст, Марси и Джастер, Дженнифер Сплански. «Руководство по оценке коллективного воздействия» (2014 г.)
  • Руководство по оценке для менеджера программы, второе издание, Управление планирования, исследований и оценки, Управление по делам детей и семьи. * Ривлин, Элис М. Систематическое мышление для социальных действий (1971)
  • Росси, Питер Х., Фриман, Ховард А. и Липси, Марк В. Оценка. Системный подход (1999)
  • Сучман, Эдвард А. Оценочное исследование: принципы и практика в программах государственной службы и социальных действий (1967)
  • Вайс, Кэрол Х. Оценочные исследования: методы оценки эффективности программ (1972)
  • Wholey Joseph S, Hatry Harry P, Newcomer Kathryn E, et al. (2010). Справочник по практической оценке программ, третье издание. Сан-Франциско: Джосси-Басс. ISBN  978-0-470-52247-9.


внешние ссылки