Рамки передового опыта в исследованиях - Research Excellence Framework - Wikipedia

В Рамки передового опыта в исследованиях является преемником Упражнение по оценке исследований. Это оценка воздействия который оценивает исследования британских высших учебных заведений. Впервые он был использован в 2014 г. для оценки периода 2008–2013 гг.[1][2] REF осуществляется четырьмя органами финансирования высшего образования Великобритании: Исследование Англии, то Шотландский финансовый совет (SFC), Совет по финансированию высшего образования Уэльса (HEFCW) и Департамент экономики, Северная Ирландия (DfE).

Заявленные цели заключаются в обеспечении подотчетности за государственные инвестиции в исследования, установлении «репутационных критериев»,[3] и тем самым добиться эффективного распределения ресурсов. Критики, среди прочего, утверждают, что слишком много внимания уделяется влиянию исследований за пределами университетской системы, и это влияние не имеет реального отношения к качеству исследований.[нужна цитата ] Предполагается, что REF фактически поощряет посредственность в опубликованных исследованиях и препятствует исследованиям, которые могут иметь ценность в долгосрочной перспективе.[нужна цитата ]

Следующая итерация REF должна была произойти в 2021 году, продолжая предыдущую модель оценки, в которой основное внимание уделялось результатам исследований, их влиянию и среде проведения исследований.[4] Однако процесс затянулся из-за COVID-19 пандемия.[5]

История

В июне 2007 г. Совет по финансированию высшего образования Англии (HEFCE) выпустил циркулярное письмо, в котором объявлялось, что новая система оценки качества исследований в университетах Великобритании заменит Упражнение по оценке исследований (RAE) после RAE 2008 г.[6] Следующая цитата из письма указывает на исходную мотивацию:

Нашими ключевыми целями в новой структуре будут:

  • для выработки надежных показателей качества исследований в масштабах всей Великобритании по всем дисциплинам, которые можно использовать для сравнения качества с международными стандартами и для увеличения финансирования исследований Советом
  • обеспечить основу для распределения финансирования в первую очередь за счет передового опыта исследований, а также для финансирования отличных исследований во всех их формах, где бы они ни находились
  • значительно снизить административную нагрузку на учреждения по сравнению с РАЭ
  • чтобы избежать создания каких-либо нежелательных поведенческих стимулов
  • продвигать равенство и разнообразие
  • обеспечить стабильную основу для нашей постоянной поддержки ведущей в мире исследовательской базы HE.

В письме также изложен график развития REF. HEFCE провела консультацию в сентябре – декабре 2009 г., чтобы получить ответы от заинтересованных сторон на предложения.[7] К ним относятся, например, ответ от Университеты Великобритании,[8] и ответ от Союз университетов и колледжей.[9]

В июле 2010 г. (после Майские всеобщие выборы 2010 г. ), министр университетов и науки Дэвид Уиллетс объявил, что REF будет отложен на год, чтобы оценить эффективность меры воздействия.[10]

В июле 2016 г. Лорд Николас Стерн был опубликован обзор, в котором сформулированы общие рекомендации для следующего REF в 2021 году.[11] В целом, обзор поддержал методологию, использованную в 2014 г. для оценки исследований университетов, однако в нем подчеркивалась необходимость более активного взаимодействия с широкой общественностью и увеличения количества проведенных тематических исследований. междисциплинарный подход.[11] Команда Research-impact.org на Школа бизнеса и экономики Университета Лафборо экспериментировали с краудфандинг для исследований, чтобы повысить участие исследователей университета.[12]

Влияние исследований

Воздействие REF было определено как «влияние, изменение или выгода для экономики, общества, культуры, государственной политики или услуг, здоровья, окружающей среды или качества жизни за пределами академических кругов».[13]

Критерии оценки

Работы оцениваются по следующим критериям:[14]

  • Четыре звезды: лучшее в мире качество по оригинальности, значимости и строгости.
  • Три звезды: превосходное на международном уровне по оригинальности, значимости и строгости качество, которое не соответствует самым высоким стандартам качества.
  • Две звезды: качество, признанное на международном уровне за оригинальность, значимость и строгость.
  • Одна звезда: качество, признанное на национальном уровне за оригинальность, значимость и строгость.
  • Несекретное качество: это не соответствует стандарту признанных на национальном уровне работ. Или работа, которая не соответствует опубликованному определению исследования для целей данной оценки.

Рейтинг производительности

Два издателя, Хранитель[15] и Times Higher Education,[16] составить общий рейтинг мультидисциплинарный университеты по мощности и качеству (GPA).

Рейтинги Power нацелены на то, чтобы показать университеты с широким спектром качества, а рейтинги качества нацелены на то, чтобы показать глубину качества.

Хранитель Рейтинги мощности учитывают только рейтинги с оценкой четыре и три звезды, в то время как Times Higher Education Рейтинги власти рассматривают рейтинги по всем оценкам.

Дополнительный рейтинг качества - это рейтинг учебных заведений в соответствии с долей их исследований, получивших оценку «четыре звезды». То есть представленные исследования получили оценку «Качество, ведущее в мире по оригинальности, значимости и строгости».[17]

РейтингTHE Топ-10 исследовательской мощиХранитель Топ-10 исследовательской мощиTHE Качество (GPA) 10 лучшихТоп-10 с самым высоким% с 'ведущими мировыми' исследованиями
1Университетский колледж ЛондонаОксфордский университетИмперский колледж ЛондонЛондонская школа экономики
2Оксфордский университетУниверситетский колледж ЛондонаЛондонская школа экономикиОксфордский университет
3Кембриджский университетКембриджский университетОксфордский университетКембриджский университет
4Эдинбургский университетЭдинбургский университетКембриджский университетИмперский колледж Лондон
5Манчестерский университетМанчестерский университетКардиффский университетУниверситетский колледж Лондона
6Королевский колледж ЛондонаИмперский колледж ЛондонКоролевский колледж ЛондонаКардиффский университет
7Ноттингемский университетКоролевский колледж ЛондонаУниверситетский колледж ЛондонаКоролевский колледж Лондона
8Имперский колледж ЛондонНоттингемский университетУорикский университетЭдинбургский университет
9Бристольский университетБристольский университетЭдинбургский университетУорикский университет
10Университет ЛидсаУниверситет ЛидсаБристольский университетБристольский университет

Поскольку процентное соотношение подходящих сотрудников, представленных для оценки REF, значительно различается в разных университетах, Times Higher Education также предоставляет рейтинг интенсивности исследований, который учитывает долю представленных подходящих сотрудников.[18] В этом рейтинге REF по интенсивности исследований тридцать лучших университетов, за исключением трех специализированных учебных заведений, представлены ниже.

РейтингTHE 30 лучших по интенсивности исследований
1Кембриджский университет
2Имперский колледж Лондон
3Университетский колледж Лондона
4Бристольский университет
5Оксфордский университет
6Лондонская школа экономики и политических наук
7Королевский университет Белфаста
7Саутгемптонский университет
9Уорикский университет
10Эдинбургский университет
11Университет Лафборо
12Университет Глазго
13Сент-Эндрюсский университет
14Королевский колледж Лондона
15Стратклайдский университет
16Эксетерский университет
16Кентский университет
16Университет Ридинга
19Университет Эссекса
20Бирмингемский университет
21Даремский университет
21Ювелиры, Лондонский университет
23Ньюкаслский университет
23Манчестерский университет
25Ноттингемский университет
26Ланкастерский университет
27Биркбек, Лондонский университет
28Ройал Холлоуэй, Лондонский университет
29Йоркский университет
30Университет Шеффилда

Споры и критика

Особым источником критики был элемент REF, касающийся «воздействия» исследования. Приведенные ниже статьи вызывают два возражения. Главный из них заключается в том, что «воздействие» было определено как воздействие за пределами академии. Если бы от исследователей потребовали использовать эту форму воздействия, это подорвало бы академическая свобода. Во-вторых, воздействие - в его нынешнем понимании - трудно измерить любым способом, который можно было бы рассматривать как справедливый и беспристрастный.[19][20][21]

В Совет по финансированию высшего образования Англии утверждают, что их мера «воздействия» является широкой и включает влияние на «экономику, общество, государственную политику, культуру и качество жизни».[19] Тем не менее, структура оценки оказывает то влияние, которое практически можно назвать довольно узким (ограничение в 4 страницы, отсутствие раздела о методах, 10 ссылок на влияние, 10 ссылок на исследования и только 1 страница для обобщения исследования и воздействия соответственно). Эти строгие дискурсивные руководящие принципы наряду с устаревшим представлением REF о том, как функции воздействия исследования (исключая преподавание воздействия исследования, линейная модель и т. Д.), Действительно ограничивают, какое воздействие практически больше подходит для оценки.[нужна цитата ]

Другая область критики, которую REF унаследовал от структуры RAE, заключается в том, что для большинства штатных сотрудников представление обычно состоит из четырех опубликованных «результатов исследований». Не существует признания разницы между книгой и статьей с точки зрения исследовательской ценности. Таким образом, система REF препятствует долгосрочным проектам, которые стремятся к совершенству. Эта проблема особенно очевидна в гуманитарных науках, где большинство новаторских исследований традиционно не публикуются в статьях. Поэтому многих исследователей подталкивают к относительно посредственной деятельности, которая позволит им выпустить одну или две книги в течение периода оценки, но не монографию, которая обычно требует четырех или пяти лет исследований и написания.[нужна цитата ]

Более того, система из четырех опубликованных пунктов также препятствует долгосрочным проектам с относительно высоким исследовательским риском в области науки, поскольку исследователи неохотно участвуют в проектах или экспериментах, которые могут оказаться безуспешными и могут не привести к публикации. Поскольку большая часть новаторских исследований в науке проводится именно с такими рискованными и творческими проектами, тип исследовательской деятельности, поощряемый структурой REF, является довольно консервативным. Кроме того, с точки зрения воздействия исследуемых исследований, в истории естественных и гуманитарных наук нет ничего необычного в том, чтобы пройти какое-то время, прежде чем открытие будет полностью выполнено. Существующая система рассчитана всего на четыре или пять лет.[нужна цитата ]

Times Higher Education также сообщила, что некоторые университеты, похоже, «играли» в систему REF. Это включало «браконьерство REF», при котором сотрудники с установленными исследовательскими записями были отобраны из своих университетов непосредственно перед REF, что давало браконьерскому учреждению полное признание их публикаций, не рискуя поддержать исследователя. Это также включало наем большого числа сотрудников по контрактам на 0,2 ЭПЗ, что является самым низким уровнем занятости, который дает им право на подачу REF.[22]

Помимо озабоченности по поводу того, что на самом деле можно измерить по четырем элементам результатов исследования и как можно измерить влияние, всю систему часто критикуют как излишне сложную и дорогую, тогда как оценка качества в цифровую эпоху могла бы быть намного проще и эффективнее.[23]

Система с соответствующими финансовыми последствиями также подвергалась критике за отвлечение ресурсов от обучения. Таким образом, увеличение платы за обучение часто не приводит к тому, что персонал тратит больше времени на обучение.[нужна цитата ]

В июле 2016 г. Лорд Николас Стерн был опубликован обзор, в котором были составлены общие рекомендации для следующего РЭФ в 2021 году.[24] Одна из рекомендаций заключалась в повышении вовлеченности общественности в исследования. Участие в исследованиях означает увеличение отдачи от исследований. Это также означает повышение осведомленности общественности о результатах исследования и их значении. Один из механизмов привлечения общественности: краудфандинг для исследований, когда на специализированных платформах проводятся краудфандинговые кампании для университетских исследований по ряду тем. Краудфандинг для исследований имеет два преимущества: во-первых, это источник относительно высокого гарантированного финансирования со ставкой около 50%, во-вторых, это очень эффективный инструмент для взаимодействия с широкой общественностью.[12]

Одна проблема, которую обзор Стерна не затронул в связи с оценкой воздействия исследования, заключается в том, что структура шаблона дизайна тематического исследования, по которому оценивается воздействие, не содержит раздела о методах и, таким образом, дает оценку того, какой тип воздействия был заявили о риторической игре о том, кто может требовать больше всего (ср. Brauer, 2018).[25] Таким образом, структура оценки стимулирует серьезные претензии. Проблема возникает потому, что качественные суждения о значимости и масштабах воздействия (без учета лежащего в основе метода) цементируют современные ценности в оценке как таковой; «[…] назовите это социальным конструированием, взаимным обучением, социальной практикой как угодно, ключ в том, что мы не можем отделить характеристики Воздействия от процесса, навязанного ценностям, и признать это как таковое."(Деррик, 2018: 160)[26] При проверке ссылки на текущие утверждения они либо были недоступны (например, соответствующие веб-сайты были удалены), либо ссылки на них не отражали самоавторство или отзывы лиц, связанных с исследователем (Brauer, 2018: 142-147). Точно так же Sayer (2014)[27] критикует общую экспертную оценку процесса REF, описывая его как плохой симулякр стандартного академического качества и что процесс оценивания еще больше усложняется из-за большой загруженности оценивания (стр. 35). Аналогичным образом, исследование RAND показало, что с большинством ссылок никогда не обращались, определенным группам оценки не рекомендовалось использовать Интернет, а справочная структура REF иногда занимала две недели, чтобы создать соответствующие ссылки.[28] Таким образом, фокус на внешнем воздействии дисциплинирует оценку и фокусирует внимание на внешних ценностях.[29]

В 2018 году было сказано, что REF негативно влияет на гуманитарные науки.[30]

Смотрите также

Рекомендации

  1. ^ «Результаты и материалы: REF 2014». Получено 22 декабря 2014.
  2. ^ Аткинсон, Питер М. (11 декабря 2014 г.). «Оценить реальную стоимость исследования оценки». Мировоззрение. Природа (бумага). 516 (7530): 145. Дои:10.1038 / 516145a.
  3. ^ "Что такое REF?". REF2021. Получено 24 июля 2018.
  4. ^ Англия, Высший совет по финансированию. «2017: Финансирующие органы подтверждают форму REF 2021 - REF 2021». www.ref.ac.uk. Получено 2018-06-29.
  5. ^ https://www.ref.ac.uk/publications/f Further-update-on-coronavirus-covid-19-and-ref-timetable/
  6. ^ Иствуд, Дэвид (6 марта 2007 г.). «Будущие рамки для оценки и финансирования исследований». HEFCE. Циркулярное письмо № 06/2007. Архивировано из оригинал 2 февраля 2010 г.
  7. ^ «Структура научного мастерства: вторая консультация по оценке и финансированию исследований». HEFCE. Сентябрь 2009 г. 2009/38. Получено 10 января 2015.
  8. ^ «Реакция университетов Великобритании на консультацию HEFCE по структуре исследовательского мастерства (REF)». Университеты Великобритании. 13 декабря 2009 г. Архивировано с оригинал (.doc ) 16 июля 2011 г.
  9. ^ «Ответ на систему повышения квалификации: вторая консультация по оценке и финансированию исследований» (PDF). Союз университетов и колледжей. Декабрь 2009 г.
  10. ^ Бейкер, Саймон (8 июля 2010 г.). "Реферирование отложено, пока Уиллетс ожидает согласия"'". Times High. Educ.
  11. ^ а б Стерн, лорд Николас; и другие. (Июль 2016 г.). «Опираясь на успех и извлекая уроки из опыта» (PDF). gov.uk. Правительство Великобритании. Получено 3 января 2017.
  12. ^ а б Рубин, Цамерет (2017). «Можно ли заставить толпу финансировать исследования, разве это не роль правительства?». AESIS. Получено 2016-12-23.
  13. ^ Маклеллан, Тимоти (25 августа 2020 г.). «Воздействие, теория изменений и горизонты научной практики». Социальные исследования науки: 030631272095083. Дои:10.1177/0306312720950830. ISSN  0306-3127.
  14. ^ «Система оценки и руководство по подаче заявки» (PDF). Рамки передового опыта в исследованиях. Июль 2011. с. 43. REF 02.2011.
  15. ^ «Рамки передового опыта университетских исследований 2014 - полный рейтинг». Хранитель. ISSN  0261-3077. Получено 2019-05-03.
  16. ^ «REF 2014: результаты по темам». Times Higher Education (THE). 2014-12-18. Получено 2019-05-03.
  17. ^ Кофлан, Шон (18 декабря 2014 г.). "Лондон обгоняет господство Оксбриджа". BBC. Получено 2019-05-03.
  18. ^ «REF 2014: победители и проигравшие в рейтинге« интенсивности »». Times Higher Education (THE). 2014-12-19. Получено 2019-05-03.
  19. ^ а б Шеперд, Джессика (13 октября 2009 г.). "Гуманитарным исследованиям угрожают" экономические последствия "'". Образование. Хранитель. Лондон.
  20. ^ Освальд, Эндрю (26 ноября 2009 г.). «REF должен оставаться вне игры». Независимый. Лондон.
  21. ^ Фернандес-Арместо, Фелипе (3 декабря 2009 г.). «Ядовитое воздействие». Times Higher Education.
  22. ^ Прыгай, Пол (26 сентября 2013). «Двадцать процентов контрактов растут в преддверии REF». Times Higher Education.
  23. ^ Данливи, Патрик (10 июня 2011 г.). «Система научно-исследовательского мастерства является громоздкой и дорогостоящей. За небольшую часть стоимости цифровая перепись академических исследований позволит получить непревзойденную и достоверную информацию об исследовательской деятельности британских университетов».. Лондонская школа экономики.
  24. ^ Стерн, Л. (2016). Основываясь на успехе и извлекая уроки из опыта: независимый обзор системы научных исследований.
  25. ^ Брауэр Р. (2018): Какое влияние оказывают исследования? Туризм и меняющаяся исследовательская экосистема Великобритании. Гилфорд: Университет Суррея (докторская диссертация). доступны на: http://epubs.surrey.ac.uk/id/eprint/846043
  26. ^ Деррик, Г. (2018). Взгляд оценщиков: оценка воздействия и научная экспертная оценка. Берлин: Springer.
  27. ^ Сайер, Д. (2014). Ранг лицемерие: оскорбление REF. Мудрец.
  28. ^ «Оценка процесса подачи заявки на влияние элемента REF». www.rand.org. Получено 2019-05-03.
  29. ^ «Измерение социального воздействия и ценности исследований». www.rand.org. Получено 2019-05-03.
  30. ^ Study International Staff (7 декабря 2018 г.). «Остерегайтесь рейтинга« Research Excellence Framework »в гуманитарных науках». SI Новости. Получено 19 сентября, 2019.

внешняя ссылка