Cải cách đánh giá nghiên cứu trong hành động: Cập nhật từ các nhà cấp vốn nghiên cứu ở Canada và New Zealand.

Research assessment reform in action: Updates from research funders in Canada and New Zealand

August 18, 2022

Theo: https://sfdora.org/2022/08/18/research-assessment-reform-in-action-updates-from-research-funders-in-canada-and-new-zealand/

Bài được đưa lên Internet ngày: 18/08/2022

Mỗi quý, DORA tổ chức 2 cuộc họp Cộng đồng Thực hành - CoP (Community of Practice) cho các tổ chức cấp vốn nghiên cứu. Một cuộc họp diễn ra cho các tổ chức ở vùng thời gian châu Á - Thái bình dương và cuộc họp kia cho các tổ chức ở châu Phi, châu Mỹ, và châu Âu. Nếu bạn được một nhà cấp vốn nghiên cứu nhà nước hoặc tư nhân tuyển dụng và có quan tâm trong việc ra nhập CoP của Nhà cấp vốn, vui lòng tìm thêm thông tin ở đây.

Các tổ chức cấp vốn nghiên cứu thường được nghĩ như là các nhà lãnh đạo trong phong trào hướng tới các thực hành đánh giá nghiên cứu có trách nhiệm hơn. Thông thường, sự thừa nhận “xuất sắc” trong văn hóa nghiên cứu được lọc qua các lăng kính về ai và dạng tác phẩm nào nhận được vốn cấp. Tuy nhiên, khi bộ các chỉ số nhỏ hẹp được sử dụng để xác định ai nhận được vốn cấp, thì kết quả có thể làm hẹp đáng kể nhận thức của giới hàn lâm về xuất sắc nghiên cứu (ví dụ, yếu tố tác động của tạp chí (JIF), h-index).

Điều này đặt các nhà cấp vốn vào vị thế độc nhất có khả năng giúp “thiết lập giai điệu” cho văn hóa nghiên cứu thông qua các nỗ lực của riêng họ để làm giảm sự dựa dẫm vào các biện pháp ủy quyền đầy thiếu sót về chất lượng và triển khai cách tiếp cận toàn diện hơn cho việc đánh giá các nhà nghiên cứu trong các cơ hội cấp vốn. Liệu các nhà cấp vốn có đang tìm cảm hứng từ các đồng nghiệp của họ hay hiểu rõ về sự phát triển chính sách lặp đi lặp lại, khả năng đi cùng nhau để thảo luận cải cách hoạt động là quan trọng nhằm đạt được sự thay đổi văn hóa rộng khắp. Trong các cuộc họp của Cộng đồng Thực hành (CoP) của các nhà cấp vốn vào tháng 6, chúng tôi đã nghe cách DORA đang được Hội đồng Nghiên cứu Khoa học Tự nhiên và Kỹ thuật Canada (NSERC) và Bộ Doanh nghiệp, Đổi mới và Việc làm của New Zealand (MBIE) triển khai.

Trong cuộc họp đầu tiên, Alison Janidlo, Nathalí Rosado Ferrari và Brenda MacMurray đã trình bày về công việc NSERC đã làm để triển khai DORA. NSERC là cơ quan cấp vốn quốc gia hỗ trợ cho các nhà nghiên cứu và các sinh viên thông qua các trợ cấp và học bổng. Các đơn đề xuất được đánh giá thông qua rà soát lại ngang hàng. Để phù hợp với các thực hành tốt hiện hành đối với đánh giá nghiên cứu (ví dụ, khuyến khích các ứng viên đưa các kết quả ra bên ngoài các bài báo trên tạp chí và yêu cầu những người rà soát lại ngang hàng tập trung vào chất lượng và tác động của các kết quả đầu ra), NSERC đã ký DORA vào năm 2019. Việc xây dựng dựa vào tầm nhìn trong các hướng dẫn của nó, NSERC đã phát triển một tài liệu hướng dẫn đánh giá mới phù hợp rõ ràng hơn với các nguyên tắc của DORA. Trong lời kêu gọi đó, Janidlo, Rosado Ferrari và MacMurray đã mô tả cách phát triển các hướng dẫn mới đó đã được thông báo bằng cách rà soát lại tư liệu, sự tham gia của các bên liên quan thông qua các ủy ban, các nhóm trọng tâm, và các bài trình chiếu ở hội nghị. Các tính năng chính của hướng dẫn bao gồm sự khuyến khích hỗ trợ của NSERC cho xuất sắc nghiên cứu, sự kết hợp rõ ràng các nguyên tắc của DORA, và sự nhấn mạnh rằng các biện pháp ủy quyền chất lượng (ví dụ, JIF) phải được tránh xa khi đánh giá các đề xuất nghiên cứu. Janidlo, Rosado Ferrari và MacMurray cũng đã mô tả một trong các khía cạnh quan trọng nhất của việc triển khai thay đổi chính sách còn gây tranh cãi: sự phản ánh về những gì đã làm việc tố và những bài học học được qua quá trình phát triển 2 năm các hướng dẫn mới của họ. Theo họ, bài học mấu chốt là có thể là hữu ích cho cộng đồng để có sự rõ ràng hơn về các bước tiếp sau để triển khai vào thời điểm tung ra hướng dẫn đó. Cơ quan này cũng sẽ cần giải quyết câu hỏi khó về cách để theo dõi tác động của các hướng dẫn mới đó trong các quyết định cấp vốn. Về các chiến lược đã thành công, các diễn giả đã nêu bật rằng các hướng dẫn mới đó đã được phát triển một cách tương tác và có tham vấn với một loạt các bên liên quan trong cộng đồng NSERC, cho phép gắn kết lớn hơn với tài liệu mới đó. Các chiến lược thành công bổ sung bao gồm việc liệt kê các mẫu các đóng góp và các chỉ số chất lượng và tác động theo trật tự ABC (để loại bỏ việc nhấn mạnh vào các biện pháp ủy quyền chất lượng và tác động), tính toàn diện trong ngôn từ của tài liệu mới đó (phản ánh vấn đề song ngữ chính thức tiếng Anh và tiếng Pháp của Canada, xem xét tới cộng đồng sau trung học đa dạng và tiếng lóng kỹ thuật được sử dụng trong lĩnh vực khoa học tự nhiên và kỹ thuật), việc sử dụng Nhóm Làm việc Triển khai DORA hiện hành của NSERC để liên lạc thành công với các bên liên quan, và các nỗ lực của NSERC để xây dựng nhận thức về DORA trong cả các cuộc họp chính thức và không chính thức với các bên liên quan. Điểm cuối cùng, nhóm NSERC đã tạo ra một địa chỉ thư điện tử DORA cho các thành viên cộng đồng để gửi các câu hỏi và yêu cầu có liên quan tới DORA. Hướng dẫn mới đã được phát hành ngày 06/05/2022.

Trong cuộc họp lần 2, Joanne Looyen và Farzana Masouleh đã trình bày về công việc mà MBIE New Zealand đã làm để triển khai DORA. MBIE là tổ chức cấp vốn chào các vốn cạnh tranh cho một loạt các nghiên cứu. Looyen và Masouleh đã thảo luận về vai trò điều hành mà các nhà cấp vốn nghiên cứu nắm giữ và trách nhiệm của họ để hỗ trợ cho sự đa dạng lớn hơn trong hệ thống nghiên cứu. Để hoàn thành vai trò này, họ đã nhấn mạnh rằng các nhà cấp vốn có lẽ cần nghĩ lại hướng dẫn hiện hành của họ để đánh giá “xuất sắc” nghiên cứu. Ở đây, Looyen và Masouleh đã chỉ ra rằng các nguyên tắc của DORA có thể được áp dụng rộng rãi để hỗ trợ đánh giá công bằng hơn và nhất quán hơn các đề xuất cấp vốn. Về điểm này, MBIE hiện đang làm việc với Hội đồng Nghiên cứu Y học và Xã hội Hoàng gia của New Zealand để phát triển một sơ yếu lý lịch (CV) dạng tự thuật cho các nhà nghiên cứu New Zealand. Kỳ vọng là các nhà nghiên cứu sẽ có khả năng sử dụng CV này để đề xuất vốn cấp từ bất kỳ trong số 3 cơ quan đó. Điều này là quan trọng vì tính tương hợp các định dạng CV giữa các tổ chức là mối lo ngại quan trọng thường được các nhà nghiên cứu lên tiếng. Các diễn giả đã nêu bật những lợi ích đặc biệt của việc sử dụng một CV dạng tự thuật cho các đơn đề nghị cấp vốn nhà nước, như việc mở rộng định nghĩa “xuất sắc” là gì đối với các nhà nghiên cứu Māori và Pacifica, và nắm bắt tốt hơn chiều sâu tác phẩm của họ. MBIE hiện có 2 lời kêu gọi cấp vốn nơi giới thiệu các CV tự thuật: Thử nghiệm của Hội đồng Nghiên cứu Y khoa cho Vốn Cộng đồng của Ngã Kanohi Kitea, và Quỹ Nỗ lực Cạnh tranh thường niên. Ví dụ, các ứng viên của Quỹ Cộng đồng NKK phải gửi CV dạng tự thuật bao gồm kinh nghiệm có liên quan tới hoạt động được đề xuất, những đóng góp sinh ra kiến thức, và những đóng góp cho iwi, hapū, hoặc cộng đồng.

Các xem xét được thảo luận bao gồm tầm quan trọng của việc thiết kế mẫu template CV tự thuật làm việc được với và trong bối cảnh của New Zealand. Điều này ngụ ý kiểm thử các tương tắc của mẫu template đó với các nhân viên của nó từ các trường đại học và các viện nghiên cứu của New Zealand, kết hợp phản hồi của các bên liên quan, và tiến hành khảo sát các ứng viên và những người đánh giá để thu thập dữ liệu về các kinh nghiệm người sử dụng của họ với mẫu template mới đó. Looyen và Masouleh đã kết thúc bài trình bày của họ bằng việc đưa trọng tâm quay trở về một trong các động lực chính các nỗ lực cải cách của MBIE: nâng cao hiểu biết về cách để nghiên cứu có thể đóng góp cho những cảm hứng của các tổ chức Mãori và cung cấp các lợi ích cho New Zealand.

Trong cả 2 cuộc họp, các thành viên CoP của các nhà cấp vốn đã thảo luận về các hành động mà các đồng nghiệp của họ có và đang trong quá trình tiến hành để triển khai một tiếp cận toàn diện hơn cho việc đánh giá những đóng góp của các nhà nghiên cứu. Một trong những bài học chính được nêu của các NSERC và MBIE là không có “một tiếp cận nào vừa cho tất cả”. Dù tính sẵn sàng của các ví dụ thay đổi là quan trọng cho việc truyền cảm hứng và thể hiện tính khả thi, rốt cuộc các thực hành và chính sách tốt nhất là các thực hành và chính sách làm thỏa mãn các nhu cầu đặc thù bối cảnh và các mục tiêu của từng cộng đồng các tổ chức cấp vốn.

Haley Hazlett là Giám đốc Chương trình DORA’.

Each quarter, DORA holds two Community of Practice (CoP) meetings for research funding organizations. One meeting takes place for organizations in the Asia-Pacific time zone and the other meeting is targeted to organizations in Africa, the Americas, and Europe. If you are employed by a public or private research funder and interested in joining the Funder CoP, please find more information here.

Research funding organizations are often thought of as leaders in the movement toward more responsible research evaluation practices. Often, the perception of “excellence” in research culture is filtered through the lens of who and what type of work receives funding. However, when a narrow set of indicators is used to determine who receives funding, the result can be a subsequent narrowing of academia’s perceptions of research excellence (e.g., journal impact factor (JIF), h-index). This places funders in the unique position of being able to help “set the tone” for research culture through their own efforts to reduce reliance on flawed proxy measures of quality and implement a more holistic approach to the evaluation of researchers for funding opportunities. Whether funders are seeking inspiration from their peers or insight on iterative policy development, the ability to come together to discuss reform activity is critical for achieving widespread culture change. At DORA’s June Funder Community of Practice (CoP) meetings, we heard how DORA is being implemented by the Natural Sciences and Engineering Research Council of Canada (NSERC) and the New Zealand Ministry of Business, Innovation and Employment (MBIE).

During the first meeting, Alison Janidlo, Nathalí Rosado Ferrari and Brenda MacMurray presented on the work that NSERC has done to implement DORA. NSERC is a national funding agency that supports researchers and students through grants and scholarships. Applications are evaluated through peer review.  In alignment with its existing good practices for research assessment (e.g., encouraging applicants to include outputs outside of journal articles and asking peer reviewers to focus on the quality and impact of outputs), NSERC signed DORA in 2019. Building on the previous version of its guidelines, NSERC developed a new assessment guidelines document that is more explicitly aligned with DORA principles. During the call, Janidlo, Rosado Ferrari and MacMurray described how the development of these new guidelines was informed by literature review, stakeholder engagement through committees, focus groups, and conference presentations. Key features of the guidelines include the promotion of NSERC’s support for research excellence, the explicit incorporation of DORA principles, and the emphasis that proxy measures of quality (e.g., JIF) must be avoided when evaluating research proposals.

Janidlo, Rosado Ferrari and MacMurray also described what is arguably one of the most important facets of implementing policy change: a reflection on what worked and lessons learned over the 2-year development process of their new guidelines. According to them, a key lesson was that it would have been useful for their community to have more clarity about the next steps for implementation at the time of the guidelines launch. The agency will also need to address the tricky question of how to track the impact of the new guidelines on funding decisions. In terms of strategies that were successful, the speakers highlighted that these new guidelines were developed iteratively and in consultation with a broad range of stakeholders within the NSERC community, allowing for greater buy-in with the new document. Additional successful strategies included listing forms of contributions and indicators of quality and impact in alphabetical order (to de-emphasize proxy measures of quality and impact), the language inclusivity of the new document (reflecting Canada’s official English and French bilingualism, consideration of the diverse postsecondary community and technical jargon used in the natural sciences and engineering domain), the use of the existing NSERC DORA Implementation Working Group to successfully liaise with stakeholders, and NSERC’s efforts to build awareness about DORA in both formal and informal meetings with stakeholders. To the final point, the NSERC team created a DORA email address for community members to send DORA-related questions and inquiries. The new guidelines were released May 6, 2022.

During the second meeting, Joanne Looyen and Farzana Masouleh presented on the work that the New Zealand MBIE has done to implement DORA. MBIE is a funding organization that offers contestable funds for a range of research. Looyen and Masouleh discussed the stewardship role that research funders hold and their responsibilities to support greater diversity in the research system. To fulfill this role, they emphasized that funders may need to rethink their existing guidelines to assess research “excellence”. Here, Looyen and Masouleh pointed out that DORA’s principles can be applied broadly to support more fair and consistent evaluation of funding proposals. To this point, MBIE is currently working with the Health Research Council and the Royal Society of New Zealand to develop a narrative-style CV for New Zealand researchers. The expectation is that researchers will be able to use this CV to apply for funds from any of the three agencies. This is important because interoperability of CV formats between organizations is an important concern often voiced by researchers. The speakers highlighted the specific benefits of using a more narrative-style CV for public funding applications, such as broadening the definition of what “excellence” is for Māori and Pacifica researchers, and better capturing the depth of their work. MBIE currently has two ongoing funding calls where it is introducing the narrative CVs: the Health Research Council Trial for the Ngā Kanohi Kitea (NKK) Community Fund, and the Annual Contestable Endeavour Fund. For example, NKK Community Fund applicants must submit a narrative-style CV that includes relevant experience to the proposed activity, contributions of knowledge generation, and contributions to iwi, hapū, or community.

Key considerations that were discussed included the importance of designing a narrative CV template that works with and for the New Zealand context. This means testing iterations of the template with research staff from New Zealand universities and research institutions, incorporating stakeholder feedback, and conducting a survey of applicants and assessors to gather data about their user experiences with the new template. Looyen and Masouleh concluded their presentation by returning the focus back to one of the key drivers of the MBIE’s reform efforts: increasing understanding of how research can contribute to the aspirations of Māori organizations and deliver benefits for New Zealand.

During both meetings, Funder CoP members discussed the actions that their peers have and are in the process of taking to implement a more holistic approach to the evaluation of researcher contributions. One of the key takeaways exemplified by both NSERC and MBIE is that there is no “one-size-fits-all” approach. Although the availability of examples of change are critical for drawing inspiration and demonstrating feasibility, ultimately the best policies and practices are those that fulfill the context-specific needs and goals of each funding organization’s community.

Haley Hazlett is DORA’s Program Manager.

Dịch: Lê Trung Nghĩa

letrungnghia.foss@gmail.com