Từ tuyên bố tới sáng kiến toàn cầu: một thập kỷ của DORA

From declaration to global initiative: a decade of DORA

May 18, 2023

Theo: https://sfdora.org/2023/05/18/from-declaration-to-global-initiative-a-decade-of-dora/

Bài được đưa lên Internet ngày: 18/05/2023

Khi kết thúc lễ kỷ niệm 10 năm thành lập vào tháng 5 năm 2023 này, chúng tôi sẽ nhìn lại quá trình phát triển của mình từ một tuyên bố về các nguyên tắc thành một sáng kiến toàn cầu về đánh giá nghiên cứu có trách nhiệm và các vấn đề rộng lớn hơn trong đánh giá nghiên cứu mà DORA đã tìm cách giải quyết.

Vì sao tuyên bố về đánh giá nghiên cứu?

“Khi các biện pháp định lượng có tác động quá lớn đến cách mọi người được khen thưởng, nó có thể làm tăng sự cám dỗ để tập trung vào một nhóm các hoạt động hẹp và giảm đầu tư vào những thành tích có ý nghĩa nhưng ít được khen thưởng hơn.”

Tóm tắt Xu hướng Hệ thống & Nhận thức Ngoài ý muốn của DORA

Khi Tuyên bố San Francisco về Đánh giá Nghiên cứu - DORA (Declaration on Research Assessment) đã được phác thảo năm 2012, việc xuất bản trên các tạp chí uy tín với Yếu tố Tác động của Tạp chí - JIF (Journal Impact Factor) cao từng, và đối với nhiều người vẫn là, một trong những cơ chế chính để phán xét “tác động” và “chất lượng” công việc của một nhà nghiên cứu. DORA ban đầu có ý định giải quyết tác động quá đáng mà JIF, một thước đo mức tạp chí, khi đã sử dụng sai để đánh giá chất lượng các bài báo nghiên cứu cá nhân. Dù JIF có thể bị bóp méo và biến động xuyên các ngành, nó vẫn là một thước đo được sử dụng thường xuyên để thông tin cho các quyết định xung quanh việc thuê làm, thăng tiến, nhiệm kỳ, và cấp vốn. Việc sử dụng phổ biến các biện pháp đo lường chất lượng ủy nhiệm không phù hợp, như JIF, dẫn đến chu kỳ “xuất bản hay là chết” làm giảm giá trị những đóng góp học thuật như sự tham gia với cộng đồng địa phương; tính chặt chẽ và khả năng tái sản xuất; tạo ra tài sản trí tuệ và phần mềm; cố vấn; phục vụ học thuật; và làm việc để cải thiện sự đa dạng, công bằng và hòa nhập. Mặc dù những người khác đã nêu vấn đề với JIF, DORA là sáng kiến cộng tác đầu tiên giải quyết vấn đề này.

Chính trong môi trường này, một nhóm các nhà xuất bản và học giả có cùng chí hướng đã triệu tập để giải quyết tình trạng lạm dụng JIF phổ biến và việc đánh giá thấp các đóng góp học thuật khác trong thực tiễn đánh giá nghiên cứu. Nhóm Thảo luận về Yếu tố Tác động đã tập hợp lại lần đầu tiên tại cuộc Họp Thường niên của Hiệp hội Sinh học Tế bào Mỹ (ASCB) và Tổ chức Sinh học Phân tử châu Âu (EMBO), đã làm việc để phác thảo DORA trong vài tháng. Tuyên bố này cuối cùng đã được xuất bản vào tháng 5/2013 với 155 cá nhân và 82 tổ chức ký kết bao gồm các nhà cấp vốn nghiên cứu, các nhà xuất bản, và các hiệp hội nghề nghiệp. Trong khi DORA đưa ra 18 khuyến nghị để cải thiện các thực hành đánh giá nghiên cứu cho các cơ quan cấp vốn, các cơ sở, các nhà xuất bản, các tổ chức cung cấp các thước đó, và cho các nhà nghiên cứu, nó có lẽ được biết tới nhiều nhất về sự nghiêm ngặt chung đầu tiên của nó: “Không sử dụng các thước đo dựa vào tạp chí, như các Yếu tố Tác động của Tạp chí, như là biện pháp thay thế chất lượng các bài báo nghiên cứu cá nhân, để đánh giá những đóng góp của cá nhân nhà khoa học, hoặc trong việc thuê làm, thăng tiến, hoặc các quyết định cấp vốn”.

Sau xuất bản của nó vào năm 2013, một nhóm những người tình nguyện bắt đầu biến tuyên bố đó thành điểm tập hợp cho phong trào đánh giá nghiên cứu có trách nhiệm, thu thập các chữ ký của các cá nhân và tổ chức để thể hiện sự ủng hộ và đoàn kết rộng khắp trong cộng đồng học thuật. Các nỗ lực đó đã được nhiều thành viên sáng lập dẫn dắt, bao gồm Bernd Pulverer, Stefano Bertuzzi, Mark Patterson, và Sandy Schmid, cộng với các nhà biện hộ khác như Stephen Curry và Cationa MacCallum. Sau 5 năm tập hợp liên minh ủng hộ, DORA đã thu thập được các chữ ký từ 500 tổ chức và 12.000 cá nhân. Đã tới lúc thực hiện sự thay đổi và hướng tới việc xúc tác cho hành động theo một cách thức cụ thể hơn.

Đưa việc biện hộ vào thực tiễn

Vào tháng 2/2018 đã được công bố rằng DORA sẽ tăng cường các nỗ lực của nó thông qua hành động trực tiếp được thực hiện bằng việc cấp vốn và ủng hộ bằng hiện vật từ ASCB, Cancer Research UK, the Company of Biologists, eLife, EMBO, F1000, Hindawi, PLOS, và Wellcome. Điều này đã đi cùng với việc khởi xướng website DORA và tuyển dụng nhân viên toàn thời gian đầu tiên của DORA, Anna Hatch, người sau này đã trở thành Giám đốc Chương trình đầu tiên và là người xúc tác chính của DORA, người đã thúc đẩy DORA trong hành động. Curry đã được bổ nhiệm là Chủ tịch của DORA vào tháng 10/2018.

“Tôi nghĩ việc thay đổi văn hóa bén rễ và phát triển hiệu quả nhất khi các cộng đồng tham gia. Sự phát triển của DORA từ một tuyên bố ý định thành một sáng kiến toàn cầu là biểu tượng sức mạnh của thay đổi văn hóa. Bằng việc đưa các quan điểm và triển vọng khác nhau vào một hệ sinh thái học thuật cùng nhau để tạo thuận lợi cho việc chia sẻ kiến thức, và bằng việc xây dựng liên minh, như nhóm thảo luận của các nhà cấp vốn, DORA thể hiện rằng sự thay đổi có hiệu ứng xúc tác”.

Anna Hatch, Giám đốc Chương trình của DORA từ 2018-2022

Triệu tập, xây dựng liên minh và mở rộng phạm vi

Việc giành được vốn cấp để tuyển dụng nhân viên có kỹ năng và chuyên tâm hỗ trợ toàn thời gian cho sứ mệnh của DORA là không thể thiếu cho tổ chức này phát triển thành một sáng kiến toàn cầu. Từ 2018 tới 2022, Hatch đã khéo léo mở ra một kỷ nguyên mới của DORA, được đặc trưng bởi không chỉ số lượng người ký tên tăng lên mà còn là khả năng tiếp cận, vận động và xây dựng liên minh nhiều hơn trong cộng đồng học thuật rộng lớn hơn. Giai đoạn này cũng là lúc DORA đã củng cố các thủ tục điều hành của mình và đã với ra ngoài châu Âu và châu Mỹ. Vào năm 2018, Hatch đã khởi động lễ kỷ niệm 5 năm DORA với một loạt các cuộc phỏng vấn sống động với các thành viên nổi bật của cộng đồng, những người làm việc để triển khai đánh giá nghiên cứu có trách nhiệm tại các cơ sở của họ. Vào năm 2019, DORA cũng đã tổ chức một cuộc họp chung với Viện Y học Howard Hughes (HHMI) Dẫn dắt Thay đổi Cơ sở cho Cải cách Đánh giá Nghiên cứu mà đã triệu tập một nhóm các học giả từ khắp nơi trên thế giới. Nhóm này đã khai phá các cách tiếp cận thực tiễn và các chiến lược để làm giảm sự phụ thuộc vào JIF và các đo đếm ủy nhiệm chất lượng không phù hợp, thảo luận cách thức các cơ sở có thể điều chỉnh các chính sách và các thực hành đánh giá của họ cho phù hợp với các giá trị của họ, và cách để xây dựng cộng đồng hỗ trợ cho những thay đổi đó về lâu dài. Điều này còn được bổ sung bởi loạt bài đăng trên blog Bình luận của Người tham gia năm 2019 và báo cáo năm 2020 Văn hóa nghiên cứu: Thay đổi cách chúng ta đánh giá nghiên cứu là khó, nhưng không phải là không thể.

Dựa trên động lực của cuộc họp chung, rõ ràng là có mong muốn thúc đẩy sự thay đổi, nhưng lại thiếu các diễn đàn để các thành viên cộng đồng tập hợp lại nhằm thảo luận hiệu quả về cách thực hiện cải cách trong lĩnh vực của họ. Để đáp ứng nhu cầu này, vào năm 2020 DORA đã khởi xướng Cộng đồng Thực hành đầu tiên của nó, Nhóm Thảo luận của Nhà cấp vốn Nghiên cứu, cho các nhà cấp vốn nghiên cứu công và tư. Hai nhóm các nhà cấp vốn song song, một cho khu vực châu Á - Thái bình dương và một cho các khu vực châu Phi, châu Mỹ, và châu Âu, bây giờ họp ảo mỗi quý.

“DORA đã sớm nhận ra tầm quan trọng của đại diện khu vực và đó là chìa khóa cho sự tham gia nghiêm túc, ví dụ, ở châu Á - Thái bình dương”

Ginny Barbour, Phó Chủ tịch DORA

Các nhóm thảo luận của các nhà cấp vốn cung cấp không gian để thảo luận về các chính sách và thực hành đánh giá mới. Trong các cuộc họp nhóm thảo luận của các nhà cấp vốn, chúng tôi ngày càng nghe được rằng các nhà cấp vốn đã có quan tâm trong việc đổi mới - ví dụ, thông qua việc triển khai các CV dạng tường thuật cho việc cấp vốn cho các ứng viên. Vì nhóm này đã chú ý tới việc tránh tái tạo lại các cạm bẫy và định kiến có liên quan tới các CV truyền thống hơn, DORA và Tổ chức Cấp vốn cho Cộng đồng Thực hành Bình đẳng giới (FORGEN CoP) đã đồng tổ chức hai hội thảo dành cho các nhà cấp vốn nghiên cứu. Dựa vào thảo luận từ các hội thảo đó, một báo cáo ngắn đã được xuất bản đưa ra các bài học chính và các hành động được khuyến nghị. Để điều chỉnh phù hợp với các định nghĩa chung và các trường hợp điển hình, DORA cũng đã đồng tổ chức 2 hội thảo của các nhà cấp vốn với FORGEN CoP, Nghiên cứu và Đổi mới của Vương quốc Anh (UKRI), và Quỹ Khoa học Quốc gia Thụy Sĩ. Các bài học chính từ các hội thảo đó đã được chia sẻ trong một báo cáo trên blog mà đã đưa ra các nguyên tắc sử dụng các CV tường thuật trong đánh giá trợ cấp. Công việc của DORA xung quanh các CV dạng tường thuật đang tiếp diễn và sẽ tập trung vào việc kiểm tra các kết quả triển khai thông qua thử nghiệm.

Theo sau thành công của các nhóm thảo luận của các nhà cấp vốn, vào năm 2021 DORA đã triệu tập Nhóm Thảo luận các Sáng kiến Quốc gia và Quốc tế theo từng quý. Nhóm này gồm các tổ chức và các sáng kiến, tương tự DORA, đang biện hộ cho cải cách đánh giá nghiên cứu và giúp tránh đúp bản công việc và hỗ trợ hành động tập thể.

Cuối cùng, các nhà nghiên cứu và các nhân viên xúc tác cho nghiên cứu ở các cơ sở học thuật cũng đã bày tỏ mong muốn có một không gian cộng đồng để thảo luận về các thách thức, đổi mới sáng tạo, và các cơ hội cho hành động tập thể. Để đáp ứng nhu cầu này, chúng tôi lập kế hoạch tạo ra một Cộng đồng Thực hành cho các thành viên từ các cơ sở học thuật vào cuối năm nay.

Phát triển tài nguyên và xây dựng nhận thức

Cải cách đánh giá nghiên cứu là vấn đề hệ thống chỉ có thể được giải quyết bằng hành động tập thể của tất cả các tác nhân trong hệ sinh thái học thuật. Để hỗ trợ cho điều này, vào năm 2020 DORA đã thành lập thư viện các tài nguyên với cả các tài nguyên được DORA và cộng đồng tạo ra để hỗ trợ thay đổi xuyên khắp dải rộng lớn các tác nhân, bao gồm các nhà xuất bản, nhà cấp vốn, và các viện nghiên cứu. Từ 2020, DORA đã sản xuất và đồng sản xuất một số tài nguyên chính cho dải rộng lớn các nhu cầu và khán thính phòng. Cân bằng, rộng lớn, có trách nhiệm: Hướng dẫn thực hành cho những người đánh giá nghiên cứu là một video và máy nhắn tin được đồng tạo lập với Quỹ Nghiên cứu Quốc gia Luxembourg để cung cấp các gợi ý về các thực hành tốt nhất cho những người rà soát lại trợ cấp. Cộng tác với Ruth Schmidt, Giáo sư Thỉnh giảng tại Viện Thiết kế trong Viện Công nghệ Illinois, DORA đã xuất bản một loạt các tài nguyên cho các cơ sở học thuật, bao gồm: phiếu đánh giá SPACE, tóm tắt các Khuynh hướng Hệ thống Nhận thức Không mong đợi và tóm tắt các Ý tưởng cho Hành động.

Khi một số các tổ chức học thuật tìm cách triển khai các thực hành đánh giá nghiên cứu có trách nhiệm đã gia tăng, có quá nhiều yêu cầu về các ví dụ cải cách trong hành động cụ thể. Để đáp ứng nhu cầu này, DORA, Hiệp hội các trường đại học châu Âu (EUA), và SPARC Europe đã khởi xướng kho lưu trữ các trường hợp điển hình “Hình dung lại đánh giá học thuật: các câu chuyện đổi mới sáng tạo và thay đổi” trong năm 2020. Đến tháng 5/2023, kho này có 13 trường hợp điển hình các quy trình thay đổi thực tế.

Kho các trường hợp điển hình không là tài nguyên duy nhất DORA đã tạo ra và cung cấp các ví dụ cụ thể về các quy trình thay đổi ở các cơ sở học thuật. Vào năm 2021, DORA đã được trạo trợ cấp 3 năm, 1,2 triệu USD từ Arcadia - một quỹ từ thiện của Lisbet Rausing và Peter Baldwin. Việc cấp vốn hào phóng này hỗ trợ cho các Công cụ để Cải thiện Đánh giá Nghiên cứu - TARA (Tools to Advance Research Assessment), một sự cộng tác với Sarah de Rijcke, Giáo sư về Khoa học và Nghiên cứu Đánh giá và là giám đốc của Trung tâm Nghiên cứu Khoa học và Công nghệ (CWTS) ở Đại học Leiden, và Ruth Schmidt. Các thành viên nhóm Dự án TARA cũng gồm Stephen Curry (DORA), Alex Rushforth (CWTS), Marta Sienkiewicz (CWTS), và Haley Hazlett (DORA). Dự án TARA gồm 3 kết quả đầu ra chính:

• Một công cụ cộng đồng sẽ theo dõi các quy trình, chính sách, và thực hành có liên quan tới đánh giá nghiên cứu có trách nhiệm ở các cơ sở học thuật. Công cụ này sẽ được phát hành trong năm 2023.

• Một khảo sát các cơ sở học thuật của nước Mỹ để có được hiểu biết tốt hơn về sự quen thuộc của họ với DORA và các cách tiếp cận tới đánh giá nghiên cứu có trách nhiệm; de Rijcke và Rushforth đã chia sẻ các kết quả đó qua preprint vào tháng 5/2023: Thực hành Đánh giá Nghiên cứu có Trách nhiệm: Nghiên cứu các đánh giá định tính việc tuyển dụng, thăng tiến, và nhiệm kỳ của giảng viên ở nước Mỹ.

• Bộ công cụ các tài nguyên cho các cơ sở học thuật để hỗ trợ cho các nỗ lực của họ để triển khai cải cách đánh giá nghiên cứu có trách nhiệm. Hai công cụ đầu tiên đã được phát hành trong năm 2022: Loại bỏ định kiến về thành phần ủy ban và các quy trình có chủ ý và Xây dựng các khối tác động.

Hỗ trợ trực tiếp

Trong năm 2021, DORA đã thực hiện các bước đầu tiên của nó để cung cấp hỗ trợ tài chính, trực tiếp cho các thành viên cộng đồng làm việc để hỗ trợ cho các chính sách và thực hành đánh giá nghiên cứu có trách nhiệm, bằng việc khởi xướng thí điểm Chương trình Trợ cấp Tham gia Cộng đồng. Trong năm 2022, 10 nhóm từ 9 quốc gia đã được trao vốn cấp cho các dự án trải từ nâng cao nhận thức và xây dựng liên minh, khảo sát thái độ hướng tới đánh giá nghiên cứu, tạo lập các khung đánh giá, và nhiều hơn nữa (đọc báo cáo của họ ở đây). Chương trình Trợ cấp Tham gia Cộng đồng đã trang bị cho biện hộ và thay đổi theo cách thức đặc thù ngữ cảnh, thể hiện rằng DORA có thể đóng vai trò trực tiếp hơn trong việc xúc tác thay đổi.

Ngoài việc không khuyến khích JIF: Đánh giá nghiên cứu có trách nhiệm, công bằng và tính mở

Dù bản thân tuyên bố là một sản phẩm của thời của nó và không nêu rõ “công bằng” hay “uyên thâm mở”, các thực hành đánh giá nghiên cứu có trách nhiệm có liên quan chặt chẽ với nhau. Vào năm 2020, Hatch, Curry và Barbour đã tiến hành xem xét kỹ Sự giao cắt giữa DORA, uyên thâm mở, và công bằng: “Ở đây chúng tôi xem xét sự giao cắt ngày một gia tăng giữa DORA và phong trào uyên thâm mở. Bằng việc làm rõ sự điều chỉnh phù hợp các giá trị và nguyên tắc chống trụ cho các nỗ lực đó, chúng tôi thấy rằng chúng làm nảy sinh các câu hỏi sống còn về công bằng và hòa nhập toàn diện trong nghiên cứu phải là trung tâm để cải cách trong các tổ chức nghiên cứu và cộng đồng học thuật rộng lớn hơn”.

Giao cắt giữa DORA, uyên thâm mở, và công bằng

DORA cũng đã cố gắng đưa ra các tiêu chuẩn hòa nhập toàn diện của riêng nó, công bố trong năm 2022 sự tái cấu trúc các thủ tục điều hành của chúng tôi để tái phân phối sức mạnh vượt ra khỏi châu Âu và Bắc Mỹ trong Ban Chỉ đạo và làm giảm các rào cản tài chính cho các tổ chức trong các nền kinh tế đang phát triển và chuyển đổi quá độ có mong muốn hỗ trợ DORA. Ban Chỉ đạo bây giờ bao gồm các thành viên từ hơn 15 quốc gia khắp Bắc và Nam Mỹ, châu Phi, châu Âu, và Châu Á - Thái bình dương. Đọc thêm về việc tái cấu trúc điều hành DORA trong bài Mười năm DORA của Curry 2023.

Tương lai của đánh giá nghiên cứu có trách nhiệm

Trong khi DORA đã trải nghiệm qua giai đoạn phát triển tăng cường về các khía cạnh mức độ phạm vi và tầm với trong 5 năm qua, chúng tôi không giảm tốc. Năm nay, chúng tôi đã công bố một kế hoạch chiến lược (bản dịch sang tiếng Việt) xác định 4 mục tiêu để cung cấp khung công việc và trọng tâm cho công việc của chúng tôi trong 3 năm tới. Trong những năm tới, chúng tôi sẽ làm việc để:

• Nâng cao nhận thức về các tác động tiêu cực của các thực hành đánh giá nghiên cứu mà quá phụ thuộc vào các thước đo không phù hợp, và các tác động tích cực của các thực hành lựa chọn thay thế

• Tăng tốc phát triển các biện pháp rõ ràng và cụ thể để cải cách đánh giá nghiên cứu

• Hỗ trợ biện hộ của cải cách đánh giá nghiên cứu khắp trên thế giới

• Đảm bảo việc cấp vốn cần thiết để phổ biến sứ mệnh của DORA càng hiệu quả và nhanh chóng càng tốt.

Thay đổi trên phạm vi toàn cầu và xuyên suốt vô số các tác nhân học thuật có thể là không thể nếu không có nhiều sáng kiến và các tổ chức có liên quan như Tuyên ngôn Leiden (bản dịch sang tiếng Việt), Các nguyên tắc Hong Kong về đánh giá các nhà nghiên cứu (bản dịch sang tiếng Việt), Diễn đàn Mỹ Latin về đánh giá nghiên cứu (FOLEC), Mạng lưới Quốc tế các Hiệp hội Quản lý Nghiên cứu (INORMS), và mới đây Liên minh về Cải thiện Đánh giá Nghiên cứu (CoARA). Khi chúng tôi kỷ niệm một thập kỷ của DORA, chúng tôi nhận thức được rằng vẫn còn nhiều việc phải làm. Việc thay đổi đánh giá nghiên cứu đòi hỏi các cách tiếp cận rộng khắp hệ thống và DORA sẽ tiếp tục cộng tác toàn cầu để hỗ trợ và dẫn dắt thay đổi hướng tới đánh giá nghiên cứu có trách nhiệm.

“DORA nợ nhiều người, từ các nhà cấp vốn gốc ban đầu trong phòng hội nghị ở San Francisco trong năm 2012, cho tới các liên minh từ khắp nơi trên thế giới, những người đã tụ tập đưa ra lời kêu gọi của tuyên bố ‘cải thiện các cách thức ở đó kết quả đầu ra nghiên cứu khoa học được đánh giá’. Trong suốt 10 năm đầu của nó, DORA đã dịch chuyển cải cách đánh giá nghiên cứu sang giai đoạn trung tâm và đã cộng tác rộng rãi để phát triển các giải pháp thực tế. Thách thức cho những năm tới là phải đảm bảo các giải pháp đó bén rễ sao cho các thực hành đánh giá của chúng ta phù hợp hoàn toàn với nguyện vọng cao nhất tốt nhất mà nghiên cứu có để cung cấp cho nhân loại”.

Stephen Curry, Chủ tịch DORA

Ginny Barbour là Phó Chủ tịch DORA

Haley Hazlett là Giám đốc Chương trình Hành động của DORA

As we wind down our tenth anniversary celebration this May 2023, we’re taking a look back at our evolution from a statement of principles to a global initiative for responsible research assessment, and the wider issues in research assessment that DORA has sought to address.

Why a declaration on research assessment?

“When quantitative measures have an outsized impact on how people are rewarded, it can increase the temptation to focus on a narrow set of activities and reduce investment in other meaningful, but less rewarded, achievements.”

DORA brief Unintended Cognitive & Systems Biases

When the San Francisco Declaration on Research Assessment (DORA) was drafted in 2012, publishing in prestigious journals with a high Journal Impact Factor (JIF) was, and for many still remains, one of the primary mechanisms for judging the “impact” and “quality” of a researcher’s work. DORA was derived initially to address the oversized impact that the JIF, a journal-level metric, had when used erroneously to assess the quality of individual research articles. Though the JIF can be skewed and variable across disciplines, it remains a frequently used metric to inform decisions around hiring, promotion, tenure, and funding. The pervasive use of inappropriate proxy measures of quality, like the JIF, feed into a “publish or perish” cycle that devalues scholarly contributions like engagement with local communities; rigor and reproducibility; the generation of intellectual property and software; mentorship; academic service; and work to improve diversity, equity & inclusion. Though others had raised issues with the JIF, DORA was the first collaborative initiative to address it.

It was in this environment that a group of like-minded publishers and academics convened to address pervasive misuse of the JIF and the devaluing of other scholarly contributions in research assessment practices. The Impact Factor Discussion Group, which gathered for the first time at the 2012 Annual Meeting of the American Society for Cell Biology (ASCB) and European Molecular Biology Organization (EMBO), worked to draft DORA over several months. The declaration was eventually published in May 2013 with 155 individual signatories and 82 organizational signatories including research funders, publishers, and professional societies. While DORA offers 18 recommendations for improving research assessment practices for funding agencies, institutions, publishers, organizations that supply metrics, and researchers, it is perhaps best known for its first general stricture: “Do not use journal-based metrics, such as Journal Impact Factors, as a surrogate measure of the quality of individual research articles, to assess an individual scientist’s contributions, or in hiring, promotion, or funding decisions.”

After its publication in 2013, a group of volunteers set out to make the declaration a rallying point for the responsible research assessment movement, collecting individual and organizational signatures to demonstrate the widespread support and solidarity among the academic community. These efforts were driven by many of the founding members, including Bernd Pulverer, Stefano Bertuzzi, Mark Patterson, and Sandy Schmid, plus other advocates such as Stephen Curry and Cationa MacCallum. After five years of gathering a coalition of support, DORA had collected signatures from 500 organizations and 12,000 individuals. It was time to make a change and move towards catalyzing action in a more concrete fashion.

Putting advocacy into practice

In February 2018 it was announced that DORA would intensify its efforts through direct action made possible by funding and in-kind support from ASCB, Cancer Research UK, the Company of Biologists, eLife, EMBO, F1000, Hindawi, PLOS, and Wellcome. This was accompanied by the launch of the DORA website and hiring DORA’s first full time staff member, Anna Hatch, who went on to become DORA’s first Program Director and a key catalyst who propelled DORA into action. Curry was named Chair of DORA in October 2018.

“I think culture change takes root and grows most efficiently when communities are engaged. DORA’s evolution from a declaration of intent to a global initiative is emblematic of the power of culture change. By bringing different viewpoints and perspectives in the academic ecosystem together to facilitate knowledge sharing, and by building coalitions, such as the funder discussion group, DORA demonstrates that change has a catalytic effect.”

Anna Hatch, DORA Program Director from 2018-2022

Convening, coalition building and expanding scope

Obtaining the funding to hire skilled and dedicated staff to support DORA’s mission fulltime was integral to the organization growing into a global initiative. From 2018 to 2022, Hatch deftly ushered in a new era of DORA characterized not only by increased signatory numbers but Nalso more outreach, advocacy, and coalition building within the broader academic community. This period also was a time when DORA consolidated its governance procedures and reached out beyond Europe and the Americas. In 2018, Hatch kicked off DORA’s five-year anniversary with a live-interview series featuring community members who were working to implement responsible research assessment at their institutions. In 2019, DORA also hosted a joint meeting with the Howard Hughes Medical Institute (HHMI) Driving Institutional Change for Research Assessment Reform that convened a group of scholarly actors from around the globe. The group explored practical approaches and strategies to reduce reliance on the JIF and inappropriate proxy measures of quality, to discuss how institutions might align their evaluation policies and practices with their values, and how to build a community to support these changes long-term. This was also complemented by a 2019 Participant Commentary blog series and a 2020 report Research Culture: Changing how we evaluate research is difficult, but not impossible.

Building on the momentum of the joint meeting it was clear that there was an appetite to drive change, but a lack of forums for community members to gather for productive discussions about how to implement reform in their sectors. To meet this need, in 2020 DORA launched its first ever Community of Practice, the Research Funder Discussion Group, for public and private research funders. Two parallel funder groups, one for the Asia-Pacific region and another for the Africa, Americas, and Europe regions, now meet virtually each quarter.

“DORA realized early on the importance of regional representation and that’s been key to serious engagement for example, in the Asia-Pacific.” 

Ginny Barbour, DORA Vice-Chair

The funder discussion groups provide a space to discuss new assessment policies and practices. During the funder discussion group meetings, we increasingly heard that funders were interested in innovating – for example, through implementing narrative style CVs for funding applicants. Because the group was keen to avoid recreating pitfalls and biases associated with more traditional CVs, DORA and the Funding Organisations for Gender Equality Community of Practice (FORGEN CoP) co-organized two workshops for research funders. Based on the discussion from these workshops, a short report was published outlining key takeaways and recommended actions. To align on shared definitions and use-cases, DORA also co-organized two funder workshops with FORGEN CoP, UK Research and Innovation, and the Swiss National Science Foundation. Key takeaways from these workshops were shared in a blog report that outlined common principles for the use of narrative CVs in grant evaluation. DORA’s work around narrative-style CVs is ongoing and will focus on testing the results of implementation through experimentation.

Following the success of the funder discussion groups, in 2021 DORA convened the quarterly National and International Initiatives Discussion Group. This group is composed of organizations and initiatives, like DORA, that are advocating for research assessment reform and is helping to avoid duplication of work and support collective action.

Finally, researchers and research-enabling staff at academic institutions have also expressed a desire for a community space to discuss challenges, innovations, and opportunities for collective action. To meet this need, we plan to create a Community of Practice for members from academic institutions later this year.

Resource development and building awareness

Research assessment reform is a systems problem that can only be addressed by the collective action of all actors in the scholarly ecosystem. To support this, in 2020 DORA created a resource library with both community- and DORA-produced resources to support change across a wide range of actors, including publishers, funders, and research institutes. Since 2020, DORA has produced or co-produced a number of key resources for a broad range of needs and audiences. Balanced, broad, responsible: A practical guide for research evaluators is a video and one-pager co-created with the Luxembourg National Research Fund to provide tips for best practices for grant reviewers. In collaboration with Ruth Schmidt, Associate Professor at the Institute of Design at the Illinois Institute of Technology, DORA has published numerous resources for academic institutions, including: The SPACE rubric, Unintended Cognitive Systems Biases brief and Ideas for Action brief.

As the number of academic organizations seeking to implement responsible academic assessment practices has increased, so too has demand for concrete examples of reform in action. To meet this demand, DORA, the European University Association (EUA), and SPARC Europe launched the case study repository “Reimagining academic assessment: stories of innovation and change” in 2020. As of May 2023, the repository includes 13 case studies of practical change processes.

The case study repository is not the only resource that DORA has created to provide concrete examples of change processes at academic institutions. In 2021, DORA was awarded a 3-year, $1.2M grant from Arcadia – a charitable fund of Lisbet Rausing and Peter Baldwin. The generous funding supports Tools to Advance Research Assessment (TARA), a collaboration with Sarah de Rijcke, Professor in Science and Evaluation Studies and director of the Centre for Science and Technology Studies (CWTS) at Leiden University, and Ruth Schmidt. Members of the Project TARA team also include Stephen Curry (DORA), Alex Rushforth (CWTS), Marta Sienkiewicz (CWTS), and Haley Hazlett (DORA). Project TARA consists of three key outputs:

• A community tool that will track processes, policies, and practices related to responsible research assessment at academic institutions. This will be released in 2023.

• A survey of U.S. academic institutions to gain a better understanding of their familiarity with DORA and approaches to responsible research assessment. de Rijcke and Rushforth shared these results via preprint in May 2023: Practicing Responsible Research Assessment: Qualitative study of Faculty Hiring, Promotion, and Tenure AMỹssessments in the United States.

• A toolkit of resources for academic institutions to support their efforts to implement responsible research assessment reform. The first two tools were released in 2022: Debiasing Committee Composition and Deliberative Processes and Building Blocks for Impact. 

Direct support

In 2021, DORA took its first steps to provide direct, financial support to community members working to support responsible research assessment policies and practices, by launching the pilot Community Engagement Grants Program. In 2022, 10 teams from 9 countries were awarded funds for projects ranging from awareness and coalition building, surveying attitudes towards research assessment, creation of frameworks for assessment, and much more (read their reports here). The Community Engagement Grants Program empowered advocacy and change in a context-specific manner, demonstrating that DORA could play a more direct role catalyzing change. 

Beyond discouraging the JIF: Responsible research assessment, equity and openness
Although the declaration itself is a product of its time and does not explicitly mention “equity” or “open scholarship”, responsible research assessment practices are intimately intertwined with both. In 2020, Hatch, Curry and Barbour took a critical look at The intersections between DORA, open scholarship, and equity: “Here we examine the growing interactions between DORA and the open scholarship movement. By clarifying the alignment of the values and principles that underpin both endeavors, we see that they raise vital questions about equity and inclusion in research that must be central to reform within research organizations and the wider scholarly community.”

The intersections between DORA, open scholarship, and equity

DORA has also endeavored to live up to its own standards of inclusion, announcing in 2022 a restructure of our governance procedures to redistribute power outside of Europe and North America on the Steering Committee and reduce financial barriers for organizations in developing or transitional economies that wish to support DORA. The Steering Committee now includes members from over 15 countries across North and South America, Africa, Europe, and the Asia-Pacific. Read more about DORA’s governance restructuring in Curry’s 2023 piece Ten years of Dora.

The future of responsible research assessment

While DORA has experienced an intensive period of growth in terms of scope and reach these past 5 years, we are not slowing down. This year, we announced a strategic plan that defines four objectives to provide the framework and focus for our work over the next three years. In the coming years, we will work to:

• Increase awareness of the negative impacts of research assessment practices that are too dependent on inappropriate metrics, and of the positive impacts of alternative practices

• Accelerate the development of clear and concrete measures to reform research assessment

• Support advocates of research assessment reform worldwide

• Secure the funding needed to deliver DORA’s mission as efficiently and as rapidly as possible.

Change on a global scale and across so many scholarly actors would not be possible without many related initiatives and organizations such as the Leiden Manifesto, the Hong Kong Principles for assessing researchers, the Latin American Forum for Research Assessment (FOLEC), International Network of Research Management Societies (INORMS), and the new Coalition on Advancing Research Assessment (CoARA). As we celebrate a decade of DORA, we are cognizant that there is still much to be done. Changing  research assessment requires system-wide approaches and DORA will continue to collaborate globally to support and drive change towards responsible research assessment.

“DORA owes a great deal to a great many people, from the original founders in that San Francisco conference room in 2012, to the allies from around the world who have rallied to the declaration’s call ‘to improve the ways in which the output of scientific research is evaluated’. In its first 10 years, DORA has moved research assessment reform to center-stage and collaborated widely to develop real solutions. The challenge for the years ahead is to ensure these solutions take root so that our assessment practices align fully with our highest aspirations for the best that research has to offer humanity.”

Stephen Curry, DORA Chair

Ginny Barbour is DORA’s Vice-Chair
Haley Hazlett is DORA’s Acting Program Director

Dịch: Lê Trung Nghĩa

letrungnghia.foss@gmail.com