Web of Science lùi một bước như thế nào

How the Web of Science takes a step back

28/11/2024

Theo: https://www.coalition-s.org/blog/how-the-web-of-science-takes-a-step-back/

Bài được đưa lên Internet ngày: 28/11/2024

Web of Science, một dịch vụ đánh chỉ mục thương mại chủ chốt của các tạp chí khoa học được Clarivate vận hành, gần đây đã quyết định loại bỏ eLife khỏi Chỉ mục Trích dẫn Khoa học Mở rộng của nó (SCIE). eLife sẽ chỉ được đánh chỉ mục một phần trong Web of Science như một phần của Chỉ mục Trích dân nguồn Mới nổi lên (ESCI) của nó. Lý do đưa ra cho quyết định này là mô hình xuất bản sáng tạo của eLife được cho là xung đột với các tiêu chuẩn đảm bảo chất lượng của Web of Science. Bài đăng này trên blog viện lý rằng quyết định này chống lại lợi ích của khoa học và rốt cuộc sẽ gây tổn hại cho đổi mới và tính minh bạch trong nghiên cứu khoa học.

Nếu chúng ta muốn gặt hái lợi ích đầy đủ của khoa học thế kỷ 21, truyền thông học thuật cần cải cách và đổi mới[1]. Điều đó giải thích vì sao Viện Y học Howard Hughes (HHMI) và các tổ chức nghiên cứu cùng chí hướng đang hỗ trợ các cách tiếp cận mới về xuất bản khoa học. eLife, do HHMI, Wellcome, và Max Planck Society thành lập năm 2012, đã đưa ra những đổi mới như vậy kể từ khi nó được thành lập. Trong đóng góp chính đầu tiên của nó, eLife đã cải thiện rà soát lại ngang hàng bằng việc nhúng tham vấn giữa những người rà soát lại ngang hàng vào trong quy trình.

Quyết định

Vào năm 2023, eLife đã thông qua mô hình xuất bản mới đầy tham vọng, được tham chiếu tới như là mô hình “Xuất bản, Rà soát lại, Giám tuyển”, trong đó các phát hiện nghiên cứu lần đầu được xuất bản như là các bản preprints và các báo cáo rà soát lại ngang hàng và các đánh giá biên tập sau đó được xuất bản cùng với các bản preprints gốc ban đầu và các bài báo được sửa lại.

Web of Science đã loại bỏ eLife khỏi SCIE vì mô hình xuất bản mới có thể khiến một ấn phẩm nghiên cứu với bằng chứng “không đầy đủ” hoặc “không hoàn chỉnh”. Theo Clarivate eLife đã không “đưa ra các biện pháp hiệu quả nhằm ngăn chặn việc công bố nội dung bị xâm phạm”. Là một trong những người ủng hộ triển khai mô hình mới của eLife, tôi lo ngại quyết định này sẽ gây bất lợi cho việc áp dụng các mô hình xuất bản sáng tạo thử nghiệm các hình thức bình duyệt ngang hàng minh bạch và hữu ích hơn.

Điều khiến quyết định của Clarivate trở nên phản tác dụng là các tạp chí khác, sử dụng mô hình đánh giá ngang hàng truyền thống và bí mật, vẫn được lập chỉ mục trong Web of Science mặc dù một số bài báo họ xuất bản cũng có bằng chứng không đầy đủ hoặc không hoàn chỉnh. Sự khác biệt là họ không dán nhãn các bài báo này như vậy.

Do đó, quyết định này khen thưởng các tạp chí vẫn tiếp tục thực hiện hành vi vô ích là che giấu thông tin rà soát lại ngang hàng và vô tình trình bày các nghiên cứu không đầy đủ và không thỏa đáng dưới dạng khoa học hợp lý, đồng thời trừng phạt các tạp chí minh bạch hơn.

Quyết định của Clarivate khen thưởng các tạp chí vẫn tiếp tục thực hiện hành vi vô ích là che giấu thông tin rà soát lại ngang hàng và vô tình trình bày các nghiên cứu không đầy đủ và không thỏa đáng dưới dạng khoa học hợp lý, đồng thời trừng phạt các tạp chí … Share on X

Vượt ra khỏi rà soát lại ngang hàng Đạt/Không đạt

Các tạp chí truyền thống sử dụng quyết định biên tập để xuất bản như là dấu hiệu cho các độc giả của họ rằng bài báo đã vượt qua được rà soát lại ngang hàng và tiêu chuẩn của tạp chí về khoa học đúng đắn.

Như một sự ủy quyền, quyết định xuất bản này chỉ có thể truyền đi một mẩu thông tin: phê chuẩn. Ngược lại, eLife sử dụng các đánh giá biên tập, được những người rà soát lại eLife cộng tác tạo ra và đã xuất bản cùng với bài báo, như một sự ủy quyền cho quy trình rà soát lại ngang hàng. Thay vì là dấu triện phê chuẩn 1 chiều, các đánh giá biên tập của eLife tóm tắt các điểm mạnh và yếu và sử dụng các khái niệm tiêu chuẩn để xếp hạng các bài báo theo 2 chiều: tầm quan trọng và điểm mạnh của bằng chứng. Ví dụ, các khái niệm tiêu chuẩn xếp hạng trải từ “không đầy đủ” và “không hoàn chỉnh” ở đầu thấp cho tới “hấp dẫn” và “ngoại lệ” ở đầu cao.

Kết quả là, eLife quả thực xuất bản ngẫu nhiên các bài báo mà những người rà soát lại của eLife phán xét và đánh dấu như là có bằng chứng “không đầy đủ” hoặc “không hoàn chỉnh” sau lần làm lại cuối cùng, dù chúng đại diện chỉ cho một phần nhỏ tổng số các bài báo được xuất bản.

Mô hình của eLife vì thế làm rõ thực tế xuất bản khoa học mà hiện là không nhìn thấy.

Xuất bản các bài báo với bằng chứng không hoàn chỉnh hoặc không đầy đủ

Vậy, tại sao các tạp chí truyền thống lại xuất bản những nghiên cứu có bằng chứng không hoàn chỉnh hoặc không đầy đủ?

Bản thân tôi là một cựu biên tập viên, tôi biết rằng đôi khi các biên tập viên sẽ xuất bản các nghiên cứu chưa hoàn chỉnh với niềm tin rằng các bài viết này bao gồm thông tin quan trọng trong lĩnh vực tương ứng của họ mà những người khác sẽ cải thiện và xây dựng dựa trên. Vấn đề không phải là việc xuất bản các nghiên cứu như vậy mà là con dấu chấp thuận không minh bạch truyền tải điểm mạnh của bằng chứng mà đơn giản là không có. Quyết định của Clarivate báo hiệu với các tạp chí rằng họ có thể tiếp tục cung cấp cho độc giả ấn tượng (sai lầm) này rằng bằng chứng cho tất cả các bài viết của họ tốt hơn là không hoàn chỉnh. Ngược lại, mô hình eLife cho phép chia sẻ các loại nghiên cứu này, nhưng với bối cảnh đánh giá điểm mạnh của bằng chứng.

Trường hợp các bài báo với bằng chứng không đầy đủ là khác nhau.

Biên tập viên tạp chí chắc chắn cố gắng từ chối các bài viết không đạt yêu cầu hoặc buộc tác giả phải sửa lại các bài viết đó khi có chỉ trích nghiêm trọng. Mặc dù những nỗ lực này có vẻ phù hợp và có ý nghĩa tốt ở cấp độ từng tạp chí, nhưng chúng lại thất bại ở cấp độ hệ thống xuất bản. Tác giả có thể chỉ cần gửi một bài viết bị từ chối ở một tạp chí này đến một tạp chí khác mà không cần ghi chú, nơi cuối cùng bài viết có thể được xuất bản. Do đó, các bài viết có bằng chứng không đủ sẽ được xuất bản mà không có bất kỳ cờ hoặc bình luận nào ghi nhận vấn đề, làm ô nhiễm tài liệu khoa học.

Đánh giá ngang hàng không phải là hoàn hảo ngay từ đầu. Thật vậy, các nghiên cứu[2] về đánh giá ngang hàng đã chỉ ra rằng các chuyên gia đánh giá thường bỏ sót những lỗi được cố tình chèn vào bản thảo bởi những người thiết kế nghiên cứu. Việc phát hiện lại những lỗi này trong các vòng đánh giá ngang hàng bí mật liên tiếp tại các tạp chí khác nhau khiến nhiệm vụ giữ cho các bài viết không đạt yêu cầu không bị từ chối ngày càng trở nên khó khăn hơn.

Thêm vào vấn đề này, nhóm chuyên gia đánh giá sẽ cạn kiệt sau mỗi vòng đánh giá. Kết quả tất yếu là các bài viết không đạt yêu cầu được xuất bản với con dấu chấp thuận của đánh giá ngang hàng trên các tạp chí vẫn được liệt kê trên Web of Science.

Hơn nữa, bản chất bảo mật của việc bình duyệt ngang hàng tại các tạp chí truyền thống khiến cho việc nắm bắt toàn bộ mức độ của vấn đề trở nên khó khăn. Do đó, không rõ liệu các tạp chí này xuất bản nhiều hay ít bài viết không đầy đủ hơn eLife. Nhưng khi họ xuất bản những nghiên cứu đó, thiệt hại sẽ nghiêm trọng hơn eLife vì độc giả bị dẫn dắt để tin rằng các bài viết báo cáo khoa học hợp lý.

Người lập chỉ mục có thể thúc đẩy thay đổi như thế nào

Khoa học cần các dịch vụ lập chỉ mục vượt ra ngoài những khẳng định đơn thuần và yêu cầu các tạp chí chịu trách nhiệm về các tuyên bố của họ về chất lượng của các bài viết mà họ đánh giá và xem xét để xuất bản.

Ít nhất, các tạp chí nên nhấn mạnh rằng lịch sử rà soát lại ngang hàng trước đây của một bài viết được chia sẻ với các biên tập viên và người đánh giá ngang hàng của họ.

Tác giả có thể xứng đáng được xem xét lại bài viết của mình, nhưng không thể không thuyết phục những người đánh giá mới rằng những người đánh giá trước đã sai. Các tác giả của eLife hiện có thể mang bản in trước đã được eLife đánh giá của mình đến các tạp chí khác để xuất bản, bao gồm cả các bản preprints mà những người đánh giá của eLife cho là "không đầy đủ", nhưng các bản rà soát lại ngang hàng vẫn có thể truy cập công khai tại eLife.

Các dịch vụ lập chỉ mục cũng nên triển khai các giao thức để xem xét kỹ lưỡng xem các tạp chí có hiệu quả trong việc sửa các ấn phẩm bị thổi phồng hoặc có lỗi hay không. Khoa học dễ mắc lỗi và con dấu chấp thuận của tạp chí - hoặc thậm chí là quy trình đánh giá ngang hàng minh bạch như eLife - có thể khiến nó sai.

Các tạp chí có lẽ sẽ làm tốt hơn trong việc sửa hồ sơ đã xuất bản của họ nếu các dịch vụ lập chỉ mục này khiến họ phải chịu trách nhiệm nhiều hơn. Mô hình xuất bản mới của eLife giúp cho việc phát triển theo hướng này dễ dàng hơn. Ví dụ, các đánh giá biên tập có thể được cải thiện trong tương lai bằng cách cung cấp các bản sửa lại dựa trên phản hồi của chuyên gia.

Từ mối đe dọa nghề nghiệp đến huy hiệu danh dự

Khi chúng ta chấp nhận rằng các đánh giá đã công bố có thể thay đổi, phản ánh nhận thức ngày càng trưởng thành về công trình đã công bố trong số các chuyên gia, chúng ta thậm chí có thể vượt qua rào cản văn hóa đáng gờm nhất mà quá trình đánh giá ngang hàng minh bạch phải đối mặt: mối quan tâm dễ hiểu và phổ biến rằng các đánh giá quan trọng có thể nhấn chìm công trình và sự nghiệp của các tác giả. Nếu các tác giả làm đúng và công trình cuối cùng thành công trong việc lật đổ một giáo điều đã tồn tại từ lâu, các đánh giá tiêu cực ban đầu có thể trở thành huy hiệu danh dự. Chúng chứng minh, trong hồ sơ viết, những thách thức mà các tác giả phải đối mặt trên con đường công nhận công trình của họ.

Thật không may, quyết định của Clarivate về việc xóa eLife khỏi SCIE là một rào cản đối với tương lai, nơi những sai lầm không thể tránh khỏi của các tác giả, người rà soát lại ngang hàng và biên tập viên có thể được sửa chữa hiệu quả thông qua ý kiến chuyên gia mà mọi người đều có thể thấy và hưởng lợi.

-------------------

References

^[1] Sever R (2023) Biomedical publishing: Past historic, present continuous, future conditional. doi.org/10.1371/journal.pbio.3002234; Stern BM, O’Shea EK (2019) A proposal for the future of scientific publishing in the life sciences. doi.org/10.1371/journal.pbio.3000116

^[2] Baxt, William G et al. (1998) Who Reviews the Reviewers? Feasibility of Using a Fictitious Manuscript to Evaluate Peer Reviewer Performance. doi.org/10.1016/S0196-0644(98)70006-X; Godlee F, Gale CR, Martyn CN (1998) Effect on the Quality of Peer Review of Blinding Reviewers and Asking Them to Sign Their Reports: A Randomized Controlled Trial.  doi:10.1001/jama.280.3.237; Schroter S, Black N, Evans S, Godlee F, Osorio L, Smith R. (2008) What errors do peer reviewers detect, and does training improve their ability to detect them? doi:10.1258/jrsm.2008.080062

Tiết lộ

Bài viết trên blog này do Bodo Stern, Trưởng phòng Sáng kiến Chiến lược tại Viện Y khoa Howard Hughes (HHMI) biên soạn. HHMI là thành viên sáng lập và là đơn vị tài trợ chính của eLife.

Cập nhật (ngày 28/11)

Bài đăng trên blog này đã được cập nhật để lưu ý rằng Web of Science gần đây đã quyết định xóa eLife khỏi Science Citation Index Expanded (SCIE). eLife sẽ chỉ được lập chỉ mục một phần trong Web of Science như một phần của Emerging Sources Citation Index (ESCI).

-------------------------------------

Bodo Stern

Bodo Stern là Trưởng phòng Sáng kiến Chiến lược tại Viện Y khoa Howard Hughes (HHMI). Ông làm việc trực tiếp với chủ tịch và nhóm điều hành cấp cao của HHMI để xây dựng và thực hiện các sáng kiến và định hướng chiến lược của tổ chức, tập trung vào việc tăng cường đầu tư của HHMI vào nghiên cứu và giáo dục khoa học. Bodo cũng chịu trách nhiệm về các hoạt động hợp tác từ thiện của Viện nhằm thúc đẩy khoa học. Trước đây, ông từng là giám đốc phát triển và chiến lược của HHMI. Trước khi gia nhập HHMI, Bodo đã làm giám đốc nghiên cứu tại Trung tâm Sinh học Hệ thống Harvard trong tám năm, nơi ông giúp quản lý Chương trình Bauer Fellows, một sáng kiến độc đáo giúp các nhà khoa học trẻ có cơ hội điều hành các nhóm nghiên cứu độc lập. Ông cũng từng làm biên tập viên khoa học cấp cao tại Cell. Bodo lấy bằng Tiến sĩ về hóa sinh tại University College, London và bằng Thạc sĩ về hóa sinh tại Đại học Tübingen, Đức. Nghiên cứu chính của ông khám phá cách các tế bào sửa lỗi nhiễm sắc thể trong quá trình phân chia tế bào.

The Web of Science, a major commercial indexing service of scientific journals operated by Clarivate, recently decided to remove eLife from its Science Citation Index Expanded (SCIE). eLife will only be partially indexed in Web of Science as part of its Emerging Sources Citation Index (ESCI). The justification offered for this decision is that eLife’s innovative publishing model was deemed to conflict with the Web of Science’s standards for assuring quality. This blog post argues that this decision works against the interest of science and will ultimately harm innovation and transparency in scientific research.

If we want to reap the full benefits of 21st-century science, scholarly communication needs reform and innovation[1]. That’s why the Howard Hughes Medical Institute (HHMI) and like-minded research organizations are supporting new approaches to scientific publishing. eLife, founded by HHMI, Wellcome, and the Max Planck Society in 2012, has delivered such innovations since its inception. In its first major contribution, eLife improved peer review by embedding consultation among peer reviewers into the process. Given this record, it is troubling that Web of Science recently decided to de-list eLife from its major index, especially considering that its publicly stated criteria for journal evaluation include the requirement that “published content must reflect adequate and effective peer review and/or editorial oversight”. Rather than helping move scholarly communication forward, Web of Science, by punishing a leader in the field, is in fact holding it back.

The decision

In 2023, eLife adopted an ambitious new publishing model, referred to as “Publish, Review, Curate”, in which research findings are first published as preprints and subsequent peer review reports and editorial assessments are published alongside the original preprints and revised articles.

Web of Science de-listed eLife from SCIE because the new publishing model can result in the publication of studies with “inadequate” or “incomplete” evidence. According to Clarivate eLife failed “to put effective measures in place to prevent the publication of compromised content”. As one of the people who supported the implementation of eLife’s new model, I worry that this decision penalizes the adoption of innovative publishing models that experiment with more transparent and useful forms of peer review.

What makes Clarivate’s decision so counterproductive is that other journals, which use the traditional and confidential peer review model, remain indexed in the Web of Science even though some of the articles they publish also have inadequate or incomplete evidence. The difference is that they do not label these articles as such.

The decision therefore rewards journals for continuing the unhelpful practice of keeping peer review information hidden and unintentionally presenting incomplete and inadequate studies as sound science and punishes those journals that are more transparent.

Clarivate's decision rewards journals for continuing the unhelpful practice of hiding peer review information and unintentionally presenting incomplete and inadequate studies as sound science and punishes those journals that are more… Share on X

Beyond Pass/Fail Peer Review

Traditional journals use the editorial decision to publish as the signal to their readers that the article has passed peer review and the journal’s standard of sound science.

As a proxy, the decision to publish can only transmit one piece of information: approval. In contrast, eLife uses editorial assessments, produced collaboratively by eLife reviewers and published with the article, as a proxy for the peer review process. Rather than being a one-dimensional stamp of approval, eLife editorial assessments summarize strengths and weaknesses and use standard terms to rank articles on two dimensions: significance and strength of evidence. For example, the ranked standard terms for strength of evidence range from “inadequate” and “incomplete” at the low end to “compelling” and “exceptional” at the high end.

As a result, eLife does indeed occasionally publish articles that eLife reviewers judge and mark as having “inadequate” or “incomplete” evidence after final revisions, although these represent only a small fraction of the total articles published.

eLife’s model thus makes visible a reality of scientific publishing that is currently invisible.

Publishing articles with incomplete or inadequate evidence

So, how do traditional journals end up publishing studies with incomplete or inadequate evidence?

As a former editor myself, I know that editors will sometimes publish incomplete studies in the belief that these articles include important information in their respective fields that others will improve and build on. The problem isn’t the publication of such studies but the non-transparent stamp of approval which conveys a strength of evidence that simply isn’t there. Clarivate’s decision signals to journals that they can continue to give readers this (false) impression that the evidence for all their articles is better than incomplete.  By contrast, the eLife model allows for the sharing of these types of studies, but with the context of an evaluation of the strength of the evidence.

The case for articles with inadequate evidence is different.

Journal editors certainly try to reject inadequate articles or compel authors to revise such articles in light of serious criticism. While these efforts seem appropriate and well-meaning at the level of individual journals, they break down at the level of the publishing system. Authors can simply submit an article rejected at one journal to another journal without note, where it may ultimately be published. Articles with inadequate evidence thus end up being published without any flag or commentary noting the problem, polluting the scientific literature.

Peer review isn’t foolproof to begin with.  Indeed, studies[2] on peer review have shown that expert reviewers often miss flaws that were deliberately inserted into manuscripts by the studies’ designers. Re-discovering these flaws in successive rounds of confidential peer review at different journals makes the task of keeping inadequate articles rejected increasingly harder.

Adding to this problem, the pool of expert reviewers is depleted with every round of review. The inevitable outcome is that inadequate articles are published with the stamp of approval from peer review in journals that remain listed on Web of Science.

Moreover, the confidential nature of peer review at traditional journals makes it hard to grasp the full extent of the problem. It is thus unclear whether these journals publish more or fewer inadequate articles than eLife. But when they do publish those studies, the damage is more serious than at eLife because readers are led to believe that the articles report sound science.

How indexers can drive change

Science needs indexing services that move beyond mere assertions and hold journals accountable for their claims about the quality of articles they review and consider for publication.

At minimum, journals should insist that the prior peer review history of an article is shared with their editors and peer reviewers.

Authors may deserve fresh eyes on their articles, but not without convincing the new reviewers that prior reviewers got it wrong. eLife authors can already take their eLife reviewed preprints to other journals for publication, including preprints that eLife reviewers deemed “inadequate”, but the peer reviews remain publicly accessible at eLife.

Indexing services should also implement protocols that scrutinize whether journals effectively correct hyped or flawed publications. Science is error-prone and a journal’s stamp of approval – or even a transparent peer review process such as eLife’s – can get it wrong.

Journals would perhaps do a better job at correcting their published record if these indexing services held them more accountable. eLife’s new publishing model makes it easier to evolve in this direction. For example, editorial assessments can be improved in the future by offering revisions based on expert feedback.

From career threat to badge of honor

When we accept that published assessments can change, reflecting the maturing perception of the published work among experts, we may even overcome the most formidable cultural barrier that transparent peer review faces: the understandable and widespread concern that critical reviews can sink the work and career of the authors. If the authors got it right and the work eventually succeeds in overturning a long-held dogma, initial negative reviews can turn into a badge of honor. They demonstrate, in the written record, what challenges the authors faced on the road to recognition of their work.

Unfortunately, the decision by Clarivate to de-list eLife from SCIE is a barrier to a future where the inevitable errors of authors, peer reviewers and editors can be effectively corrected through expert input that everybody can see and benefit from.

-----------------------

Disclosure

This blog is authored by Bodo Stern, Chief of Strategic Initiatives at the Howard Hughes Medical Institute (HHMI). HHMI is a founding member and major funder of eLife.

Update (28 November)

This blog post has been updated to note that the Web of Science recently decided to remove eLife from its Science Citation Index Expanded (SCIE). eLife will only be partially indexed in Web of Science as part of its Emerging Sources Citation Index (ESCI).

------------------------------

Bodo Stern

Bodo Stern is the Chief of Strategic initiative at Howard Hughes Medical Institute (HHMI). He works directly with HHMI’s president and senior executive team to formulate and execute the organization’s strategic initiatives and direction, with emphasis on enhancing HHMI’s investment in research and science education. Bodo is also responsible for the Institute’s philanthropic collaborations to advance science. He previously served as HHMI’s chief development and strategy officer. Before joining HHMI, Bodo served for eight years as director of research affairs at the Harvard Center for Systems Biology, where he helped to manage the Bauer Fellows Program, a unique initiative that gives young scientists the opportunity to run independent research groups. He also has worked as a senior scientific editor at Cell. Bodo earned a PhD in biochemistry from University College, London, and an MA in biochemistry from the University of Tübingen, in Germany. His primary research explored how cells correct chromosome errors during cell division.

Dịch: Lê Trung Nghĩa

letrungnghia.foss@gmail.com