Những mối đe dọa phổ biến đối với tính hợp lệ trong các nghiên cứu về việc áp dụng OER; hoặc, Ba câu hỏi cần đặt ra khi đọc các nghiên cứu về việc áp dụng OER

Pervasive Threats to Validity in the OER Adoption Research; or, Three Questions to Ask When You Read OER Adoption Research

November 6, 2023 · David Wiley

Theo: https://opencontent.org/blog/pervasive-threats-to-validity-in-the-oer-adoption-research-or-three-questions-to-ask-when-you-read-oer-adoption-research/

Bài được đưa lên Internet ngày: 06/11/2023

Khi tôi (đọc lại) nghiên cứu áp dụng OER qua lăng kính quan trọng hơn, tôi đang thấy một mô hình lặp đi lặp lại của các mối đe dọa đáng kể đối với tính hợp lệ trong các thiết kế của các nghiên cứu nhằm đo lường tác động của việc áp dụng OER lên kết quả đầu ra của sinh viên. Mặc dù có nhiều vấn đề về phương pháp luận cần xem xét nhưng trong bài viết này tôi sẽ thảo luận về ba vấn đề. Cụ thể tôi sẽ chia sẻ:

• ba câu hỏi bạn nên hỏi khi đọc nghiên cứu về tác động của việc áp dụng OER tới kết quả đầu ra của sinh viên,

• lý do tại sao bạn nên quan tâm đến câu trả lời cho những câu hỏi đó và

• những câu hỏi mà nghiên cứu thực sự đang giải quyết khi câu trả lời cho bất kỳ câu hỏi nào trong ba câu hỏi trên là “không”.

Ba câu hỏi cần đặt ra khi bạn đọc nghiên cứu về tác động của việc áp dụng OER

Hãy tự hỏi mình ba câu hỏi này khi bạn đọc nghiên cứu áp dụng OER - đặc biệt là nghiên cứu tuyên bố tìm ra tác động tích cực tới kết quả của sinh viên.

• Nghiên cứu có kiểm soát được sự khác biệt về giảng viên không?

• Nghiên cứu có kiểm soát được sự khác biệt trong hỗ trợ của giảng viên không?

• Nghiên cứu có kiểm soát được những khác biệt trong thiết kế giảng dạy của tài liệu học tập không?

Tại sao bạn nên quan tâm đến câu trả lời cho những câu hỏi này? Bởi vì khi câu trả lời cho bất kỳ câu hỏi nào trong số đó là “không”, nghiên cứu bạn đang đọc không thực sự cho bạn biết bất kỳ điều gì về tác động của OER đối với kết quả của sinh viên - nó cho bạn biết điều gì đó hoàn toàn khác.

Tại sao bạn nên quan tâm đến câu trả lời cho ba câu hỏi

Kiểm soát sự khác biệt về giảng viên

Một số giảng viên có năng lực giảng dạy tốt hơn (hiệu quả hơn) những người khác. Điều này có thể xuất phát từ việc họ áp dụng nhiều phương pháp giảng dạy dựa trên bằng chứng thực tiễn hơn. Cũng có thể do họ thể hiện sự quan tâm, hỗ trợ và niềm tin lớn hơn vào khả năng thành công của sinh viên; hoặc do họ thấu hiểu và linh hoạt hơn trước những biến cố trong cuộc sống của sinh viên. Ngoài ra, còn có những khác biệt quan trọng khác—dù không trực tiếp khiến một người trở thành giảng viên giỏi hơn—nhưng lại có thể đe dọa tính xác thực của các nghiên cứu nếu không được tính đến. Ví dụ, một số giảng viên có xu hướng chấm điểm "dễ" hơn những người khác, v.v.

Nhiều nghiên cứu thường bỏ qua cách thức các giảng viên sử dụng tài nguyên giáo dục mở (OER). Mặc dù đôi khi có những lý do khác (ví dụ: giảng viên thỉnh giảng bắt buộc phải sử dụng OER theo quy định của khóa học), nhưng tình huống phổ biến nhất là giảng viên tự quyết định chọn tài liệu học tập dựa trên quyền tự chủ học thuật của mình. Khi giảng viên không được phân bổ ngẫu nhiên vào nhóm thực nghiệm và nhóm đối chứng, hoặc ít nhất là không thực hiện các biện pháp tương đương hóa (như phương pháp ghép cặp theo điểm xu hướng - propensity score matching), thì gần như không thể tách biệt ảnh hưởng của giảng viên đối với kết quả học tập của sinh viên khỏi ảnh hưởng của OER hoặc các tài liệu có bản quyền truyền thống - TCM (Traditionally Copyrighted Materials).

Việc kiểm soát các yếu tố khác biệt giữa các giảng viên là vô cùng quan trọng, bởi tác động của giảng viên đối với việc học tập của sinh viên có thể lớn hơn nhiều so với tác động của cuốn giáo trình mà họ lựa chọn. Nếu các nhà nghiên cứu không kiểm soát những yếu tố này, những khác biệt về kết quả học tập do ảnh hưởng của giảng viên có thể lấn át sự khác biệt do tính chất "mở" của tài liệu học tập mang lại.

Kiểm soát sự khác biệt về mức độ hỗ trợ dành cho giảng viên

Các nghiên cứu về OER thường được thực hiện song song với các sáng kiến ​​triển khai OER ở cấp độ bộ môn, khoa, trường, hệ thống hoặc toàn tiểu bang. Những giảng viên tham gia các sáng kiến ​​này thường nhận được các quyền lợi như: đào tạo phát triển chuyên môn, sự hỗ trợ từ thủ thư và chuyên gia thiết kế bài giảng, giảm tải giờ dạy và/hoặc nhận thù lao. Ngược lại, những giảng viên không tham gia sáng kiến ​​OER sẽ không nhận được các hình thức hỗ trợ này.

Sẽ chẳng có gì đáng ngạc nhiên khi các giảng viên nhận được sự hỗ trợ bổ sung lại giảng dạy hiệu quả hơn những người không nhận được sự hỗ trợ đó. Hệ quả là, khi một nghiên cứu về sáng kiến ​​OER không mô tả các hình thức hỗ trợ và đãi ngộ mà sáng kiến ​​đó dành cho giảng viên sử dụng OER, chúng ta không thể xác định liệu những khác biệt quan sát được là do bản thân OER hay do sự hỗ trợ bổ sung mà giảng viên nhận được. Nếu các nhà nghiên cứu không kiểm soát các yếu tố này, những khác biệt về kết quả học tập của sinh viên bắt nguồn từ sự hỗ trợ bổ sung cho giảng viên có thể làm lu mờ những khác biệt do tính chất "mở" của tài liệu học tập mang lại.

Kiểm soát sự khác biệt trong thiết kế giảng dạy

Một số tài liệu học tập được thiết kế theo cách hỗ trợ việc học của sinh viên hiệu quả hơn so với những tài liệu khác. Nhiều tài liệu học tập được tạo ra bởi các nhóm chuyên gia có kiến ​​thức chuyên sâu về bộ môn, phương pháp sư phạm, thiết kế giảng dạy, khoa học về sự học, v.v. Trong khi đó, nhiều tài liệu OER lại do một giảng viên duy nhất biên soạn—người có bằng cấp chuyên môn cao nhưng lại thiếu sự đào tạo bài bản về thiết kế giảng dạy hiệu quả.

Hầu hết các nghiên cứu về tác động của OER gần như không cung cấp thông tin gì về chính tài liệu OER hay tài liệu thương mại truyền thống (TCM) được nhóm đối chứng sử dụng, ngoại trừ những gì có thể suy luận từ hình thức cấp phép của chúng. Sẽ ra sao nếu một nhóm sinh viên sử dụng sách giáo khoa in truyền thống, trong khi nhóm khác sử dụng nền tảng tương tác cung cấp bài tập không giới hạn kèm theo phản hồi chuẩn đoán tức thì? Sẽ ra sao nếu một giảng viên chọn tài liệu đi kèm với các slide PowerPoint để thuyết giảng, còn giảng viên khác lại chọn tài liệu có các hướng dẫn cụ thể để triển khai phương pháp học tập chủ động ngay trong giờ học?

Hay nói cách khác, hãy tưởng tượng một thử nghiệm lâm sàng mà báo cáo nghiên cứu chỉ mô tả nhóm thử nghiệm dùng một loại thuốc và nhóm đối chứng dùng một loại thuốc khác, nhưng lại hoàn toàn không đề cập đến thành phần hoạt chất trong cả hai loại thuốc đó! Tình trạng tương tự cũng xảy ra khi không có mô tả nào về thiết kế giảng dạy của tài liệu OER hoặc TCM.

Những khác biệt trong thiết kế giảng dạy sẽ tạo ra tác động lớn hơn đến kết quả học tập của sinh viên so với yếu tố cấp phép "mở" hay "độc quyền" của tài liệu học tập. Nếu các nhà nghiên cứu không kiểm soát các yếu tố này, những khác biệt về kết quả học tập bắt nguồn từ thiết kế sư phạm có thể làm lu mờ những khác biệt do tính chất "mở" của tài liệu học tập mang lại.

Vậy, phần lớn các nghiên cứu về tác động của việc áp dụng OER thực sự giải đáp được những câu hỏi nào?

Khi một nghiên cứu không kiểm soát được sự khác biệt giữa các giảng viên, thì điều mà nghiên cứu đó thực sự đo lường là: "Kết quả học tập khác nhau như thế nào giữa sinh viên học với những giảng viên chọn áp dụng các đổi mới như OER và sinh viên học với những giảng viên chọn không áp dụng các đổi mới đó?"

Khi một nghiên cứu không kiểm soát được sự khác biệt về hỗ trợ dành cho giảng viên, điều mà nghiên cứu đó thực sự đang đo lường là: “Sinh viên của những giảng viên được hỗ trợ tốt có kết quả học tập như thế nào so với sinh viên của những giảng viên không được hỗ trợ tốt?”

Khi một nghiên cứu không kiểm soát được sự khác biệt về thiết kế giảng dạy giữa OER và TCM, nghiên cứu đó thực sự đang hỏi: “Sinh viên được giảng dạy bằng phương pháp sư phạm X có kết quả học tập như thế nào so với sinh viên được giảng dạy bằng phương pháp sư phạm Y?”

As I’ve been (re-)reading OER adoption research through a more critical lens I’m seeing a recurring pattern of significant threats to validity in the designs of studies purporting to measure the impact of OER adoption on student outcomes. While there are numerous methodological issues to consider, in this essay I’ll discuss three. Specifically, I’ll share:

• three questions you should ask when you read research about the impact of OER adoption on student outcomes,

• the reasons why you should care about the answers to those questions, and

• the questions the study is really addressing when the answer to any of the three questions is “no.”

Three questions to ask when you read research on the impact of OER adoption

Ask yourself these three questions when you read OER adoption research - especially research that claims to find a positive impact on student outcomes.

• Did the study control for differences in instructors?

• Did the study control for differences in instructor support?

• Did the study control for differences in the instructional design of the learning materials?

Why should you care about the answers to these questions? Because when the answer to any of them is “no,” the research you’re reading doesn’t actually tell you anything about the impact of OER on student outcomes - it tells you something completely different.

Why you should care about the answers to the three questions

Controlling for differences in instructors

Some instructors are better teachers (more effective teachers) than others. This might be because they employ more evidence-based teaching practices than other instructors. It might be because they demonstrate more care, support, and belief in their students’ ability to succeed. It might be because they’re more understanding and flexible when life happens to their students. And there are other important differences that, while they don’t make someone a better instructor, can threaten the validity of studies if differences in instructors aren’t accounted for. For example, some are “easier graders” than others. &c.

Many research studies fail to address the way instructors end up using OER. While there is occasionally another explanation (e.g., adjuncts teaching a course being required to use OER), the most common scenario is that each instructor is exercising their academic freedom to choose their own course materials. When instructors aren’t randomly assigned to treatment and control, or at a minimum when some kind of matching isn’t done (like propensity score matching), it is literally impossible to separate the influence of the instructor on student learning from the influence of the OER or TCM (traditionally copyrighted materials).

It’s critical to control for differences in instructors because the effect of the instructor on student learning can be significantly larger than the effect of the textbook they choose. If the researchers didn’t control for them, differences in student learning attributable to the impact of the instructors can drown out differences attributable to the impact of the course materials being open.

Controlling for differences in instructor support

OER research is often conducted in conjunction with department, college, institution, system-wide, or statewide OER initiatives. Instructors who participate in these initiatives often receive professional development, support from a librarian, support from an instructional designer, a course release, and / or a stipend. Instructors who don’t participate in the OER initiative don’t receive this support.

It shouldn’t surprise anyone when instructors who receive additional support teach more effectively than instructors who don’t receive that support. Consequently, when a research study describing research associated with an OER initiative fails to describe the support and incentives the initiative provided to faculty who used OER, we can’t tell whether any observed differences are attributable to the OER or to the additional support the instructor received. If the researchers didn’t control for them, differences in student learning attributable to the impact of the additional instructor support can drown out differences attributable to the impact of the course materials being open.

Controlling for differences in instructional design

Some learning materials are designed in ways that support student learning more effectively than others. Many learning materials are created by teams of people with deep expertise in the discipline, pedagogy, instructional design, the learning sciences, &c. Many OER are created by a single instructor with a graduate degree in their discipline and no training whatsoever in the design of effective instruction.

Most research studies on the effects of OER tell us literally nothing about the OER or the TCM used by the control group beyond what can be inferred about their licensing. What if one group of students is using a printed textbook while another is using an interactive platform that provides unlimited practice with immediate, diagnostic feedback? What if one instructor has chosen materials that come with powerpoint slides for use in lecturing, and another instructor has chosen materials that come with explicit supports for doing active learning during class time?

Or, to say it differently, imagine a drug trial where the research report describes a treatment group whose members took a pill, and a control group whose members took a different pill, but there’s no description of the active ingredients in either pill! That’s essentially what’s happening when there’s no description of the instructional design of the OER or the TCM.

Instructional design differences will drive larger changes in student outcomes than the open or proprietary licensing of course materials. If the researchers didn’t control for them, differences in student learning attributable to the impact of the pedagogical design can drown out differences attributable to the impact of the course materials being open.

So what questions does most of the research on the impact of OER adoption actually answer?

When a study fails to control for differences in instructors, what that study is really measuring is, “How do outcomes differ when students take courses from the kind of instructors who choose to adopt innovations like OER compared to the students who take classes from the kind of instructors who choose not to?”

When a study fails to control for differences in instructor support, what that study is really measuring is, “How do the students of well-supported instructors perform compared to the students of instructors who are not as well supported?”

When a study fails to control for differences in instructional design between the OER and the TCM, the study is really asking, “How do students taught using pedagogical approach X perform compared to students taught using pedagogical approach Y?”

Dịch: Lê Trung Nghĩa

letrungnghia.foss@gmail.com