Nơi Giáo dục Mở Gặp AI Tạo sinh: OELM

Thứ sáu - 27/06/2025 06:22

Where Open Education Meets Generative AI: OELMs

December 13, 2024 by opencontent

Theo: https://opencontent.org/blog/archives/7628

Bài được đưa lên Internet ngày: 13/12/2024

CẬP NHẬT: Tôi đã đổi tên của loạt bài này từ “các mô hình ngôn ngữ giáo dục mở” thành “các môi trường học tập mở tạo sinh” như được giải thích ở đây. Mặc dù tên đã thay đổi, các mục tiêu và cách tiếp cận tới các bài đó vẫn giữ nguyên.

Lời nói đầu

Người phụ nữ phi thường đã hướng dẫn tôi trong suốt thời gian học sau đại học và đồng chủ trì ủy ban tiến sĩ của tôi, Tiến sĩ Laurie Nelson, thường xuyên nói chuyện với tôi về ý tưởng "suy nghĩ tốt nhất hiện tại". Việc mô tả một cái gì đó là "suy nghĩ tốt nhất hiện tại" của bạn cho phép bạn chia sẻ vị trí của mình trong công việc đồng thời làm rõ rằng suy nghĩ của bạn vẫn sẽ phát triển trong tương lai.

Điều cực kỳ quan trọng cần nhớ là cả giáo dục mở và AI tạo sinh đều là công cụ và phương pháp tiếp cận - chúng là phương tiện để đạt được mục đích, phương pháp để hoàn thành mục tiêu hoặc giải quyết vấn đề. Tôi quan tâm đến việc giải quyết các vấn đề về khả năng tiếp cận và hiệu quả trong giáo dục. Tôi nghĩ rằng giáo dục mở và AI tạo sinh có nhiều điều để cung cấp hướng giải quyết cho những vấn đề này. Nhưng ngay từ đầu, tôi muốn cảnh báo tất cả chúng ta (kể cả tôi) không nên quá say mê giáo dục mở hoặc AI tạo sinh trong chính bản thân chúng. Như người ta nói, bạn nên yêu vấn đề của mình, chứ không phải giải pháp của mình.

Dưới đây là suy nghĩ tốt nhất hiện tại của tôi về cách giáo dục mở và AI tạo sinh có thể kết hợp với nhau để giúp chúng ta đạt được tiến bộ trong các vấn đề về khả năng tiếp cận và hiệu quả. Nó chắc chắn sẽ phát triển trong tương lai.

Giới thiệu

Bozkurt và hơn 40 đồng tác giả (Bozkurt, et al., 2024) cung cấp một danh mục toàn diện về những cách mà AI tạo sinh có thể gây hại cho giáo dục. Danh sách đó bao gồm:

Khoảng cách số và bất bình đẳng trong giáo dục

GenAI có thể làm trầm trọng thêm tình trạng bất bình đẳng hiện có trong giáo dục:

Quyền truy cập không bình đẳng: Chi phí cao của các công cụ GenAI tiên tiến cùng với các yêu cầu về cơ sở hạ tầng hạn chế khả năng tiếp cận của sinh viên và các tổ chức kém may mắn.
Mở rộng khoảng cách: Những người có quyền truy cập vào các dịch vụ GenAI cao cấp có thể đạt được những lợi thế làm tăng sự chênh lệch giữa những người học giàu có và những người học kém may mắn.
Bất bình đẳng toàn cầu: Các nước đang phát triển có thể thiếu cơ sở hạ tầng để hỗ trợ GenAI, cản trở sự tiến bộ của giáo dục.

Thương mại hóa và tập trung quyền lực

Việc phát triển và kiểm soát GenAI do vài tập đoàn lớn chi phối, gây ra một số lo ngại:

Big Tech kiếm lời: Các công ty có thể ưu tiên lợi nhuận hơn các cân nhắc về đạo đức, tác động tiêu cực đến giáo dục.
Hợp tác hạn chế với giới hàn lâm: Việc thiếu quan hệ đối tác giữa các công ty công nghệ và các tổ chức giáo dục cản trở sự đổi mới và minh bạch.
Độc quyền kiến thức: Việc tập trung phát triển GenAI trong các tập đoàn có thể dẫn đến việc kiểm soát thông tin và nội dung giáo dục.

Thiếu sự đại diện

GenAI có thể phản ánh và duy trì sự thiên vị của xã hội thông qua:

Quan điểm lấy phương Tây làm trung tâm: Các mô hình GenAI được đào tạo chủ yếu trên dữ liệu phương Tây có thể không thể hiện đầy đủ sự đa dạng toàn cầu.
Hạn chế về ngôn ngữ: Sự chênh lệch giữa các ngôn ngữ có nhiều tài nguyên và ít tài nguyên có thể gây bất lợi cho những người không nói tiếng Anh.
Đồng nhất hóa văn hóa: GenAI có thể thúc đẩy một thế giới quan hạn hẹp, kìm hãm sự khác biệt về văn hóa.

Những lo ngại này có vẻ quen thuộc với những người làm việc trong lĩnh vực giáo dục mở. Đây là nhiều vấn đề tương tự mà những người ủng hộ giáo dục mở đã nêu ra về sách giáo khoa độc quyền và các tài liệu học tập độc quyền khác trong nhiều thập kỷ. Và cũng giống như tính mở là một công cụ mạnh mẽ để chống lại những vấn đề này bằng các tài liệu học tập truyền thống, tính mở có vai trò quan trọng trong việc giải quyết những lo ngại này bằng AI tạo sinh.

Hiểu về LLM (Mô hình ngôn ngữ lớn) như Tài liệu khóa học

Trong vài năm tới, tài liệu khóa học có khả năng sẽ chuyển từ định dạng trông giống sách giáo khoa truyền thống sang định dạng trông giống mô hình ngôn ngữ lớn (LLM) và các công cụ AI tạo sinh khác. Việc chuyển sang các công cụ này, đi kèm với những rủi ro như đã mô tả ở trên, đe dọa làm xói mòn tiến trình quan trọng hướng tới khả năng chi trả, khả năng tiếp cận và công bằng mà phong trào giáo dục mở đã đạt được. Hiểu rằng LLM là tài liệu khóa học có thể giúp chúng ta suy nghĩ rõ ràng hơn về tương lai của tài liệu khóa học có thể trông như thế nào và tại sao mở vẫn tiếp tục quan trọng trong tương lai.

Các nhà xuất bản tài liệu giáo dục lớn như Pearson, McGraw-Hill và Cengage dành rất nhiều thời gian và tiền bạc để tạo ra tài liệu khóa học độc quyền. Vì những sản phẩm này rất tốn kém và mất nhiều thời gian để tạo ra (đôi khi lên tới hàng triệu đô la cho mỗi sản phẩm), nên hầu hết các giảng viên đều áp dụng một trong những tài nguyên có sẵn này thay vì tự tạo ra tài nguyên của riêng mình.

Khoảng 25 năm trước, các cá nhân và sau đó là các tổ chức bắt đầu tạo ra các giải pháp thay thế được cấp phép mở cho các sản phẩm độc quyền này. Các nhà xuất bản OER lớn như OpenStax, Lumen và CMU OLI dành rất nhiều thời gian và tiền bạc để tạo ra nội dung mở. Các OER này có giá cả phải chăng hơn đáng kể so với các giải pháp thay thế độc quyền và, nhờ có giấy phép mở, có thể đóng vai trò là nền tảng cho nhiều cải tiến trong giảng dạy và học tập.

Trong không gian AI tạo sinh, các công ty như OpenAI, Anthropic và Google dành rất nhiều thời gian và tiền bạc để tạo ra các LLM độc quyền. Vì các LLM này rất tốn kém và mất nhiều thời gian để tạo ra (có thể lên tới hơn một trăm triệu đô la cho mỗi mô hình), nên hầu hết mọi người cuối cùng sử dụng một trong những mô hình này thay vì tự tạo ra mô hình của riêng họ.

Vài năm trước, các tổ chức bắt đầu tạo ra các giải pháp thay thế được cấp phép mở cho các LLM độc quyền này. Các tổ chức như Meta, Mistral và IBM dành nhiều thời gian và tiền bạc để tạo ra các LLM và cấp phép mở các trọng số mô hình để mọi người có thể giữ lại, tái sử dụng, sửa đổi, phối lại và phân phối lại chúng. Các mô hình "nền tảng" này cung cấp nền tảng mà trên đó bạn có thể xây dựng nhiều sáng kiến trong giảng dạy và học tập.

Người sáng tạo ra các tài liệu khóa học độc quyền	Người sáng tạo ra các tài liệu khóa học mở
Pearson, McGraw-Hill, Cengage	OpenStax, Lumen, CMU OLI

Người sáng tạo ra LLM độc quyền	Người sáng tạo ra LLM mở
OpenAI, Anthropic, Google	Meta, Mistral, IBM

Một hiểu biết quan trọng mà tôi có được thông qua kinh nghiệm đau thương trong 26 năm qua là: phần lớn giảng viên sẽ không áp dụng OER trừ khi nó đi kèm với tất cả các tài liệu bổ sung và các cải tiến chất lượng cuộc sống khác do các nhà xuất bản truyền thống cung cấp - slide bài giảng, bài tập có tiêu chí chấm điểm, bài tập về nhà được chấm điểm tự động, ngân hàng câu hỏi trắc nghiệm, v.v. (Một số ít giảng viên sẽ áp dụng mà không có những thứ này là những người thích tự tạo tài liệu bổ sung của riêng họ.) Chúng ta có thể mong đợi xu hướng áp dụng LLM trông tương tự.

Hãy nghĩ, trong một khoảnh khắc, về LLM như là "sách giáo khoa" của giai đoạn tiếp theo của tài liệu khóa học. Mặc dù tôi chưa sẵn sàng dự đoán rằng OpenAI, Anthropic và Google sẽ thay thế Pearson, McGraw-Hill và Cengage, nhưng tôi hoàn toàn sẵn sàng dự đoán rằng các nhà xuất bản lớn sẽ bắt đầu tạo ra các gói tài liệu bổ sung độc quyền được thiết kế riêng để sử dụng với các mô hình ngôn ngữ độc quyền. Thật khó để nói chính xác điều này sẽ như thế nào, nhưng có một điều chắc chắn: sự khác biệt trong thiết kế và định dạng của tài liệu khóa học trước và sau AI tạo ra sẽ còn rõ rệt hơn sự khác biệt giữa thiết kế và định dạng của tài liệu khóa học trước và sau Internet.

Thay vì chờ đợi cho đến khi các công cụ AI tạo ra độc quyền được áp dụng rộng rãi trên thị trường tài liệu khóa học và cần nỗ lực đáng kể để thay thế chúng, chúng ta nên chủ động ngay từ bây giờ để đảm bảo rằng những người hướng dẫn muốn sử dụng LLM làm tài liệu khóa học có thể tiếp cận các tùy chọn chất lượng cao, được cấp phép mở ngay từ đầu. Các tùy chọn đó phải bao gồm cả bản thân các mô hình và các tài nguyên bổ sung cần thiết để sử dụng chúng một cách dễ dàng và hiệu quả. Việc tạo và chia sẻ các Mô hình ngôn ngữ giáo dục mở (Open Education Language Model), hay OELM (phát âm là "elms"), là một ví dụ về một bước chủ động mà chúng ta có thể thực hiện để đảm bảo rằng các công cụ AI tạo ra có thể giúp chúng ta tiến lên về khả năng chi trả, khả năng tiếp cận và công bằng thay vì thụt lùi. (Chắc chắn là có nhiều bước khác có thể thực hiện. Đây là bước mà tôi hiện đang thực hiện.)

Mô hình ngôn ngữ giáo dục mở

Mô hình ngôn ngữ giáo dục mở (OELM) tập hợp một bộ sưu tập các thành phần được cấp phép mở cho phép sử dụng một mô hình ngôn ngữ được cấp phép mở một cách dễ dàng và hiệu quả để hỗ trợ việc giảng dạy và học tập.

Thành phần cơ bản của OELM là một tập hợp các trọng số mô hình, là "bộ não" của mô hình ngôn ngữ. Meta, IBM, Mistral, Alibaba và nhiều công ty khác đã tạo ra và chia sẻ các trọng số mô hình chất lượng cao, được cấp phép mở và tốn hàng chục triệu đô la - thậm chí có thể hơn một trăm triệu đô la - để tạo ra. Nếu chúng ta sử dụng chúng chính xác như chúng ta tìm thấy chúng, việc tương tác với các mô hình này thực sự có thể dẫn đến một số tác hại được mô tả ở trên. Nhưng vì các trọng số mô hình là mở, nên chúng ta có cơ hội sửa đổi và phối lại chúng. Vì các trọng số mô hình là mở, nên chúng ta có thể thay đổi cách người học và giáo viên tương tác với chúng để tăng khả năng tiếp cận, khả năng chi trả và công bằng. Vì các trọng số mô hình là mở, nên chúng ta có quyền tự quyết lớn hơn đáng kể.

Trong OELM, các trọng số mô hình mở được bổ sung bởi các thành phần khác giúp chúng dễ sử dụng hơn, giải quyết các mối quan tâm chính về AI tạo sinh trong giáo dục và trả lời các câu hỏi bao gồm:

Làm thế nào để tôi sử dụng nó một cách hiệu quả?
Tôi có thể tin tưởng vào các phản hồi của nó là chính xác không?
Tôi có thể tin tưởng vào tính phù hợp của hành vi đó không?

Tôi sử dụng nó hiệu quả như thế nào? Một OELM bao gồm một bộ sưu tập toàn diện các lời nhắc được viết sẵn. Những lời nhắc này được thiết kế để hỗ trợ nhiều hoạt động khác nhau. Đối với người học, các hoạt động này có thể bao gồm các cuộc tranh luận, lập luận hoặc đối thoại, khám phá các khái niệm và ý tưởng mở, đặt câu hỏi làm rõ và nhận được câu trả lời cá nhân hóa, và tham gia vào quá trình đánh giá tương tác với phản hồi chẩn đoán ngay lập tức. Đối với giáo viên, các hoạt động này có thể bao gồm lập kế hoạch bài học, thiết kế bài tập học tập tích cực để sử dụng trong lớp học, phân biệt hướng dẫn, sửa đổi hoặc phối lại OER và soạn thảo phản hồi về bài tập của học sinh.

Tôi có thể tin tưởng vào phản hồi của nó là chính xác không? Một OELM bao gồm một bộ sưu tập OER được quản lý mà mô hình đó sử dụng để tạo sinh tăng cường truy xuất - RAG (Retrieval Augmented Generation). RAG là một quy trình mà các phản hồi của các mô hình được làm chính xác hơn và hoạt động như sau. Khi giáo viên hoặc người học gửi lời nhắc cho mô hình, trước khi lời nhắc được gửi đến mô hình, thông tin có liên quan sẽ được tìm kiếm trong bộ sưu tập OER và được thêm vào lời nhắc. Sau đó, mô hình sử dụng thông tin đã lấy từ OER làm cơ sở cho phản hồi của mình với người dùng, tăng cường kiến thức chung về chủ đề trước khi tạo ra phản hồi. Về mặt khái niệm, điều này tương tự như cách một thủ thư có thể tham khảo một tác phẩm tham khảo trước khi trả lời một câu hỏi.

Tôi có thể tin tưởng vào hành vi của nó là phù hợp không? Một OELM bao gồm một bộ sưu tập nội dung mở được thiết kế đặc biệt có thể được sử dụng để điều khiển hành vi của mô hình. Điều này có thể được nhúng vào lời nhắc hệ thống (lời nhắc mà người dùng không nhìn thấy nhưng điều khiển hành vi của mô hình ở chế độ nền) hoặc được sử dụng để tinh chỉnh. Tinh chỉnh là quá trình mà hành vi của mô hình được thay đổi vĩnh viễn theo một cách mong muốn nào đó. Trong bối cảnh OELM, tinh chỉnh là quá trình mà một mô hình có thể được tạo ra để hoạt động theo hướng sư phạm hơn. Ví dụ, một mô hình được tinh chỉnh để hoạt động như một nhân viên dịch vụ khách hàng hữu ích (như ChatGPT) trả lời trực tiếp các câu hỏi của học sinh, trong khi một mô hình được tinh chỉnh để hoạt động theo hướng sư phạm hơn có thể hỏi học sinh thêm các câu hỏi hoặc cung cấp gợi ý trước khi đưa ra câu trả lời. Về mặt khái niệm, tinh chỉnh một mô hình tương tự như việc cung cấp cho một sinh viên tốt nghiệp hiểu biết một vài giờ đào tạo để họ có thể trở thành một gia sư hiệu quả hơn.

Mỗi thành phần trong bốn thành phần này – trọng số mô hình, nội dung để tinh chỉnh, nội dung cho RAG và lời nhắc được viết sẵn – đều có thể được cấp phép công khai, cung cấp cho giáo viên, người học và những người khác quyền tham gia vào các hoạt động 5R. Hãy coi trọng số mô hình là sách giáo khoa cốt lõi và các thành phần khác là tài liệu bổ sung cần thiết để áp dụng rộng rãi. Và giống như OER truyền thống, khả năng sao chép, chỉnh sửa và chia sẻ lời nhắc và các thành phần OELM khác có nghĩa là chúng có thể được bản địa hóa để đáp ứng tốt nhất nhu cầu của từng người học, giảm thiểu tác hại tiềm ẩn liên quan đến AI tạo sinh và tăng khả năng tiếp cận, khả năng chi trả và công bằng.

Các thành phần của một Mô hình Ngôn ngữ Giáo dục Mở (OELM)

Chạy cục bộ OELM

R nền tảng trong khuôn khổ 5R là Giữ lại (Retain) – để tận dụng lợi thế của một nguồn tài nguyên giáo dục được cấp phép mở, bạn phải có khả năng tải xuống bản sao tài nguyên của riêng mình. Sau đó, bạn có thể lấy bản sao đã tải xuống đó và sửa đổi, phối lại, tái sử dụng và phân phối lại để đáp ứng nhu cầu của bạn và nhu cầu của những người xung quanh bạn. (Bạn sẽ lưu ý rằng không có "lớn" (Large) trong Mô hình ngôn ngữ giáo dục mở. Đó là vì các mô hình nhỏ là chìa khóa cho chiến lược này trong trung hạn đến dài hạn.)

Có một cộng đồng tích cực (ví dụ: Ollama, LM Studio, llama.cpp, v.v.) đang nỗ lực để giúp bạn dễ dàng tải xuống các mô hình trọng số mở và chạy chúng trên phần cứng của người tiêu dùng. Ngay bây giờ (vào cuối năm 2024), đã có nhiều mô hình trọng số mở có thể chạy trên máy tính để bàn, máy tính xách tay và thậm chí cả điện thoại thông minh mà không cần kết nối internet. Ví dụ, đối với Substack Reviewing Research on AI in Education (ngăn xếp phụ Rà soát lại Nghiên cứu về AI trong Giáo dục), tôi đã tạo ra một tác nhân (được hỗ trợ bởi mô hình trọng số mở Llama 3.1 chạy cục bộ trên máy tính xách tay của tôi thông qua Ollama) có thể đọc 150 – 300 bản tóm tắt mỗi sáng và đề xuất 3 – 5 bản tóm tắt hay nhất để tôi xem xét thêm.

Những tiến bộ trong việc chạy các mô hình cục bộ rất quan trọng vì những người không có quyền truy cập đáng tin cậy vào internet hiện không thể tận dụng AI tạo sinh để hỗ trợ việc giảng dạy và học tập. Tuy nhiên, khả năng chạy các mô hình cục bộ có nghĩa là OELM có thể được tải xuống ổ đĩa USB và gửi đến bất kỳ nơi nào có thiết bị phù hợp - sau đó sử dụng mà không cần quan tâm đến kết nối internet. Điều này làm tăng đáng kể số lượng người có thể hưởng lợi từ AI tạo sinh để hỗ trợ việc giảng dạy và học tập.

Khả năng chạy OELM cục bộ cũng giải quyết một số mối quan tâm của mọi người về AI tạo sinh. Ví dụ, nhiều người lo ngại về quyền riêng tư dữ liệu và cách dữ liệu của họ được các nhà cung cấp mô hình AI tạo sinh độc quyền sử dụng. Tuy nhiên, khi một mô hình chạy cục bộ trên thiết bị của người dùng, dữ liệu của người dùng sẽ không bao giờ rời khỏi thiết bị của họ - nghĩa là các nhà cung cấp độc quyền sẽ không bao giờ có quyền truy cập vào dữ liệu của người dùng. Việc chạy các mô hình nhỏ hơn trên các thiết bị cục bộ cũng giải quyết mối quan tâm về lượng điện, nước và các tài nguyên khác được các trung tâm dữ liệu khổng lồ phục vụ các mô hình AI tập trung tiêu thụ.

Và cuối cùng, khả năng tải xuống OELM và chạy chúng cục bộ cung cấp cho mọi người khả năng tham gia vào các hoạt động 5R. Bạn có thể tải xuống các trọng số mô hình - cũng như các thành phần khác - và chạy chúng cục bộ theo cách bạn tìm thấy hoặc sửa đổi và phối lại chúng trước. Việc trao quyền cho giáo viên và người học để họ có thể thực hiện đầy đủ hơn quyền tự quyết của mình đối với LLM sẽ là chìa khóa để kết hợp sức mạnh của mở và sức mạnh của AI tạo sinh nhằm cải thiện khả năng tiếp cận, khả năng chi trả và công bằng trong dài hạn.

Kết luận

Khi thị trường tài liệu khóa học bắt đầu chuyển đổi sang các sản phẩm và dịch vụ được AI hỗ trợ nhiều hơn, tính mở trở nên quan trọng hơn bao giờ hết đối với những người trong chúng ta quan tâm đến việc tăng khả năng tiếp cận, khả năng chi trả và công bằng. Có những bài học quan trọng mà chúng ta cần học về cách tận dụng AI hiệu quả để phục vụ cho việc giảng dạy và học tập, và cách thức mà quyền tự quyết bổ sung đi kèm với tính mở có thể giúp chúng ta thực hiện điều đó hiệu quả hơn nữa. Tôi rất vui khi bắt đầu học những bài học này. Hãy cho tôi biết nếu bạn quan tâm đến việc hợp tác trong lĩnh vực công việc này - Tôi đang lập kế hoạch cho học kỳ mùa xuân năm 2025.

Chủng loại artificial intelligence, equity, improving learning, open content

UPDATE: I have changed the name of this line of work from “open educational language models” to “generative open learning environments” as explained here. Though the name has changed, the goals of and approach to the work remain the same.

Prelude

The extraordinary woman who mentored me through graduate school and co-chaired my PhD committee, Dr. Laurie Nelson, frequently talked to me about the idea of “current best thinking.” Characterizing something as your “current best thinking” gives you permission to share where you are in your work while simultaneously making it clear that your thinking will still evolve in the future.

It is critically important to remember that both open education and generative AI are tools and approaches – they’re means to an end, methods for accomplishing a goal or solving a problem. I’m interested in solving problems of access and effectiveness in education. I think open education and generative AI have a lot to offer toward solutions to these problems. But I want to, from the outset, caution all of us (myself included) against becoming enamored with either open education or generative AI in and of themselves. As they say, you should fall in love with your problem, not your solution.

Below is my current best thinking about how open education and generative AI can come together to help us make progress on problems of access and effectiveness. It will definitely evolve in the future.

Introduction

Bozkurt and more than 40 co-authors (Bozkurt, et al., 2024) provide a comprehensive catalog of ways that generative AI might harm education. Their list includes:

Digital Divide and Educational Inequality

GenAI may exacerbate existing inequalities within education:

Unequal Access: High costs of advanced GenAI tools along with infrastructure requirements limit accessibility for underprivileged students and institutions.
Widening the Gap: Those with access to premium GenAI services may gain advantages that increase the disparity between wealthy and disadvantaged learners.
Global Inequities: Developing countries may lack the infrastructure to support GenAI, hindering educational progress.

Commercialization and Concentration of Power

The development and control of GenAI are dominated by a few large corporations, which poses several concerns:

Profiteering by Big Tech: Companies may prioritize profit over ethical considerations, impacting education negatively.
Limited Collaboration with Academia: Lack of partnership between tech companies and educational institutions hinders innovation and transparency.
Monopolization of Knowledge: Concentration of GenAI development within corporations can lead to control over information and educational content.

Lack of Representation

GenAI may reflect and perpetuate societal biases through:

Western-Centric Perspectives: GenAI models trained predominantly on Western data may not adequately represent global diversity.
Linguistic Limitations: Disparities between high- and low-resource languages may disadvantage non-English speakers.
Cultural Homogenization: GenAI may promote a narrow worldview, suppressing cultural differences.

These concerns should sound familiar to those working in open education. These are many of the same issues that open education advocates have raised about proprietary textbooks and other proprietary learning materials for decades. And just as openness has been a powerful tool for combatting these issues with traditional learning materials, openness has an important role to play in addressing these concerns with generative AI.

Understanding LLMs as Course Materials

Over the next several years course materials will likely shift from formats that look more like traditional textbooks toward formats that look more like large language models (LLMs) and other generative AI tools. The shift to these tools, which comes with the risks like those described above, threatens to erode important progress toward affordability, access, and equity made by the open education movement. Understanding that LLMs are course materials can help us think more clearly about what the future of course materials might look like and how and why open continues to be important going forward.

Large educational materials publishers like Pearson, McGraw-Hill, and Cengage spend a significant amount of time and money creating proprietary course materials. Because these products are so expensive and time-intensive to create (sometimes millions of dollars per product), most instructors end up adopting one of these pre-existing resources rather than creating their own.

About 25 years ago, individuals and then organizations began creating openly licensed alternatives to these proprietary products. Large OER publishers like OpenStax, Lumen, and CMU OLI spend a significant amount of time and money creating open content. These OER are significantly more affordable than the proprietary alternatives and, because of their open licensing, can serve as the foundation for a wide range of innovations in teaching and learning.

In the generative AI space, companies like OpenAI, Anthropic, and Google spend a significant amount of time and money creating proprietary LLMs. Because these LLMs are so expensive and time-intensive to create (possibly more than a hundred million dollars per model), most people end up using one of these models rather than creating their own.

A few years ago, organizations began creating openly licensed alternatives to these proprietary LLMs. Organizations like Meta, Mistral, and IBM spend a significant amount of time and money creating LLMs and openly licensing the model weights so that everyone can retain, reuse, revise, remix, and redistribute them. These “foundation” models provide the foundation upon which you can build a wide range of innovations in teaching and learning.

Creators of Proprietary Course Materials	Creators of Open Course Materials
Pearson, McGraw-Hill, Cengage	OpenStax, Lumen, CMU OLI

Creators of Proprietary LLMs	Creators of Open LLMs
OpenAI, Anthropic, Google	Meta, Mistral, IBM

A critical insight I’ve gained through painful experience over the last 26 years is this: the majority of faculty won’t adopt OER unless it comes with all the supplemental materials and other quality-of-life improvements provided by traditional publishers – lecture slides, assignments with rubrics, automatically graded homework, quiz banks, etc. (The few faculty who will adopt without these are the ones who enjoy making their own supplemental materials.) We can expect LLM adoption trends to look similar.

Think, for a moment, of LLMs as the “textbooks” of this next phase of course materials. While I’m not ready to predict that OpenAI, Anthropic, and Google will replace Pearson, McGraw-Hill, and Cengage, I am absolutely ready to predict that the large publishers will begin creating bundles of proprietary supplemental materials designed specifically for use with proprietary language models. It’s hard to say exactly what this will end up looking like, but one thing is certain: the difference in the design and format of course materials pre- and post-generative AI will be even more dramatic than the difference between the design and format of course materials pre- and post-internet.

Rather than waiting to act until after proprietary generative AI tools have become widely adopted in the course materials market and significant effort is required to displace them, we should take the initiative now to ensure that instructors who want to use LLMs as course materials have access to high quality, openly licensed options from the start. Those options should include both the models themselves and the additional resources necessary to use them easily and effectively. Creating and sharing Open Educational Language Models, or OELMs (pronounced “elms”), is one example of a proactive step we can take to ensure that generative AI tools can move us forward on affordability, access, and equity instead of backward. (There are, doubtless, many other steps that could be taken. This is the one I’m currently working on.)

Open Educational Language Models

Open Educational Language Models (OELMs) bring together a collection of openly licensed components that allow an openly licensed language model to be used easily and effectively in support of teaching and learning.

The foundational component of an OELM is a set of model weights, which are the “brains” of a language model. High quality, openly licensed model weights have been created and shared by Meta, IBM, Mistral, Alibaba, and many others, and cost tens of millions of dollars – maybe over one hundred million dollars – to create. If we use them exactly as we find them, interacting with these models may indeed result in some of the harms described above. But because the model weights are open, we have the opportunity to revise and remix them. Because the model weights are open, we can change the way learners and teachers interact with them in order to increase access, affordability, and equity. Because the model weights are open, we have significantly greater agency.

In an OELM, the open model weights are supplemented by other components that make them easier to use, that address key concerns about generative AI in education, and that answers questions including:

How do I use it effectively?
Can I trust its responses to be accurate?
Can I trust its behavior to be appropriate?

How do I use it effectively? An OELM includes a comprehensive collection of pre-written prompts. These prompts are designed to support a wide range of activities. For learners, these activities might include debates, arguments, or dialogues, open-ended exploration of concepts and ideas, asking clarifying questions and receiving individualized answers, and engaging in interactive review with immediate, diagnostic feedback. For teachers, these activities might include lesson planning, designing an active learning exercise for use in class, differentiating instruction, revising or remixing OER, and drafting feedback on student work.

Can I trust its responses to be accurate? An OELM includes a curated collection of OER that the model uses for retrieval augmented generation (RAG). RAG is a process by which models’ responses are made more accurate, and works as follows. When a teacher or learner submits a prompt to the model, before the prompt is sent to the model, relevant information is searched for in the collection of OER and added to the prompt. The model then uses the information it has retrieved from the OER as the basis for its response to the user, augmenting its general knowledge about the topic before generating a response. Conceptually, this is similar to the way a librarian might refer to a reference work before answering a question.

Can I trust its behavior to be appropriate? An OELM includes a specially designed collection of open content that can be used to steer the model’s behavior. This can be embedded in the system prompt (a prompt which the user doesn’t see but which steers model behavior in the background) or used for fine-tuning. Fine-tuning is the process by which a model’s behavior is permanently changed in some desired way. In the OELM context, fine-tuning is the process by which a model can be made to behave more pedagogically. For example, a model fine-tuned to behave as a helpful customer service agent (like ChatGPT was) answers student questions directly, whereas a model fine-tuned to behave more pedagogically might ask students additional questions or provide hints before giving an answer. Conceptually, fine-tuning a model is similar giving a knowledgeable graduate student a few hours of training so they can be a more effective tutor.

Each of these four components – the model weights, content for fine-tuning, content for RAG, and pre-written prompts – can be openly licensed, providing teachers, learners, and others with permission to engage in the 5R activities. Think of the model weights as the core textbook and the other components as the supplemental materials necessary for widespread adoption. And just like with traditional OER, the ability to copy, edit, and share prompts and other OELM components means they can be localized in order to best meet the needs of individual learners, minimize the potential harms associated with generative AI, and increase access, affordability, and equity.

Components of an Open Educational Language Model (OELM)

Running OELMs Locally

The foundational R in the 5Rs framework is Retain – to take advantage of an educational resource being openly licensed, you have to be able to download your own copy of the resource. Then you can take that copy you downloaded and revise, remix, reuse, and redistribute it to meet your needs and the needs of others around you. (You’ll note that there’s no “large” in Open Educational Language Model. That’s because small models are a key to this strategy over the medium to long-term.)

There is an active community (e.g., Ollama, LM Studio, llama.cpp, etc.) working to make it easy to download open weights models and run them on consumer hardware. Right now (in late 2024), there are already many open weights models that can be run on desktop computers, laptops, and even smartphones without any connection to the internet. For example, for my Substack Reviewing Research on AI in Education, I created an agent (powered by a Llama 3.1 open weights model running locally on my laptop via Ollama) that reads 150 – 300 abstracts each morning and recommends the best 3 – 5 for me to review further.

Advances in running models locally are important because people without reliable access to the internet are currently unable to take advantage of generative AI in support of teaching and learning. However, the capability to run models locally means that an OELM can be downloaded to a thumb drive and sent wherever a suitable device is available – and then used without regard for internet connectivity. This dramatically increases the number of people who can benefit from generative AI in support of teaching and learning.

The ability to run OELMs locally also addresses a number of concerns people have about generative AI. For example, many people are concerned about data privacy and how their data are used by the providers of proprietary generative AI models. However, when a model runs locally on the user’s device the user’s data never leaves their device – meaning the proprietary providers never have access to the user’s data. Running smaller models on local devices also addresses concerns about the amount of power, water, and other resources consumed by the huge data centers that serve AI models centrally.

And finally, the ability to download OELMs and run them locally provides people with the ability to engage in the 5R activities. You can download the model weights – as well as the other components – and run them locally just as you found them, or revise and remix them first. Empowering teachers and learners to more fully exercise their agency with regard to LLMs will be key to combining the power of open and the power of generative AI in the service of improving access, affordability, and equity over the long-term.

Conclusion

As the course materials market begins the transition toward more AI-powered products and offerings, openness is more important than ever for those of us who care about increasing access, affordability, and equity. There are critical lessons we need to learn about how to leverage AI effectively in the service of teaching and learning, and how the added agency that comes with openness can help us do that even more powerfully. I’m super excited to begin learning these lessons. Let me know if you’re interested in collaborating on this line of work – I’m making plans for spring term 2025.

Categories artificial intelligence, equity, improving learning, open content

Dịch: Lê Trung Nghĩa

letrungnghia.foss@gmail.com

Tác giả: Nghĩa Lê Trung