Top 10 open source LLMs for 2025. 1. LLaMA 3
Theo: https://www.instaclustr.com/education/open-source-ai/top-10-open-source-llms-for-2025/
Mô hình Ngôn ngữ Lớn - LLM (Large Language Model) là mô hình máy học có thể hiểu được và tạo ra ngôn ngữ con người dựa vào các tập dữ liệu phạm vi rộng.
1. LLaMA 3

Meta đã phát triển họ mô hình ngôn ngữ lớn LLaMA 3, bao gồm một bộ sưu tập các mô hình văn bản tạo sinh được huấn luyện trước và điều chỉnh theo hướng dẫn, có sẵn với kích thước tham số 8 tỷ (8B) và 70 tỷ (70B). Các mô hình này được tối ưu hóa cho các trường hợp sử dụng đối thoại, chẳng hạn như trong các ứng dụng AI đàm thoại.
Thông tin dự án:
Giấy phép: Giấy phép cộng đồng Meta Llama 3 (Meta Llama 3 community license)
Số sao trên GitHub: 23,3 nghìn
Người đóng góp: Joseph Spisak và cộng sự
Nhà tài trợ chính: META
Liên kết kho lưu trữ chính thức: https://github.com/meta-llama/llama3
Tính năng:
Kích thước mô hình: Có sẵn ở hai kích thước: 8 tỷ (8B) và 70 tỷ (70B) tham số.
Cửa sổ ngữ cảnh: Phiên bản Meta LLaMA trước đó có cửa sổ ngữ cảnh là 8 nghìn token. Phiên bản 3.2 đã nâng cấp lên 128 nghìn token.
Đầu vào và đầu ra: Các mô hình này chấp nhận đầu vào văn bản và có khả năng tạo ra cả văn bản và mã, giúp chúng linh hoạt cho nhiều ứng dụng khác nhau như tạo nội dung, tạo mã và đối thoại tương tác.
Kiến trúc: Sử dụng kiến trúc biến đổi được tối ưu hóa, giúp tăng cường khả năng hiểu và tạo ra văn bản giống con người của mô hình.
Bộ phân tích mã hóa: Sử dụng bộ phân tích mã hóa với vốn từ vựng 128.000 mã thông báo (token), giúp xử lý và hiểu hiệu quả các đầu vào văn bản đa dạng.
Quy trình đào tạo: Được đào tạo trên chuỗi 8.192 mã thông báo, sử dụng Grouped-Query Attention (GQA) để cải thiện hiệu quả suy luận, cho phép các mô hình xử lý các ngữ cảnh dài hơn.
Về mục lục ………. Phần tiếp theo
Meta developed the LLaMA 3 family of large language models, which includes a collection of pretrained and instruction-tuned generative text models available in 8 billion (8B) and 70 billion (70B) parameter sizes. These models are optimized for dialogue use cases, such as in conversational AI applications.
Project information:
License: Meta Llama 3 community license
GitHub stars: 23.3K
Contributors: Joseph Spisak et. al.
Main corporate sponsor: META
Official repo link: https://github.com/meta-llama/llama3
Features:
Model sizes: Available in two sizes: 8 billion (8B) and 70 billion (70B) parameters.
Context window: Earlier version of Meta LLaMA had a context window of 8K tokens. Version 3.2 upgraded this to 128K tokens.
Input and output: These models accept text input and are capable of generating both text and code, making them versatile for various applications such as content creation, code generation, and interactive dialogue.
Architecture: Uses an optimized transformer architecture, which enhances the model’s ability to understand and generate human-like text.
Tokenizer: Uses a tokenizer with a vocabulary of 128,000 tokens, which helps in efficiently processing and understanding diverse text inputs.
Training procedure: Trained on sequences of 8,192 tokens, utilizing Grouped-Query Attention (GQA) for improved inference efficiency, allowing the models to handle longer contexts.
Dịch: Lê Trung Nghĩa
letrungnghia.foss@gmail.com
Tác giả: Nghĩa Lê Trung
Ý kiến bạn đọc
Những tin mới hơn
Những tin cũ hơn
Blog này được chuyển đổi từ http://blog.yahoo.com/letrungnghia trên Yahoo Blog sang sử dụng NukeViet sau khi Yahoo Blog đóng cửa tại Việt Nam ngày 17/01/2013.Kể từ ngày 07/02/2013, thông tin trên Blog được cập nhật tiếp tục trở lại với sự hỗ trợ kỹ thuật và đặt chỗ hosting của nhóm phát triển...
Các bài trình chiếu trong năm 2024
Tập huấn thực hành ‘Khai thác tài nguyên giáo dục mở’ cho giáo viên phổ thông, bao gồm cả giáo viên tiểu học và mầm non tới hết năm 2024
Các lớp tập huấn thực hành ‘Khai thác tài nguyên giáo dục mở’ tới hết năm 2024
Các tài liệu dịch sang tiếng Việt tới hết năm 2024
‘Digcomp 2.2: Khung năng lực số cho công dân - với các ví dụ mới về kiến thức, kỹ năng và thái độ’, EC xuất bản năm 2022
Tổng hợp các bài của Nhóm các Nhà cấp vốn Nghiên cứu Mở (ORFG) đã được dịch sang tiếng Việt
Tổng hợp các bài của Liên minh S (cOAlition S) đã được dịch sang tiếng Việt
Năm Khoa học Mở & Chuyển đổi sang Khoa học Mở - Tổng hợp các bài liên quan
Hội nghị Đối tác Dữ liệu Mở châu Á năm 2021 do Việt Nam lần đầu tiên chủ trì
Các khung năng lực trong hành động
Phong trào Bình dân học vụ số: Mục tiêu, đối tượng, nội dung, nguồn lực, phương thức tổ chức thực hiện
Lễ công bố công khai Trung tâm Năng lực Kim cương châu Âu và dự án ALMASI
Khung năng lực AI cho giáo viên
Sư phạm Mở là gì (Trang của Đại học British Columbia, Canada)
Ngày Phần mềm Tự do, Ngày Phần cứng tự do, Ngày Tài liệu Tự do
‘Khung năng lực AI cho giáo viên’ - bản dịch sang tiếng Việt
Bạn cần biết những gì về các khung năng lực AI mới của UNESCO cho học sinh và giáo viên
Bàn về 'Lợi thế của doanh nghiệp Việt là dữ liệu Việt, bài toán Việt' - bài phát biểu của Bộ trưởng Nguyễn Mạnh Hùng ngày 21/08/2025
Các tài liệu dịch sang tiếng Việt tới hết năm 2024
Các bài trình chiếu trong năm 2024
‘Tài liệu quan điểm của KR21 về Giữ lại Quyền Tác giả: Giữ lại các quyền trong kết quả đầu ra nghiên cứu để cho phép phổ biến mở kiến thức’ - bản dịch sang tiếng Việt
‘KHUYẾN NGHỊ VÀ HƯỚNG DẪN TRUY CẬP MỞ KIM CƯƠNG cho các cơ sở, nhà cấp vốn, nhà bảo trợ, nhà tài trợ, và nhà hoạch định chính sách’ - bản dịch sang tiếng Việt
Tập huấn thực hành ‘Khai thác tài nguyên giáo dục mở’ cho giáo viên phổ thông, bao gồm cả giáo viên tiểu học và mầm non tới hết năm 2024
DeepSeek đã gây ra sự hoảng loạn trên thị trường — nhưng một số người cho rằng việc bán tháo là quá mức
“Chúng tôi không có hào nước”: Sự đổi mới đột phá của AI nguồn mở
Dữ liệu để phân loại AI
Ứng dụng và phát triển Tài nguyên Giáo dục Mở (OER) tại Việt Nam
Nhà khoa học AI hàng đầu của Meta cho biết thành công của DeepSeek cho thấy 'các mô hình nguồn mở đang vượt trội hơn các mô hình độc quyền'
Mark Zuckerberg: DeepSeek cho thấy vì sao nước Mỹ phải là ‘tiêu chuẩn nguồn mở toàn cầu’ của AI; không có lý do gì để suy nghĩ lại về việc chi tiêu
‘Tầm quan trọng của các kỹ năng tư duy phản biện và linh hoạt về năng lực AI của sinh viên TVET’ - bản dịch sang tiếng Việt