10 mô hình ngôn ngữ lớn (LLM) nguồn mở hàng đầu cho năm 2025. 2. Google Gemma 2

Top 10 open source LLMs for 2025. 2. Google Gemma 2

Theo: https://www.instaclustr.com/education/open-source-ai/top-10-open-source-llms-for-2025/

Mô hình Ngôn ngữ Lớn - LLM (Large Language Model) là mô hình máy học có thể hiểu được và tạo ra ngôn ngữ con người dựa vào các tập dữ liệu phạm vi rộng.

2. Google Gemma 2

Google DeepMind đã phát hành Gemma 2, phiên bản mới nhất trong dòng mô hình mở được thiết kế dành cho các nhà nghiên cứu và nhà phát triển. Với kích thước tham số 9 tỷ (9B) và 27 tỷ (27B), các mô hình Gemma 2 chạy ở tốc độ cao trên nhiều nền tảng phần cứng khác nhau và tích hợp với các công cụ AI phổ biến.

Thông tin dự án:

• Giấy phép: Apache 2.0

• Số sao trên GitHub: 5,2 nghìn sao (triển khai PyTorch)

• Nhà tài trợ chính: Google

• Liên kết kho lưu trữ chính thức: https://huggingface.co/google/gemma-2b

Tính năng:

• Kích thước mô hình: Có sẵn ở các tham số 9B và 27B, cung cấp các tùy chọn cho nhiều nhu cầu tính toán và yêu cầu hiệu suất khác nhau.

• Cửa sổ ngữ cảnh: Gemma 2 có cửa sổ ngữ cảnh 8K token.

• Hiệu suất: Theo các bài kiểm tra chuẩn, mô hình 27B mang lại hiệu suất tương đương với các mô hình có kích thước gấp đôi.

• Hiệu quả: Được thiết kế để suy luận hiệu quả, mô hình 27B chạy trên các máy chủ TPU đơn, GPU NVIDIA A100 80GB Tensor Core hoặc GPU NVIDIA H100 Tensor Core, giúp giảm chi phí mà vẫn duy trì hiệu suất cao.

• Khả năng tương thích phần cứng: Được tối ưu hóa để suy luận nhanh trên nhiều loại phần cứng, từ máy tính xách tay chơi game đến các thiết lập đám mây. Người dùng có thể truy cập các mô hình trong Google AI Studio hoặc sử dụng phiên bản lượng tử hóa với Gemma.cpp trên CPU.

• Tích hợp: Tương thích với các nền tảng AI chính như Hugging Face Transformers, JAX, PyTorch và TensorFlow thông qua Keras 3.0, vLLM, Gemma.cpp, Llama.cpp và Ollama. Mô hình này cũng tích hợp với NVIDIA TensorRT-LLM và được tối ưu hóa cho NVIDIA NeMo.

Source: Google

Về mục lục ………. Phần trước ………. Phần tiếp theo

Google DeepMind released Gemma 2, the latest addition to their family of open models designed for researchers and developers. Available in 9 billion (9B) and 27 billion (27B) parameter sizes, Gemma 2 models run at high speeds across different hardware platforms and integrate with popular AI tools.

Project information:

• License: Apache 2.0

• GitHub stars: 5.2K (PyTorch implementation)

• Main corporate sponsor: Google

• Official repo link: https://huggingface.co/google/gemma-2b

Features:

• Model sizes: Available in 9B and 27B parameters, providing options for various computational needs and performance requirements.

• Context window: Gemma 2 has a context window of 8K tokens.

• Performance: According to benchmarks, the 27B model delivers performance similar to models more than twice its size.

• Efficiency: Designed for efficient inference, the 27B model runs on single TPU hosts, NVIDIA A100 80GB Tensor Core GPUs, or NVIDIA H100 Tensor Core GPUs, reducing costs while maintaining high performance.

• Hardware compatibility: Optimized for fast inference across a range of hardware, from gaming laptops to cloud-based setups. Users can access the models in Google AI Studio or use the quantized version with Gemma.cpp on CPUs.

• Integration: Compatible with major AI frameworks like Hugging Face Transformers, JAX, PyTorch, and TensorFlow via Keras 3.0, vLLM, Gemma.cpp, Llama.cpp, and Ollama. It also integrates with NVIDIA TensorRT-LLM and is optimized for NVIDIA NeMo.

Dịch: Lê Trung Nghĩa

letrungnghia.foss@gmail.com