Hướng dẫn kỹ thuật lời nhắc. Kỹ thuật viết lời nhắc. Siêu lời nhắc (Meta Prompting)

Meta Prompting

Theo: https://www.promptingguide.ai/techniques/meta-prompting

Giới thiệu

Siêu lời nhắc (Meta Prompting) là một kỹ thuật nhắc nâng cao, tập trung vào các khía cạnh cấu trúc và cú pháp của các nhiệm vụ và vấn đề hơn là chi tiết nội dung cụ thể của chúng. Mục tiêu của meta prompting là xây dựng một cách tương tác trừu tượng và có cấu trúc hơn với các mô hình ngôn ngữ lớn (LLM), nhấn mạnh hình thức và mô hình/ nguyên mẫu thông tin so với các phương pháp truyền thống tập trung vào nội dung.

Đặc điểm chính

Theo Zhang và cộng sự (2024), các đặc điểm chính của meta prompting có thể được tóm tắt như sau:

1. Định hướng cấu trúc: Ưu tiên định dạng và mô hình/nguyên mẫu của vấn đề và giải pháp hơn là nội dung cụ thể.

2. Tập trung vào cú pháp: Sử dụng cú pháp làm khuôn mẫu hướng dẫn cho phản hồi hoặc giải pháp dự kiến.

3. Ví dụ trừu tượng: Sử dụng các ví dụ trừu tượng làm khuôn khổ, minh họa cấu trúc của vấn đề và giải pháp mà không tập trung vào các chi tiết cụ thể.

4. Linh hoạt: Áp dụng trên nhiều lĩnh vực khác nhau, có khả năng cung cấp các câu trả lời có cấu trúc cho nhiều loại vấn đề.

5. Phương pháp tiếp cận theo phạm trù: Dựa trên lý thuyết kiểu/dạng/loại để nhấn mạnh việc phân loại và sắp xếp hợp lý các thành phần trong một lời nhắc.

Ưu điểm so với phương pháp lời nhắc với vài ví dụ/minh họa

Zhang và cộng sự, 2024 báo cáo rằng phương pháp siêu lời nhắc (Meta-Prompting) và lời nhắc với vài ví dụ/minh họa (Few-shot Prompting) khác nhau ở chỗ phương pháp siêu lời nhắc tập trung vào cách tiếp cận hướng cấu trúc hơn, trái ngược với phương pháp hướng nội dung mà phương pháp lời nhắc với vài ví dụ/minh họa nhấn mạnh.

Ví dụ sau đây được lấy từ Zhang và cộng sự (2024) minh họa sự khác biệt giữa một siêu lời nhắc có cấu trúc và một lời nhắc với vài ví dụ/minh họa trong việc giải quyết các bài toán từ chuẩn MATH:

Ưu điểm của siêu lời nhắc so với lời nhắc với vài ví dụ/minh họa bao gồm:

1. Hiệu quả của mã thông báo (Token): Giảm số lượng mã thông báo cần thiết bằng cách tập trung vào cấu trúc thay vì nội dung chi tiết.

2. So sánh công bằng: Cung cấp một cách tiếp cận công bằng hơn để so sánh các mô hình giải quyết vấn đề khác nhau bằng cách giảm thiểu ảnh hưởng của các ví dụ cụ thể.

3. Hiệu quả của việc không có ví dụ/minh họa (Zero-shot efficacy): Có thể được xem như một dạng lời nhắc không có ví dụ/minh họa, trong đó ảnh hưởng của các ví dụ cụ thể được giảm thiểu.

Ứng dụng

Bằng cách tập trung vào các mô hình/nguyên mẫu có cấu trúc của giải quyết vấn đề, Meta Prompting cung cấp một lộ trình rõ ràng để điều hướng các chủ đề phức tạp, nâng cao khả năng suy luận của các LLM trên nhiều lĩnh vực khác nhau.

Điều quan trọng cần lưu ý là phương pháp siêu lời nhắc cũng giả định rằng LLM có kiến thức bẩm sinh về nhiệm vụ hoặc vấn đề cụ thể đang được giải quyết. Vì LLM có thể khái quát hóa thành các nhiệm vụ chưa được biết đến, nên có thể tận dụng phương pháp siêu lời nhắc, nhưng hiệu suất có thể giảm sút với các nhiệm vụ độc đáo và mới lạ hơn, như trường hợp của phương pháp lời nhắc không có ví dụ/minh họa (Zero-shot Prompting).

Các ứng dụng trong đó siêu lời nhắc có thể mang lại lợi ích bao gồm nhưng không giới hạn ở các nhiệm vụ suy luận phức tạp, giải quyết vấn đề toán học, thử thách lập trình, truy vấn lý thuyết.

Về ‘Kỹ thuật viết lời nhắc’ ………. Phần trước ………. Phần tiếp theo

Introduction

Meta Prompting is an advanced prompting technique that focuses on the structural and syntactical aspects of tasks and problems rather than their specific content details. This goal with meta prompting is to construct a more abstract, structured way of interacting with large language models (LLMs), emphasizing the form and pattern of information over traditional content-centric methods.

Key Characteristics

According to Zhang et al. (2024), the key characteristics of meta prompting can be summarized as follows:

1. Structure-oriented: Prioritizes the format and pattern of problems and solutions over specific content.

2. Syntax-focused: Uses syntax as a guiding template for the expected response or solution.

3. Abstract examples: Employs abstracted examples as frameworks, illustrating the structure of problems and solutions without focusing on specific details.

4. Versatile: Applicable across various domains, capable of providing structured responses to a wide range of problems.

5. Categorical approach: Draws from type theory to emphasize the categorization and logical arrangement of components in a prompt.

Advantages over Few-Shot Prompting

Zhang et al., 2024 report that meta prompting and few-shot prompting are different in that it meta prompting focuses on a more structure-oriented approach as opposed to a content-driven approach which few-shot prompting emphasizes.

The following example obtained from Zhang et al. (2024) demonstrates the difference between a structured meta prompt and a few-shot prompt for solving problems from the MATH benchmark:

The advantages of Meta Prompting over few-shot promoting include:

1. Token efficiency: Reduces the number of tokens required by focusing on structure rather than detailed content.

2. Fair comparison: Provides a more fair approach for comparing different problem-solving models by minimizing the influence of specific examples.

3. Zero-shot efficacy: Can be viewed as a form of zero-shot prompting, where the influence of specific examples is minimized.

Applications

By focusing on the structural patterns of problem-solving, Meta Prompting offers a clear roadmap for navigating complex topics, enhancing the reasoning capabilities of LLMs across various domains.

It's important to note that meta prompting also assumes that the LLM has innate knowledge about the specific task or problem being addressed. As LLMs can generalize to a unseen tasks, it is possible that they can be leveraged with meta prompting but performance might deteriorate with more unique and novel tasks as is the case with zero-shot prompting.

Applications where meta prompting can be beneficial include but not limited to complex reasoning tasks, mathematical problem-solving, coding challenges, theoretical queries.

Dịch: Lê Trung Nghĩa

letrungnghia.foss@gmail.com