Active-Prompt

Theo: https://www.promptingguide.ai/techniques/activeprompt

Phương pháp chuỗi tư duy - CoT (Chain-of-Thought) dựa trên một tập hợp cố định các ví dụ được con người chú thích. Vấn đề ở đây là các ví dụ này có thể không phải là ví dụ hiệu quả nhất cho các nhiệm vụ khác nhau. Để giải quyết vấn đề này, Diao và cộng sự (2023) gần đây đã đề xuất một phương pháp gợi ý mới gọi là Nhắc Tích cực (Active-Prompt) để điều chỉnh LLM cho phù hợp với các lời nhắc ví dụ cụ thể cho từng nhiệm vụ khác nhau (được chú thích bằng lập luận CoT do con người thiết kế).

Dưới đây là minh họa về phương pháp này. Bước đầu tiên là truy vấn LLM có hoặc không có một vài ví dụ CoT. Số lượng k câu trả lời khả thi được tạo ra cho một tập hợp các câu hỏi huấn luyện. Một thước đo độ không chắc chắn được tính toán dựa trên k câu trả lời (sử dụng sự không đồng nhất). Những câu hỏi không chắc chắn nhất sẽ được con người chọn để chú thích. Sau đó, các ví dụ được chú thích mới được sử dụng để suy ra từng câu hỏi.

Image Source: Diao et al., (2023)

Về ‘Kỹ thuật viết lời nhắc’ ………. Phần trước ………. Phần tiếp theo

Chain-of-thought (CoT) methods rely on a fixed set of human-annotated exemplars. The problem with this is that the exemplars might not be the most effective examples for the different tasks. To address this, Diao et al., (2023) recently proposed a new prompting approach called Active-Prompt to adapt LLMs to different task-specific example prompts (annotated with human-designed CoT reasoning).

Below is an illustration of the approach. The first step is to query the LLM with or without a few CoT examples. k possible answers are generated for a set of training questions. An uncertainty metric is calculated based on the k answers (disagreement used). The most uncertain questions are selected for annotation by humans. The new annotated exemplars are then used to infer each question.

Dịch: Lê Trung Nghĩa

letrungnghia.foss@gmail.com