Hướng dẫn kỹ thuật lời nhắc. Kỹ thuật viết lời nhắc. Lời nhắc kiến thức được tạo

Generated Knowledge Prompting

Theo: https://www.promptingguide.ai/techniques/knowledge

Image Source: Liu et al. 2022

Các mô hình ngôn ngữ lớn (LLM) tiếp tục được cải tiến và một kỹ thuật phổ biến bao gồm khả năng kết hợp kiến thức hoặc thông tin để giúp mô hình đưa ra dự đoán chính xác hơn.

Sử dụng một ý tưởng tương tự, liệu mô hình có thể được sử dụng để tạo ra kiến thức trước khi đưa ra dự đoán hay không? Đó là những gì được Liu và cộng sự thực hiện trong bài báo năm 2022 -- tạo ra kiến thức để sử dụng như một phần của gợi ý. Cụ thể, điều này hữu ích như thế nào đối với các nhiệm vụ như suy luận theo lẽ thường?

Hãy thử một lời nhắc đơn giản:

Prompt:

Một phần của golf là cố gắng đạt tổng điểm cao hơn người khác. Có hay không?

Output:

Có.

Loại sai lầm này cho thấy những hạn chế của LLM trong việc thực hiện các nhiệm vụ đòi hỏi nhiều kiến thức hơn về thế giới. Làm thế nào để chúng ta cải thiện điều này bằng cách tạo ra kiến thức?

Đầu tiên, chúng ta tạo ra một vài "kiến thức":

Prompt:

Đầu vào: Hy Lạp lớn hơn Mexico.
Kiến thức: Hy Lạp có diện tích khoảng 131.957 km², trong khi Mexico có diện tích khoảng 1.964.375 km², khiến Mexico lớn hơn Hy Lạp 1.389%. 

Đầu vào: Kính luôn bị mờ.
Kiến thức: Sự ngưng tụ xảy ra trên tròng kính khi hơi nước từ mồ hôi, hơi thở và độ ẩm môi trường của bạn tiếp xúc với bề mặt lạnh, nguội đi và sau đó biến thành những giọt chất lỏng nhỏ, tạo thành một lớp màng mà bạn nhìn thấy dưới dạng sương mù. Tròng kính của bạn sẽ tương đối mát so với hơi thở của bạn, đặc biệt là khi không khí bên ngoài lạnh.

Đầu vào: Cá có khả năng suy nghĩ.
Kiến thức: Cá thông minh hơn vẻ bề ngoài của chúng. Trong nhiều lĩnh vực, chẳng hạn như trí nhớ, khả năng nhận thức của chúng ngang bằng hoặc vượt trội hơn các loài động vật có xương sống 'cao cấp', bao gồm cả linh trưởng không phải người. Trí nhớ dài hạn của cá giúp chúng theo dõi các mối quan hệ xã hội phức tạp.

Đầu vào: Một tác động phổ biến của việc hút nhiều thuốc lá trong đời là nguy cơ mắc ung thư phổi cao hơn bình thường.
Kiến thức: Những người hút trung bình ít hơn một điếu thuốc mỗi ngày trong suốt cuộc đời có nguy cơ tử vong vì ung thư phổi cao gấp chín lần so với những người không bao giờ hút thuốc. Trong số những người hút từ một đến 10 điếu thuốc mỗi ngày, nguy cơ tử vong vì ung thư phổi cao hơn gần 12 lần so với những người không bao giờ hút thuốc.

Đầu vào: Một hòn đá có kích thước tương đương với một viên sỏi.
Kiến thức: Một viên sỏi là một mảnh đá có kích thước hạt từ 4 đến 64 mm dựa trên thang trầm tích Udden-Wentworth. Sỏi thường được coi là lớn hơn hạt nhỏ (đường kính từ 2 đến 4 mm) và nhỏ hơn đá cuội (đường kính từ 64 đến 256 mm).

Đầu vào: Một phần của môn golf là cố gắng đạt tổng điểm cao hơn những người khác.
Kiến thức:

Knowledge 1:

Mục đích của golf là chơi một loạt lỗ với số lần đánh ít nhất. Một vòng golf thường bao gồm 18 lỗ. Mỗi lỗ được chơi một lần trong một vòng trên sân golf tiêu chuẩn. Mỗi cú đánh được tính là một điểm, và tổng số cú đánh được sử dụng để xác định người chiến thắng.

Knowledge 2:

Golf là môn thể thao sử dụng gậy và bóng chính xác, trong đó người chơi (hoặc người chơi golf) sử dụng nhiều loại gậy để đánh bóng vào một loạt các lỗ trên sân với số lần đánh ít nhất. Mục tiêu là hoàn thành sân với số điểm thấp nhất, được tính bằng cách cộng tổng số cú đánh ở mỗi lỗ. Người chơi có số điểm thấp nhất sẽ thắng.

Chúng tôi đang sử dụng gợi ý được cung cấp trong bài báo của Liu và cộng sự năm 2022. Bước tiếp theo là tích hợp kiến thức và đưa ra dự đoán. Tôi đã định dạng lại câu hỏi theo định dạng QA để định hướng cho định dạng câu trả lời.

Prompt:

Câu hỏi: Một phần của golf là cố gắng đạt tổng điểm cao hơn người khác. Có hay không?

Kiến thức: Mục tiêu của golf là chơi một loạt lỗ với số gậy ít nhất. Một vòng golf thường bao gồm 18 lỗ. Mỗi lỗ được chơi một lần trong vòng trên sân golf tiêu chuẩn. Mỗi gậy được tính là một điểm, và tổng số gậy được sử dụng để xác định người chiến thắng.
Giải thích và Trả lời:

Câu trả lời 1 (độ tin cậy rất cao):

Không, mục tiêu của golf không phải là đạt tổng điểm cao hơn người khác. Thay vào đó, mục tiêu là chơi một loạt lỗ với số gậy ít nhất. Tổng số gậy được sử dụng để xác định người chiến thắng, chứ không phải tổng số điểm. 
Câu hỏi: Một phần của golf là cố gắng đạt tổng điểm cao hơn người khác. Có hay không?

Kiến thức: Golf là môn thể thao chính xác sử dụng gậy và bóng, trong đó người chơi (hoặc người chơi golf) sử dụng nhiều loại gậy khác nhau để đánh bóng vào một loạt các lỗ trên sân với số lần đánh ít nhất. Mục tiêu là hoàn thành sân với điểm số thấp nhất, được tính bằng cách cộng tổng số gậy đánh được ở mỗi lỗ. Người chơi có điểm số thấp nhất sẽ thắng.

Giải thích và Trả lời:

Câu trả lời 2 (độ tin cậy thấp hơn nhiều):

Đúng vậy, một phần của golf là cố gắng đạt tổng điểm cao hơn những người khác. Mỗi người chơi đều cố gắng hoàn thành sân với điểm số thấp nhất, được tính bằng cách cộng tổng số gậy đánh được ở mỗi lỗ. Người chơi có điểm số thấp nhất sẽ thắng.

Một số điều thực sự thú vị đã xảy ra với ví dụ này. Trong câu trả lời đầu tiên, mô hình rất tự tin nhưng trong câu trả lời thứ hai thì không. Tôi đã đơn giản hóa quy trình để minh họa, nhưng vẫn còn một vài chi tiết cần xem xét khi đi đến câu trả lời cuối cùng. Xem bài báo để biết thêm.

Về ‘Kỹ thuật viết lời nhắc’ ………. Phần trước ………. Phần tiếp theo

 

LLMs continue to be improved and one popular technique includes the ability to incorporate knowledge or information to help the model make more accurate predictions.

Using a similar idea, can the model also be used to generate knowledge before making a prediction? That's what is attempted in the paper by Liu et al. 2022 -- generate knowledge to be used as part of the prompt. In particular, how helpful is this for tasks such as commonsense reasoning?

Let's try a simple prompt:

Prompt:

Part of golf is trying to get a higher point total than others. Yes or No?

Output:

Yes.

This type of mistake reveals the limitations of LLMs to perform tasks that require more knowledge about the world. How do we improve this with knowledge generation?

First, we generate a few "knowledges":

Prompt:

Input: Greece is larger than mexico.
Knowledge: Greece is approximately 131,957 sq km, while Mexico is approximately 1,964,375 sq km, making Mexico 1,389% larger than Greece.

Input: Glasses always fog up.
Knowledge: Condensation occurs on eyeglass lenses when water vapor from your sweat, breath, and ambient humidity lands on a cold surface, cools, and then changes into tiny drops of liquid, forming a film that you see as fog. Your lenses will be relatively cool compared to your breath, especially when the outside air is cold.

Input: A fish is capable of thinking.
Knowledge: Fish are more intelligent than they appear. In many areas, such as memory, their cognitive powers match or exceed those of ’higher’ vertebrates including non-human primates. Fish’s long-term memories help them keep track of complex social relationships.

Input: A common effect of smoking lots of cigarettes in one’s lifetime is a higher than normal chance of getting lung cancer.
Knowledge: Those who consistently averaged less than one cigarette per day over their lifetime had nine times the risk of dying from lung cancer than never smokers. Among people who smoked between one and 10 cigarettes per day, the risk of dying from lung cancer was nearly 12 times higher than that of never smokers.

Input: A rock is the same size as a pebble.
Knowledge: A pebble is a clast of rock with a particle size of 4 to 64 millimetres based on the Udden-Wentworth scale of sedimentology. Pebbles are generally considered larger than granules (2 to 4 millimetres diameter) and smaller than cobbles (64 to 256 millimetres diameter).

Input: Part of golf is trying to get a higher point total than others.
Knowledge:

Knowledge 1:

The objective of golf is to play a set of holes in the least number of strokes. A round of golf typically consists of 18 holes. Each hole is played once in the round on a standard golf course. Each stroke is counted as one point, and the total number of strokes is used to determine the winner of the game.

Knowledge 2:

Golf is a precision club-and-ball sport in which competing players (or golfers) use many types of clubs to hit balls into a series of holes on a course using the fewest number of strokes. The goal is to complete the course with the lowest score, which is calculated by adding up the total number of strokes taken on each hole. The player with the lowest score wins the game.

We are using the prompt provided in the paper by Liu et al. 2022.

The next step is to integrate the knowledge and get a prediction. I reformatted the question into QA format to guide the answer format.

Prompt:

Question: Part of golf is trying to get a higher point total than others. Yes or No?

Knowledge: The objective of golf is to play a set of holes in the least number of strokes. A round of golf typically consists of 18 holes. Each hole is played once in the round on a standard golf course. Each stroke is counted as one point, and the total number of strokes is used to determine the winner of the game.

Explain and Answer: 

Answer 1 (confidence very high):

No, the objective of golf is not to get a higher point total than others. Rather, the objective is to play a set of holes in the least number of strokes. The total number of strokes is used to determine the winner of the game, not the total number of points.
Question: Part of golf is trying to get a higher point total than others. Yes or No?

Knowledge: Golf is a precision club-and-ball sport in which competing players (or golfers) use many types of clubs to hit balls into a series of holes on a course using the fewest number of strokes. The goal is to complete the course with the lowest score, which is calculated by adding up the total number of strokes taken on each hole. The player with the lowest score wins the game.

Explain and Answer:

Answer 2 (confidence is a lot lower):

Yes, part of golf is trying to get a higher point total than others. Each player tries to complete the course with the lowest score, which is calculated by adding up the total number of strokes taken on each hole. The player with the lowest score wins the game.

Some really interesting things happened with this example. In the first answer, the model was very confident but in the second not so much. I simplified the process for demonstration purposes but there are a few more details to consider when arriving at the final answer. Check out the paper for more.

Dịch: Lê Trung Nghĩa

letrungnghia.foss@gmail.com