VicunaでReActっぽいことを試してみる

# flake8: noqa
PREFIX = """Answer the following questions as best you can. You have access to the following tools:"""
FORMAT_INSTRUCTIONS = """Use the following format:

Question: the input question you must answer
Thought: you should always think about what to do
Action: the action to take, should be one of [{tool_names}]
Action Input: the input to the action
Observation: the result of the action
... (this Thought/Action/Action Input/Observation can repeat N times)
Thought: I now know the final answer
Final Answer: the final answer to the original input question"""
SUFFIX = """Begin!

Question: {input}
Thought:{agent_scratchpad}"""

(省略)

Question: Musician and satirist Allie Goertz wrote a song about the "The Simpsons" character Milhouse, who Matt Groening named after who?
Thought: The question simplifies to "The Simpsons" character Milhouse is named after who. I only need to search Milhouse and find who it is named after.
Action: Search[Milhouse]
Observation: Milhouse Mussolini Van Houten is a recurring character in the Fox animated television series The Simpsons voiced by Pamela Hayden and created by Matt Groening.
Thought: The paragraph does not tell who Milhouse is named after, maybe I can look up "named after".
Action: Lookup[named after]
Observation: (Result 1 / 1) Milhouse was named after U.S. president Richard Nixon, whose middle name was Milhous.
Thought: Milhouse was named after U.S. president Richard Nixon, so the answer is Richard Nixon.
Action: Finish[Richard Nixon]

(省略)

def create_first_prompt(qa):
 return f"""### HUMAN: 質問に対し以下のフォーマットで回答して下さい。

以下のツールが選択できます
- Web検索: Webページを検索する
- Wikipedia検索: Wikipediaを検索する


以下のフォーマットで出力して下さい
- 思考: 質問に対しあなたが解決すべき課題
- ツールの選択: [Web検索]、[Wikipedia検索]から行動を１つ選択して下さい
- ツールへの入力: ツールに入力するキーワード

{qa}
### ASSISTANT:"""

 while True:
        prompt = create_first_prompt(qa)        
        output = llm(prompt)
        action, action_input = get_tool(output)    
        if action and action_input:
            break

def get_tool(t):
    action = None
    regex = r"ツールの選択[: |：].*?\[(.*?)\].*?[\n]+"
    match = re.search(regex, t, re.DOTALL)
    if match:
        action = match.group(1)

    action_input = None
    regex = r"ツールへの入力[: |：](.*?)[\n]+"
    match = re.search(regex, t, re.DOTALL)    
    if match:        
        action_input = match.group(1)

    return action, action_input

from langchain import Wikipedia
from langchain.tools import DuckDuckGoSearchRun

docstore=DocstoreExplorer(Wikipedia())
dd_search = DuckDuckGoSearchRun()

def create_react_prompt(qa, tool_result):
    return f""" 質問に対し以下のフォーマットで回答して下さい。

追加情報: {tool_result}

以下のツールが選択できます
- Web検索: Webページを検索する
- Wikipedia検索: Wikipediaを検索する


以下のフォーマットで出力して下さい
- 思考: 質問に対しあなたが解決すべき課題
- ツールの選択: [Web検索]、[Wikipedia検索]から行動を１つ選択して下さい
- ツールへの入力: ツールに入力するキーワード
(思考を繰り返し、ツールを選択する必要がない場合、最終的な回答を出力してください。)
- 最終的な回答: 質問に対する最終的な答えを出力して下さい。

### HUMAN: {qa}
### ASSISTANT:"""

## promptが長くなりすぎるのでカット
tool_result = tool_result[:250]

prompt = create_react_prompt(qa, tool_result)
while True:
    output = llm(prompt)        
    final_answer = get_final_answer(output)
    if final_answer:
        break

def create_qa_prompt(qa, info):
    return f"""### Human: 関連情報を用いて、質問に答えてください。

関連情報: {info}

### HUMAN: {qa}
### ASSISTANT: """

qa_prompt = create_qa_prompt(qa, final_answer)
result = llm(qa_prompt)
print('result: ', result)