您的位置:首页 > 娱乐 > 八卦 > 基于langchain的prompt指令代码编写

基于langchain的prompt指令代码编写

2024/10/7 2:24:20 来源:https://blog.csdn.net/SPESEG/article/details/141471560  浏览:    关键词:基于langchain的prompt指令代码编写

当然可以。LangChain 是一个用于构建语言模型应用的框架,它支持多种语言模型,并提供了一系列工具和链式结构来构建复杂的语言模型应用。在这个示例中,我们将使用 LangChain 和 Hugging Face 的 Transformers 库来创建一个简单的应用,其中模型可以调用外部函数来执行特定任务。
示例:使用 LangChain 和 Transformers 创建一个可以调用外部函数的聊天机器人
1. 安装必要的库:
•  LangChain (pip install langchain)
•  Hugging Face Transformers (pip install transformers)
•  Hugging Face Accelerate (pip install accelerate)
•  Faiss (pip install faiss-cpu) 用于向量存储和检索
2. 编写代码:
•  我们将创建一个简单的聊天机器人,当用户询问有关天气的问题时,机器人将调用一个外部函数来获取天气信息。
import os
import json
from typing import List, Dict
from transformers import pipeline, AutoTokenizer, AutoModelForCausalLM
from langchain import PromptTemplate, LLMChain
from langchain.chains import LLMChain
from langchain.callbacks.manager import CallbackManager
from langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandler
from langchain.prompts import (
    ChatPromptTemplate,
    SystemMessagePromptTemplate,
    HumanMessagePromptTemplate,
)

# 加载模型
tokenizer = AutoTokenizer.from_pretrained("gpt2")
model = AutoModelForCausalLM.from_pretrained("gpt2")

# 创建一个管道
pipeline = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    max_length=200,
    temperature=0.7,
    top_p=0.95,
    top_k=50,
    repetition_penalty=1.05,
)

# 外部函数定义
def get_weather(city: str) -> str:
    # 这里只是一个示例,实际应用中应该调用真实的天气API
    return f"The weather in {city} is sunny today."

# LangChain 配置
callback_manager = CallbackManager([StreamingStdOutCallbackHandler()])
llm_chain = LLMChain(
    llm=pipeline,
    prompt=ChatPromptTemplate.from_messages([
        SystemMessagePromptTemplate.from_template(
            "You are a helpful assistant that can call external functions. If the user asks about the weather, call the get_weather function."
        ),
        HumanMessagePromptTemplate.from_template("{input}")
    ]),
    callback_manager=callback_manager,
)

# 主函数
def main():
    while True:
        query = input("Enter your query: ")
        if query.lower() == "exit":
            break
        
        # 检查是否询问天气
        if "weather" in query.lower():
            # 调用外部函数
            city = query.split(" ")[-1]  # 假设城市名是查询的最后一部分
            weather_info = get_weather(city)
            print(f"Weather Info: {weather_info}")
        else:
            # 生成回复
            response = llm_chain.run(query)
            print(f"Response: {response}")

if __name__ == "__main__":
    main()

说明:
1. 加载模型:我们使用 gpt2 作为示例模型。你可以根据需要替换为其他的预训练模型。
2. 外部函数:get_weather 函数用于获取指定城市的天气信息。这里我们只是简单地返回了一个固定的字符串,实际应用中应该调用真实的天气API。
3. LangChain 配置:我们创建了一个 LLMChain,它使用了预定义的提示模板。提示模板告诉模型如果用户询问天气,则调用 get_weather 函数。
4. 主函数:在主函数中,我们不断接收用户的输入,并根据输入决定是调用外部函数还是让模型生成回复。
注意事项:
•  这个示例假设用户总是按照特定格式输入查询(例如:“weather New York”)。实际应用中,你可能需要更复杂的逻辑来解析用户输入。
•  为了使模型真正能够调用外部函数,你需要使用支持函数调用的模型,如 Hugging Face 的某些版本的 GPT-3 或 GPT-4。
希望这个示例对你有所帮助!如果有任何疑问或需要进一步的帮助,请随时提问。

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com