深圳设计周展会2024时间_影视公司网站是做什么的_输入关键词自动生成文章_今天晚上19点新闻联播直播回放

ollama API 本地调用

• 前提条件，ollama 已经启动了模型，查看 ollama 中的 model 名称

  ollama list
  

  

• 使用 openai 调用

  from openai import OpenAI
  import openaiopenai.api_key = 'ollama'
  openai.base_url = 'http://localhost:11434/v1/'def get_completion(prompt, model="qwq"):client = OpenAI(api_key=openai.api_key,base_url=openai.base_url)messages = [{"role": "user", "content": prompt}]response = client.chat.completions.create(model=model,messages=messages,stream=False)return response.choices[0].message.contentprompt = '你好，请介绍下你自己'
  model = "qwq"
  get_completion(prompt, model=model)
  

  

  可以使用 fastapi将后端服务暴露出来