MindSearch CPU-only 版部署
- 环境准备
- 获取资源
- 创建虚拟环境
- chat API服务设置
- 启动mindsearch后端
- 启动mindsearch前端
- 访问
MindSearch 是一个由上海人工智能实验室推出的开源 AI 搜索引擎框架,具有与 Perplexity.ai Pro 相同的性能。
本文以 InternStudio 算力平台为例,来部署 CPU-only 的 MindSearch。
环境准备
获取资源
mkdir -p /root/mindsearch
cd /root/mindsearch
git clone https://github.com/InternLM/MindSearch.git
cd MindSearch && git checkout b832275 && cd ..
创建虚拟环境
# 创建环境
conda create -n mindsearch python=3.10 -y
# 激活环境
conda activate mindsearch
# 安装依赖
pip install -r /root/mindsearch/MindSearch/requirements.txt
chat API服务设置
这里使用网络上的API,使用硅基流动的 API Key,所以接下来便是注册并获取 API Key 了。
首先,我们打开 https://account.siliconflow.cn/login 来注册硅基流动的账号(如果注册过,则直接登录即可)。
在完成注册后,打开 https://cloud.siliconflow.cn/account/ak 来准备 API Key。首先创建新 API 密钥,然后点击密钥进行复制,以备后续使用。
复制密钥备用
export SILICON_API_KEY=sk-odfiftjbwwmwoycqxypwjijkfsmizeplumhlmifajwggtsij
启动mindsearch后端
export SILICON_API_KEY=第二步中复制的密钥
conda activate mindsearch
cd /root/mindsearch/MindSearch
python -m mindsearch.app --lang cn --model_format internlm_silicon --search_engine DuckDuckGoSearch
如果报错:
ImportError: cannot import name 'AutoRegister' from 'class_registry' (/root/.conda/envs/mindsearch/lib/python3.10/site-packages/class_registry/__init__.py)
则:
pip install --upgrade class_registry
启动mindsearch前端
conda activate mindsearch
cd /root/mindsearch/MindSearch
python frontend/mindsearch_gradio.py
默认启动在7882端口:
访问
做下端口映射转发
对话
部署到 HuggingFace Space
(略),连接不上。