DeepSeek私有化部署-HQY 一个和谐有爱的空间

21

2025
03
15:02:57

DeepSeek私有化部署

在腾讯云服务器上尝试部署DeepSeek蒸馏版，服务器配置8核32G内存，用Docker部署Ollama、Open-Webui、Searxng、AnythingLLM。

这些都是什么东西呢？我一个个来解释下，首先在Ollama容器内部署蒸馏版deepseek-r1:1.5b，就是说deepseek是运行在ollama环境中，deepseek有两个版本r1和v3，分别代表深度思考模型和日常通用模型。而我们常用1.5b、7b分别代表15亿个参数和70亿个参数的模型，当然越大对服务器要求越高，能力越强。

Open-Webui是接入deepseek的网页，我们就可以在网页上同deepseek对话了，不然只能在命令行中对话。但是经过测试网页版反应很慢，命令行中反应很快就答复了，不知道原因。

有了上面Ollama和Open-Webui部署完成后其实就可以正常聊天了，那Searxng和AnythingLLM的作用是什么呢？

Searxng的作用是提供给deepseek联网搜索的能力，因为deepseek是不具备联网搜索能力的，就是用Searxng对接各种搜索引擎，提供赋予实时搜索能力，比如你们今天天气怎么样，今天几号，如果不联网那就找不到答案。

AnythingLLM的作用是给deepseek继续训练的能力，将 PDF、Markdown、Word 等多格式文件索引进系统，将本地文档或数据源整合进一个可检索、可对话的知识库，这样就不断学习训练了专业领域内的知识库，为了让AI能力与时俱进不断增强，那就需要持续维护扩大知识库。

安装Docker

bash代码解读复制代码### 设置国内镜像 sed -e 's|^mirrorlist=|#mirrorlist=|g' \       -e 's|^#baseurl=http://mirror.centos.org|baseurl=http://mirrors.aliyun.com|g' \       -i.bak \       /etc/yum.repos.d/CentOS-*.repo   # 清理缓存 yum makecache  # 配置 docker-ce 国内 yum 源（阿里云） yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo  # 安装工具库 yum install -y yum-utils  #安装 docker yum install -y docker-ce docker-ce-cli containerd.io  #启动 systemctl enable docker systemctl start docker

安装Ollama和DeepSeek

国外镜像都基本访问不了，都要靠国内代理，我已经把Ollama放到的腾讯云公开镜像仓库中，可以直接使用还很快 ccr.ccs.tencentyun.com/rootegg/public:ollama-20250212，后面要最新可以用ghcr.io/open-webui/open-webui:main

bash代码解读复制代码# 运行ollama容器并挂载11434端口到宿主机 docker run -d --name ollama -p 11434:11434 ccr.ccs.tencentyun.com/rootegg/public:ollama-20250212  # 上面ollama容器启动后，进入容器去运行deepseek模型 docker exec -it ollama bash  # 后面已经进入容器后，看到这里没有运行任何模型，这句执行后是空的 ollama list  # 运行deepseek-r1:1.5b这个模型，也可以用7b ollama run deepseek-r1:1.5b

最后下载很慢很慢很慢很慢很慢很慢很慢很慢，我大概下载完用了两个小时

命令行测试

这里测试1+1等于几，速度很快就响应了，但是后面安装Open-Webui回答就很慢，估计Open-Webui有问题，还是命令行反应最快

Ollama官网

可以到ollama官网ollama.com/search?q=de… 看到deepseek-r1和deepseek-v3两个模型，r1我们做实验一般选择1.5b或7b，有条件的可以用7b

安装Open-Webui，这一步可忽略

同样用我最新公开镜像 ccr.ccs.tencentyun.com/rootegg/public:open-webui-20250212

注意这里设置环境变量HF_ENDPOINT，必须设置为 hf-mirror.com ，否则依然会报错，等10多分钟启动成功直到容器状态变成healthy

注意刚开始我看docker ps状态显示unhealthy，我一直以为有问题，重装多次都是unhealthy，但是其实没有问题了，大概等待10几分钟后就变成healthy成功了

perl代码解读复制代码# 安装Open-Webui docker run -d -e HF_ENDPOINT=https://hf-mirror.com -p 300:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ccr.ccs.tencentyun.com/rootegg/public:open-webui-20250212

访问访问3000端口就可以使用deepseek了，登录进去后会等待几分钟是白板，我有以为出问题了，但是看有个 models接口返回很慢，等几分钟就可以对话了