AI时代来临，快来搭建一个属于你自己的大模型助手-HQY 一个和谐有爱的空间

20

2025
03
23:46:30

AI时代来临，快来搭建一个属于你自己的大模型助手

当前是AI快速发展的时代，尤其ChatGPT的出现，推动了自然语言处理（NLP）技术的进步‌。市场上涌现出给类大模型，国内比较流行的有阿里的通义千问、百度的文心一言、华为的盘古大模型、字节的豆包大模型等。同时也出现了很多AI工具，比如图片处理、编程助手（如：GitHub Copilot等）。

这些大模型都由各个大厂提供，使用时往往会受到些限制，比如网络、收费等问题。

下面，我们将借助Ollama和Open WebUI搭建一个完全属于自己大模型助手。

1.简介

Ollama 是本地化搭建和运行Llama 3.2、Mistral、Gemma 2以及其他大型语言模型的工具。支持macOS, Linux, 和 Windows系统。

Open WebUI 是一个可扩展、功能丰富且用户友好的自托管 WebUI，旨在完全离线运行。它支持各种 LLM 运行器，包括 Ollama 和兼容 OpenAI 的 API。

总体来说，Ollama 管理大模型，并提供对话接口，Open WebUI 则负责提供友好的对话界面。

Ollama 和Open WebUI 提供了各平台以及Docker的安装方式，考虑到很多初级使用者，以下重点介绍Windows环境下的安装。

2.安装Ollama

1)下载Ollama安装包，下载地址：https://ollama.com/download/OllamaSetup.exe。

2）双击安装包，按提示进行安装。

3）安装完成后，打开终端，CMD或PowerShell，输入以下命令，输出版本信息即为成功。

ollama --version

4）安装大模型。

在ollama Models页面查找合适的大模型（Ollama）。

假如选定通义千问2.5编程模型（qwen2.5-coder），打开详情页面。可以看到参数数量（参数越多，占用空间越大）和执行命令。这里我们选择0.5b参数的模型。

将允许命令复制到终端中执行，将自动下载大模型。执行完成后可以看到输入消息的对话框。接下来就可以做你想做的了！

3.安装Open WebUI

1）安装Python 3.11。

安装Open WebUI 前请先安装Python 3.11（注意：其他版本可能不兼容），下载地址：Python Release Python 3.11.9 | Python.org| Python.org" style="box-sizing: border-box; outline: none; margin: 0px; padding: 0px; text-decoration-line: none; cursor: pointer; color: rgb(78, 161, 219); font-synthesis-style: auto; overflow-wrap: break-word;">Python Release Python 3.11.9 | Python.org| Python.org" style="box-sizing: border-box; outline: none; margin: 0px; padding: 0px; text-decoration-line: none; cursor: pointer; color: rgb(78, 161, 219); font-synthesis-style: auto; overflow-wrap: break-word;">Python Release Python 3.11.9 | Python.org| Python.org" style="box-sizing: border-box; outline: none; margin: 0px; padding: 0px; text-decoration-line: none; cursor: pointer; color: rgb(78, 161, 219); font-synthesis-style: auto; overflow-wrap: break-word;">Python Release Python 3.11.9 | Python.org，注意安装过程中，勾选[Add python 3.11 to Path]选项，否则 pip命令无法识别！！！

2）安装 Open WebUI。

打开终端并运行以下命令以安装 Open WebUI：