【AI大模型】Open-WebUI本地大模型+联网搜索部署
上篇记录的是ollama本地部署大模型实现翻译的简易版攻略，用的ollama的后台，然后加上自己攒出来的ui界面实现。上篇链接如下
这篇记录一下一个非常强大的开源工具Open-webui的部署，通过这个开源软件实现和本地大模型的对话，进一步的还会提到如何设置本地知识库，以及如何设置联网搜索功能。
Open-webui简介
Open-WebUI是一个可扩展、功能丰富且用户友好的自托管人工智能平台，设计上完全离线运行。它支持各种大语言模型（LLM）执行器，如 Ollama和兼容OpenAI的APIs ，并内置了用于检索增强生成（RAG）的推理引擎，使其成为一个强大的AI部署解决方案 。
[官网](https://github.com/open-webui/open-webui)
Open-webui安装
当然可以参考官方文档进行部署，之前可能需要使用docker来进行运行，但是现在已经很方便了可以用pip直接进行安装。所以总体上Open-webui部署还是简单的，如果熟知Python环境创建可以直接跳到安装命令（步骤2）。
步骤1：安装python3.11.0
这步最为关键的就是注意使用的版本是3.11.0的python，这个信息来自Open-webui的github
可以使用conda来进行安装管理
conda create -n openwebui python==3.11.0这里面openwebui其实是写了个环境的名字，可以使用别的自己喜欢的名字，版本要使用3.11的，我这里就直接指定的3.11.0
步骤2 安装Open-webui
接下来只要按照Open-webui官方的安装教程做，也就是上面这两句代码，先安装open-webui
pip install open-webui
# 更新到最新的open-webui可以用下一句
pip install --upgrade open-webui经过一段时间的安装后就会显示安装完成，然后继续运行代码，开启open-webui服务
open-webui serve会运行一下，在第一次运行的时候，还会需要下载一些支持，这些支持下载的时候最好使用魔法，会比较的顺利，一直运行到最后这个界面结果就是意思运行成功了
最下面的这一行就是表示它成功在你电脑的8080端口开启了一个服务，把这段代码复制到浏览器，就可以访问open-webui服务了，或者可以输入http://localhost:8080
第一次打开界面会有要求输入邮箱、名字、密码创建账号，如果本地用也无所谓，就随便打一个记得就行，这个主要公开出去可以用的，进入界面打开界面就可以得到
如果Ollama这边已经部署好了，应该是可以检测到，或者不行的话就点击界面的左下角，然后点击设置
然后进入管理员设置，然后点击外部链接 把Ollama API打开，设置上http://localhost:11434服务
这样就可以使用Open-webui和本地的模型进行对话了
Open-webui本地知识库设置
本地大模型最重要的一个功能就是自己不想公开的数据可以在本地来进行处理，很简单的一个给对话添加知识库的方法就是在对话里面的加号这里添加上本地文件。
这里那我就以一个本地的文件进行演示，本地的文件我给一个ICASS会议的会议手册PDF，然后我希望它根据PDF的内容告诉我会议的时间
7b的本地模型解读这个简单的问题没什么问题，成功给出了时间结果，是对的。PDF内容如下。
这就是一个简单的的本地知识库支持的案例了，可以给他更多的文件，不过这肯定会影响它分析的速度。
可以打开刚刚的管理员设置界面，点击文档，就可以查看到目前使用的embedding模型以及其他相关的设置，可以把embedding的模型也换成ollama支持的embedding模型。
Open-webui联网功能部署
这一功能同样是在上面的管理员设置界面上，点击联网设置
点击启用联网设置，就可以在对话界面上看到一个联网搜索的按钮，但是需要给他部署搜索引擎，可以在联网搜索引擎上使用duckduckgo，这个不需要密钥，但是我使用下来好像它不太好用，我就去找了Google PES（可编程搜索引擎）搜索引擎的部署
这个部分需要3步：
获得一个Google开发者账号
申请一个搜索引擎
配置到Open-Webui上
第一步只要你有一个谷歌账号，就可以找到通道申请一个开发者账号
申请引擎
然后就是进入Google可编程搜索引擎界面：https://programmablesearchengine.google.com/
申请一个搜索引擎，点击界面里面的添加，然后填写里面的表格内容，最后点创建就行
记住选这整个网络上搜索
创建完成后就可以点击这个搜素引擎，找到搜索引擎的ID。
下一步去这个网址，获取服务的API密钥 https://developers.google.com/custom-search/v1/overview
设置Open-webui
把API密钥和引擎ID填写到上面联网设置的界面，然后打开，就可以开始搜索了。在对话中记得点击联网搜索让他变蓝后开始和大模型对话。
这里我找了一个最近才发布的Humanity's Last Exam 这个肯定不在它训练的语料库里面。可以看到模型现在已经可以去进行搜索了并且根据搜索结果总结相关的内容。但是我自己用下来感觉整个联网搜索的能力差强人意，联网工具的使用似乎还不太顺畅。可能使用细节上还可以再琢磨琢磨。
其他
其实这个开源的工具功能还很多，我也还没一一折腾一下试试，后面可以继续尝试。
而且Open-webui还支持其他插件，工具，函数等这些，都可以在Open-webui的社区里面找到
以上~欢迎关注~
本期封面来自OpenAI DALL·E
推荐本站淘宝优惠价购买喜欢的宝贝:
本文链接：https://hqyman.cn/post/9065.html 非本站原创文章欢迎转载，原创文章需保留本站地址！
微信支付宝扫一扫，打赏作者吧～休息一下~~
官码2024000195号
萌ICP备20248119号
