HQY 一个和谐有爱的空间

下载ollama

ollama官网：https://ollama.com/https://ollama.com/

安装并验证

下载完ollama.exe文件之后，点击安装，安装过程较为简单，按照提示完成即可。

安装完成之后打开cmd,在终端cmd输入以下指令进行验证：

ollama --version

模型运行

启动ollama:

在cmd终端输入以下指令

ollama serve

查看模型列表：

在cmd终端输入以下指令

ollama list

下载并运行本地大模型

在cmd终端输入以下指令

ollama run qwen2.5

运行示例：

可视化界面与Ollama交互

在cmd输入以下指令安装ollama可视化界面:

python -m pip install ollama_gui

输入以下指令运行可视化界面：

python -m ollama_gui

可视化界面运行如下：

更改模型下载位置

想要改它的存放位置，我们需要进入环境变量。

Set OLLAMA MODELS=E:\ollama

Set OLLAMA HOST=127.0.0.1:8000

Set OLLAMA ORIGINS=*

打开 Windows 系统设置，来到【关于】，在右边找到【高级系统设置】，然后会出现一个【系统属性】窗口。

在上面的标签里选择【高级】，再点击下方的【环境变量】。

这时弹出一个【环境变量】窗口，点击【系统变量】下的新建，然后又弹出一个窗口。

变量名：OLLAMA_MODELS

变量值：D:\Ollama

系统防火墙开端口

至此，已完成全部安装工作，可以尽情的在本地使用ollama和大模型了

https://www.bilibili.com/video/BV1tVCMYEEhV

1. OLLAMA_HOST：这个变量定义了Ollama监听的网络接口。通过设置OLLAMA_HOST=0.0.0.0，我们可以让Ollama监听所有可用的网络接口，从而允许外部网络访问。

2. OLLAMA_MODELS：这个变量指定了模型镜像的存储路径。通过设置OLLAMA_MODELS=F:\OllamaCache，我们可以将模型镜像存储在E盘，避免C盘空间不足的问题。

3. OLLAMA_KEEP_ALIVE：这个变量控制模型在内存中的存活时间。设置OLLAMA_KEEP_ALIVE=24h可以让模型在内存中保持24小时，提高访问速度。

4. OLLAMA_PORT：这个变量允许我们更改Ollama的默认端口。例如，设置OLLAMA_PORT=8080可以将服务端口从默认的11434更改为8080。

5. OLLAMA_NUM_PARALLEL：这个变量决定了Ollama可以同时处理的用户请求数量。设置OLLAMA_NUM_PARALLEL=4可以让Ollama同时处理两个并发请求。

6. OLLAMA_MAX_LOADED_MODELS：这个变量限制了Ollama可以同时加载的模型数量。设置OLLAMA_MAX_LOADED_MODELS=4可以确保系统资源得到合理分配。

7.OLLAMA_ORIGINS，值填*
"允许的来源列表（以逗号分隔）"

推荐本站淘宝优惠价购买喜欢的宝贝:

本文链接：https://hqyman.cn/post/8986.html 非本站原创文章欢迎转载，原创文章需保留本站地址！

休息一下~~