基于ollama的常见变量设置-HQY 一个和谐有爱的空间

20

2025
03
10:25:12

基于ollama的常见变量设置

全局命令设置

现象：无法直接使用命令ollama

问题显示如下：

[root@localhost LLM]# ollama
-bash: ollama: command not found

解决方法一：

第一步：输入如下命令：

[root@localhost ~]# ln -s /usr/bin/Ollama/bin/ollama /usr/local/bin/ollama

第二步：我们在任意一个位置进行命令验证：

[root@localhost ~]# ollama
Usage:
ollama [flags]
ollama [command]
Available Commands:
serve Start ollama
create Create a model from a Modelfile

上述内容可以知道，我们可以把ollama设置为全局命令。

模型存放路径修改

现象：模型存放路径修改，确保有足够的空间进行模型存储

Windows_23" style="box-sizing: border-box; outline: none; margin: 0px; padding: 0px; font-weight: normal; cursor: pointer; background-color: transparent; color: rgb(78, 161, 219); font-synthesis-style: auto; overflow-wrap: break-word;">Windows解决方案：

第一步：右键我的电脑-属性-高级系统设置，点击“高级系统设置”

第二步：在打开的系统属性界面中点击高级-环境变量

第三步：在环境变量界面中点击系统变量中的新建按钮

第四步：在跳出来的新建系统变量界面中，变量名设置为：OLLAMA_MODELS，变量值设置为D:\LLM\OllamaLLM\models，然后点击确定对设置的环境变量进行保存。

第五步：重新创建模型，可以看到模型在对应的路径下保存

Linux解决方案：

第一步：打开文件ollama.service，命令如下：

[root@localhost LLM]# vim /etc/systemd/system/ollama.service

第二步：在原本的文件内容中增加如下信息：

Environment=“OLLAMA_MODELS=/ftp/ollama/models”，完整内容如下
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/bin/Ollama/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment=“OLLAMA_MODELS=/ftp/ollama/models”
[Install]
WantedBy=default.target

第三步：添加以后保存退出，然后首先执行以下命令

[root@localhost LLM]# systemctl daemon-reload

第四步：在将ollama服务器重启

[root@localhost LLM]# systemctl restart ollama

第五步：查看服务是否重启成功

[root@localhost LLM]# systemctl status ollama
● ollama.service - Ollama Service
Loaded: loaded (/etc/systemd/system/ollama.service; enabled; vendor preset: disabled)
Active: active (running) since Fri 2024-09-06 12:00:00 CST; 8s ago
Main PID: 211146 (ollama)

第六步：重新创建模型，可以看到模型在对应的路径下保存

[root@localhost LLM]# ollama create Qwen2-7b -f /ftp/LLM/Modelfile
[root@localhost LLM]# cd /ftp/ollama/models
[root@localhost models]# ls
blobs manifests

全局地址访问设置

现象：正式地址无法访问

当我们访问ollama地址：http://127.0.0.1:11434/，我们可以得到如下解决

但是当我们访问本机地址：http://10.31.128.110:11434/

解决方法：

第一步：打开文件ollama.service，命令如下：

[root@localhost LLM]# vim /etc/systemd/system/ollama.service

第二步：在原本的文件内容中增加如下信息：Environment=“OLLAMA_HOST=0.0.0.0”，完整内容如下

[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/bin/Ollama/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment=“OLLAMA_MODELS=/ftp/ollama/models”
Environment=“OLLAMA_HOST=0.0.0.0”
[Install]
WantedBy=default.target

第三步：添加以后保存退出，然后首先执行以下命令

[root@localhost LLM]# systemctl daemon-reload

第四步：在将ollama服务器重启

[root@localhost LLM]# systemctl restart ollama

第五步：查看服务是否重启成功

[root@localhost LLM]# systemctl status ollama
● ollama.service - Ollama Service
Loaded: loaded (/etc/systemd/system/ollama.service; enabled; vendor preset: disabled)
Active: active (running) since Fri 2024-09-06 12:00:00 CST; 8s ago
Main PID: 211146 (ollama)

第六步：我们再用IP访问部署ollama地址：

上述内容操作完成以后，我们就可以通过正式对外的IP地址进行访问。

ollama访问端口设置

现象：地址访问端口为11434

当我们访问ollama地址端口：11434，但是端口为默认端口

因此我们需要自定义端口

解决方法：

第一步：打开文件ollama.service，命令如下：

[root@localhost LLM]# vim /etc/systemd/system/ollama.service

第二步：在原本的文件内容中增加如下信息：Environment=“OLLAMA_HOST=0.0.0.0:9999”，完整内容如下

[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/bin/Ollama/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment=“OLLAMA_MODELS=/ftp/ollama/models”
Environment=“OLLAMA_HOST=0.0.0.0:9999”
[Install]
WantedBy=default.target

第三步：添加以后保存退出，然后首先执行以下命令

[root@localhost LLM]# systemctl daemon-reload

第四步：在将ollama服务器重启

[root@localhost LLM]# systemctl restart ollama

第五步：查看服务是否重启成功

[root@localhost LLM]# systemctl status ollama
● ollama.service - Ollama Service
Loaded: loaded (/etc/systemd/system/ollama.service; enabled; vendor preset: disabled)
Active: active (running) since Fri 2024-09-06 12:00:00 CST; 8s ago
Main PID: 211146 (ollama)

第六步：我们再用IP访问部署ollama地址，使用9999端口：

上述内容操作完成以后，我们就可以通过新的端口和IP地址进行访问。