HQY 一个和谐有爱的空间

     安装ollama操作记录

        简介

        Ollama 是一个致力于推动本地人工智能模型开发和应用的工具和平台，允许用户在本地运行、管理和调用各种 AI 模型。它的核心理念是提供一种无需依赖云计算环境的方式，让开发者和企业能够高效地使用 AI 模型，同时确保数据隐私和安全。

        配置建议

• Ubuntu版本: 建议Ubuntu 20.04 LTS或更新版本

• 硬件要求:

• CPU: 至少4核心

• RAM: 至少8GB,推荐16GB或更多

• 硬盘空间: 至少20GB可用

        安装步骤

        1、系统更新，确保系统是最新的：

                命令：sudo apt update && sudo apt upgrade -y

                

        2、安装必须要的依赖：

                安装 curl工具：

                命令：sudo apt install curl -y

                

        3、执行Ollama安装脚本

                自动安装：curl -fsSL https://ollama.com/install.sh | sh

                

                执行命令后，开始安装。。。（github 下载 不太文档可以多执行几次）

                

                安装比较久，请耐心等待

                

                下载 100%后，开始安装，创建 ollama user 会提示输入管理密码,输入密码后：

                

                程序自动安装完成。

                接下来验证安装：ollama --version

                

                执行开机启动命令【重要】：systemctl enable ollama

        4、设置ollama的运行地址，实现局域网内访问

                通过地址的修改，可以让远程服务器访问ollama rest api

                修改内容：export OLLAMA_HOST=0.0.0.0:11434

                当然，基于安全考虑也可以指定具体的ip地址

                编辑ollama 配置文件：/etc/systemd/system/ollama.service

                执行命令：sudo vim /etc/systemd/system/ollama.service 

                打开文件

                

                在[Service]下面加上：Environment="OLLAMA_HOST=0.0.0.0:11434"

                执行命令重启ollama：systemctl restart ollama

                

                配置防火墙端口：sudo ufw allow 11434/tcp

                

                下载一个模型：ollama run llama3.2

          

                首次执行会自动拉取模型：   

                     

                稍安勿躁：

                

                 启动后与模型会话：

                

                重启服务器：(http 访问往往重启生效，多次验证)

                打开浏览器输入  http://服务器地址:11434

                

       5、ollama 常用命令

                启动ollama ： ollama run [模型名称]

                列出已经下载的模型：ollama list

                下载指定模型：ollama pull  [模型名称]

                 模型列表页面：https://ollama.com/searchhttps://ollama.com/search

                 

推荐本站淘宝优惠价购买喜欢的宝贝:

本文链接：https://hqyman.cn/post/9502.html 非本站原创文章欢迎转载，原创文章需保留本站地址！

休息一下~~