HQY 一个和谐有爱的空间

1.下载ollmaOllama 是一个开源的大型语言模型（LLM）本地化部署框架，旨在简化用户在本地运行和管理大模型的流程。https://ollama.com/download2.安装ollma这里安装就和普通软件安装一样，直接双击exe文件即可，安装完成以后打开命令提示符如下图说明安装成功。3.下载&运行模型这里有很多模型可选，不同的模型对配置的要求是不一样的，纯cpu或者只是体验功能可以选择1.5b，下图是DeepSeek模型的推荐配置。本次演示的服务器：CPU:I5 8400;内

要作为长期使用，使用Linux搭建会是一个更好的办法，这也是作为一个Linux运维的觉悟，并且还可以供局域网小伙伴一起用(暂时不考虑性能等问题)。1.下载ollmaOllama 是一个开源的大型语言模型（LLM）本地化部署框架，旨在简化用户在本地运行和管理大模型的流程。https://ollama.com/download/linux但是这个有一个弊端就是下载很慢，而且如果中途失败只能重新来，所以这里还可以直接去github下载，或者从Win下载上传到Linux服务器里面。mkdir 

虚拟化，虚拟化是把硬件虚拟化，然后创建出来的虚拟机完全隔离，而Docker则是软件(内核)虚拟化，他的隔离性会低于虚拟机。我们将通过3-4周来讲解Docker相关内容，由于涉及到内容较多，就不一一列出来具体的细节，主要从以下几个方面来讲解：Docker基本情况Docker基本命令DockerfileDocker镜像(本小节属于)Docker仓库Docker原理Docker网络&存储&日志Docker-ComposeDocker番外篇我们前面下载的官方镜像，也通过Dockerfil

在Win电脑和Linux服务器里面部署DeepSeek，他们都有安装模型的操作，而且这个操作会很费时间，那有没有一个方法可以提前下载好文件，然后只需要一个启动命令就可以实现呢？由于是脚本类，所以这里我们以Linux为例。如果要提供自动部署脚本，我们首先就是要分析我们的安装过程都做了什么，然后根据部署过程的动作才能把部署内容封装到一起。1.下载ollama实际上这个操作就是下载了二进制文件，然后通过配置参数然后启动它。所以我们只需要一个很简单的命令就可以实现。2.安装模型虽然我们无法直接看到安装的

Win和Linux部署DeepSeek的比较简单的方法，而且采用的模型也是最小的，作为测试体验使用是没问题的。如果要在生产环境使用还是需要用到GPU来实现，下面我将以有一台带上GPU显卡的Linux机器来部署DeepSeek。这里还只是先体验单机单卡，后期会更新多机多卡使用更高模型的文章。1.确认配置由于是虚拟机，并且虚拟机方面做了配置，所以这里并未显示真实显卡型号，实际型号：NVIDIA Tesla T4 16G。  [root@deepseek01 ~]#&nb

随着ChatGPT的革命性发布，一个能聊天、会讲笑话、自动提取文章摘要、可以查快递、查天气、查股票、自动联网搜索总结答案还能识别语音陪你一起玩游戏的智能小助理已不再是梦想。这篇保姆级教程将给大家介绍如何花费5分钟来实现一个强大的个人智能助理，它不需要我们编写任何代码，所以操作起来非常简单。开始之前，我们先通过一个小视频来看一下我们将要实现的智能助理机器人所具备的部分功能。上面仅演示了智能小助理的部分功能，通过开源插件或自定义插件我们还可以实现更丰富更好玩的功能。智能机器人搭建步骤我们使用微信作为

本文首先介绍什么是SSH，然后介绍如何使用SSH免密连接远程服务器（也叫远程主机，下文不再区分），最后介绍如何将远程服务器的磁盘挂载到本地，从而实现像访问本地磁盘一样访问远程主机的磁盘。一、SSH简单介绍SSH（Secure Shell）是一种流行的网络安全协议，用于通过互联网安全地访问远程系统。它通过加密和认证机制实现安全的访问和文件传输等业务。传统的互联网通信（如Telnet、FTP等）使用明文传输数据，内容一旦被截获就会完全暴露，存在很多安全隐患。SSH协议通过对网络数据进行加密和验证，建

CUDA 的统一内存（Unified Memory）是通过 cudaMallocManaged 函数和 __managed__ 关键字实现的主机与设备的透明化内存访问。其核心原理是将物理存储位置抽象为统一的虚拟地址空间，当 CPU 或 GPU 访问数据时，系统自动完成数据迁移（按需分页迁移），开发者无需手动调用 cudaMemcpy。这对于简化代码非常有用，特别是对于初学者或者需要快速原型开发的情

部署了vLLM版本以后，访问它比较麻烦。如何才能更好的实现访问呢，这个就是我们今天要讲的Open WebUI，它可以向我们使用官方DeepSeek一样直接在网页进行对话。OpenWeb UI 是一个功能丰富且用户友好的自托管 Web 用户界面，主要用于管理和操作各种本地和云端的人工智能模型。它支持多种大型语言模型（LLM）运行程序，包括 Ollama 和兼容 OpenAI 的 API，旨在完全离线操作。以下是关于 OpenWeb UI 的详细介绍：主要特点用户界面：直观且响应式，可在任何设备上提

我们通过conda创建虚拟Python环境，实现vLLM和OpenWebUI的配置，但是这个安装部署会非常繁琐非费时间。我们今天将使用容器来部署。环境还是使用ubuntu20.4，复用上个环境已经安装GPU驱动和模型文件。1.安装Dockercurl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/shar

我们无论是直接部署，还是容器部署都还是单机的模型，受单机GPU限制，并不能跑比较大的模型，今天我们将用多台机器组成一个集群来跑一个更大的模型。1.准备机器机器IPGPU备注172.16.0.102Tesla T4*2复用旧机器，扩容了GPU172.16.0.43Tesla T4*2新机器172.16.0.65Tesla T4*2新机器2.安装驱动及必要软件新加入的机器需要分别安装驱动，Docker，Nvidia-Docker#安装驱动 dpkg -i nvidia-driv

前面部署过Win版本，也部署过Linux版本，也部署过单机版本，也部署过集群版，中途采用过多个模型，那这个模型到底是什么，我能选择什么模型呢？什么是蒸馏版，满血版，什么是量化版呢？首先我们说模型需要先来解释什么是训练模型，什么是推理模型。训练模型训练模型是指模型在学习阶段的过程。在这一阶段，模型通过大量标注数据（输入数据和对应的标签/答案）逐步调整内部参数（如神经网络的权重），目标是学习数据中的规律，从而能够对未知数据做出预测或分类。国产大模型DeepSeek之所以火爆，就是因为他用很小的代价(

从单机到集群，从Win到Linux都已经涉及，但是没涉及到单机多卡，本篇文章就来说说这个单机多卡遇到的问题。本次环境是4张卡Tesla V100卡。1.只能用1张卡ollama是使用官方脚本安装的，ollama是以systemctl方式启动，下载的是deepseek-r1:32b模型，启动以后发现只使用了22G显存，实际上只用了1张卡，其他卡未使用。如果要使用4张卡则需要按照下面的方式调整配置，或者跑更大的模型，如果超过单张卡GPU显存限制，则会自动分配到所有显卡上面，不需要做任何特殊配置vi&

注：使用不同的推理模型，需要的模型文件是不一样的，比如我前面用的ollama下载的模型，则只能在ollma里面使用，不能拿到vLLM来使用。1.vLLM介绍vLLM相比ollama复杂，ollama启动以后，读取模型文件就可以提供服务，但是vllm则只是一个框架，本身不具有启动服务的能力，它需要依赖python来启动服务。虽然vLLM比较复杂，但是他具有组成集群跑更大模型的能力，所以我这里先用单机版来让搭建对这个vLLM有一个的理解，后期再深入。2.miniconda环境准备miniconda可

0x01 前言 对数据敏感的企业想要部署自己的大模型该（如：DeepSeek R1）该选用什么方式呢？ Ollama还是vllm呢？ 我先说结论：Ollama适用于开发测试，vLLM适用于生产环境部署下面我会进行详细的选型对比，让你有一个更清晰的认知。0x02 选型对比 Ollama与vLLM都是针对大语言模型（LLM）部署和推理的开源框架，但它们在设计目标、技术特点和适用场景上有显著的差异。下面通过多个维度给出具体对比说明1. 核心定位与部署方式Ollama ： 

生产环境如何部署deepseek，什么样的配置能生产可用，今天我用双4090，测试几个模型。大家看看。 非常感谢提供环境的朋友。vLLM 简单介绍vLLM 是一个快速且易于使用的 LLM 推理和服务库。vLLM（Very Large Language Model Serving）是由加州大学伯克利分校团队开发的高性能、低延迟的大语言模型（LLM）推理和服务框架。它专为大规模生产级部署设计，尤其擅长处理超长上下文（如8k+ tokens）和高并发请求，同时显

一个非常有趣的开源项目——OpenManus。它是MetaGPT社区开发的一个开源替代方案，灵感来源于Manus AI智能体。Manus本身是一个革命性的AI智能体，能够从任务规划到执行全程自动化处理复杂工作流，完全无需人工干预。但问题是，Manus目前处于邀请制模式，限制了更广泛社区的使用。而OpenManus则通过提供一个免费、开源且可定制的版本，让开发者和研究人员也能轻松体验类似的能力。有趣的是，OpenManus整个项目仅用了三个小时就搭建完成！这吸引了许多对Manus感兴趣但因邀请限制

这是一个管理iptables防火墙基础规则的shell脚本。主要功能包括：1. 查看当前iptables的规则。2. 清空所有iptables的规则。3. 放行指定IP访问。4. 封堵常见端口。5. 自定义规则。6. 删除单条iptables规则。7. 关闭selinux。8. 退出脚本。#!/bin/bashtables(){while truedoecho " (1)&nb

    用于在Centos下一键部署telnet服务，同时可以选择是否开启root用户访问权限，以及是否需要创建telnet用户等。#!/bin/bashrpm -e --nodeps `rpm -qa|grep telnet`rpm -e --nodeps `rpm -qa|grep xinetd`version=$(cat /etc/redhat-release |awk '{print $4}'|cut -d'.' -f1)echo &q

该脚本的作用是监控IP登录失败次数，如果某个IP的登录失败次数超过设定的最大次数，则阻止该IP的进一步登录尝试。通过iptables防火墙阻止连接，当一个IP尝试登录次数超过5次时，iptables会阻止来自该IP的所有连接。#!/bin/bashfunction secrity(){# 设置要监控的登录失败次数，超过该次数则会被阻止MAX_ATTEMPTS=5# 获取所有登录失败的IP并计数IP_COUNT=$(lastb | awk '{print $3}' | sort |