HQY 一个和谐有爱的空间

我们无论是直接部署，还是容器部署都还是单机的模型，受单机GPU限制，并不能跑比较大的模型，今天我们将用多台机器组成一个集群来跑一个更大的模型。1.准备机器机器IPGPU备注172.16.0.102Tesla T4*2复用旧机器，扩容了GPU172.16.0.43Tesla T4*2新机器172.16.0.65Tesla T4*2新机器2.安装驱动及必要软件新加入的机器需要分别安装驱动，Docker，Nvidia-Docker#安装驱动 dpkg -i nvidia-driv

前面部署过Win版本，也部署过Linux版本，也部署过单机版本，也部署过集群版，中途采用过多个模型，那这个模型到底是什么，我能选择什么模型呢？什么是蒸馏版，满血版，什么是量化版呢？首先我们说模型需要先来解释什么是训练模型，什么是推理模型。训练模型训练模型是指模型在学习阶段的过程。在这一阶段，模型通过大量标注数据（输入数据和对应的标签/答案）逐步调整内部参数（如神经网络的权重），目标是学习数据中的规律，从而能够对未知数据做出预测或分类。国产大模型DeepSeek之所以火爆，就是因为他用很小的代价(

从单机到集群，从Win到Linux都已经涉及，但是没涉及到单机多卡，本篇文章就来说说这个单机多卡遇到的问题。本次环境是4张卡Tesla V100卡。1.只能用1张卡ollama是使用官方脚本安装的，ollama是以systemctl方式启动，下载的是deepseek-r1:32b模型，启动以后发现只使用了22G显存，实际上只用了1张卡，其他卡未使用。如果要使用4张卡则需要按照下面的方式调整配置，或者跑更大的模型，如果超过单张卡GPU显存限制，则会自动分配到所有显卡上面，不需要做任何特殊配置vi&

注：使用不同的推理模型，需要的模型文件是不一样的，比如我前面用的ollama下载的模型，则只能在ollma里面使用，不能拿到vLLM来使用。1.vLLM介绍vLLM相比ollama复杂，ollama启动以后，读取模型文件就可以提供服务，但是vllm则只是一个框架，本身不具有启动服务的能力，它需要依赖python来启动服务。虽然vLLM比较复杂，但是他具有组成集群跑更大模型的能力，所以我这里先用单机版来让搭建对这个vLLM有一个的理解，后期再深入。2.miniconda环境准备miniconda可

0x01 前言 对数据敏感的企业想要部署自己的大模型该（如：DeepSeek R1）该选用什么方式呢？ Ollama还是vllm呢？ 我先说结论：Ollama适用于开发测试，vLLM适用于生产环境部署下面我会进行详细的选型对比，让你有一个更清晰的认知。0x02 选型对比 Ollama与vLLM都是针对大语言模型（LLM）部署和推理的开源框架，但它们在设计目标、技术特点和适用场景上有显著的差异。下面通过多个维度给出具体对比说明1. 核心定位与部署方式Ollama ： 

生产环境如何部署deepseek，什么样的配置能生产可用，今天我用双4090，测试几个模型。大家看看。 非常感谢提供环境的朋友。vLLM 简单介绍vLLM 是一个快速且易于使用的 LLM 推理和服务库。vLLM（Very Large Language Model Serving）是由加州大学伯克利分校团队开发的高性能、低延迟的大语言模型（LLM）推理和服务框架。它专为大规模生产级部署设计，尤其擅长处理超长上下文（如8k+ tokens）和高并发请求，同时显

一个非常有趣的开源项目——OpenManus。它是MetaGPT社区开发的一个开源替代方案，灵感来源于Manus AI智能体。Manus本身是一个革命性的AI智能体，能够从任务规划到执行全程自动化处理复杂工作流，完全无需人工干预。但问题是，Manus目前处于邀请制模式，限制了更广泛社区的使用。而OpenManus则通过提供一个免费、开源且可定制的版本，让开发者和研究人员也能轻松体验类似的能力。有趣的是，OpenManus整个项目仅用了三个小时就搭建完成！这吸引了许多对Manus感兴趣但因邀请限制

这是一个管理iptables防火墙基础规则的shell脚本。主要功能包括：1. 查看当前iptables的规则。2. 清空所有iptables的规则。3. 放行指定IP访问。4. 封堵常见端口。5. 自定义规则。6. 删除单条iptables规则。7. 关闭selinux。8. 退出脚本。#!/bin/bashtables(){while truedoecho " (1)&nb

    用于在Centos下一键部署telnet服务，同时可以选择是否开启root用户访问权限，以及是否需要创建telnet用户等。#!/bin/bashrpm -e --nodeps `rpm -qa|grep telnet`rpm -e --nodeps `rpm -qa|grep xinetd`version=$(cat /etc/redhat-release |awk '{print $4}'|cut -d'.' -f1)echo &q

该脚本的作用是监控IP登录失败次数，如果某个IP的登录失败次数超过设定的最大次数，则阻止该IP的进一步登录尝试。通过iptables防火墙阻止连接，当一个IP尝试登录次数超过5次时，iptables会阻止来自该IP的所有连接。#!/bin/bashfunction secrity(){# 设置要监控的登录失败次数，超过该次数则会被阻止MAX_ATTEMPTS=5# 获取所有登录失败的IP并计数IP_COUNT=$(lastb | awk '{print $3}' | sort |

目录1 概述2 安装环境2.1 操作系统环境2.2 工具版本3 安装与测试3.1 安装与配置1 概述浪潮信息KOS是浪潮信息基于Linux Kernel、OpenAnolis等开源技术自主研发的一款服务器操作系统，支持x86、ARM等主流架构处理器，性能和稳定性居于行业领先地位，具备成熟的 CentOS 迁移和替换能力，可满足云计算、大数据、分布式存储、人工智能、边缘计算等应用场景需求。详细介绍见官网链接浪潮信息云峦服务器操作系统KeyarchOS_KOS服务器操作系统-浪潮信息Cockpit

Cockpit 是一个很将整个服务器置于一个集中的控制面板中，并对它们进行相当程度的控制。还可以在Cockpit中创建和管理虚拟机。环境Centos8安装Cockpit要使用 Cockpit 创建和管理虚拟机，必须在运行 Cockpit 的计算机上安装 cockpit-machines 模块，下面安装Cockpit和cockpit-machines模块：[root@localhost ~]# yum -y install cockpit cockpit-machine lib

文章目录前言1. 图形化桌面配置 VNC 远程连接1.3.1. 设置以 root 用户身份远程连接1.3.2. 设置以普通用户身份远程连接1.2.1. 单终端启用 VNC 远程连接1.2.2. 多终端启用 VNC 远程连接1.1. 安装 VNC 服务1.2. 临时启用 VNC 远程连接1.3. 开机自启动 VNC 服务实现远程连接2. 最小化安装配置 VNC 远程连接3. 关于 VNC 的其它说明3.1. 几条简单的 vnc 维护命令3.2. 关于远程桌面模糊的处理方法总结前言前段时间因为一个项

项目介绍在Docker容器中安装Windows系统。安装Dockercurl -sSL https://get.docker.com/ | sh检查CPU是否支持虚拟化技术在CentOS 7上检查是否支持KVM的方法是通过检查CPU是否支持硬件虚拟化，以及是否已经加载了KVM内核模块。egrep -c '(vmx|svm)' /proc/cpuinfo如果输出大于0，则表示CPU支持Intel VT-x或AMD

本文介绍ESXi服务器上修改虚拟机磁盘扇区大小为32的两种方法。方法一1、登陆ESXi，进入虚拟机所在的datastore目录，每个目录为一个虚拟机2、找到对应的vmdk文件3、进入修改4、保存退出即可方法二1、ESXi上创建需要安装版本的虚拟机，暂不安装系统2、将虚拟机的vmdk文件下载到本地进行以下修改3、将修改后的vmdk文件上传到ESXi后开始系统安装4、安装完成后使用winhex工具查看磁盘扇区数是否为32扇区

KVM虚拟化工具简介及安装1. KVM简介Kernel-based Virtual Machine的简称，是一个开源的系统虚拟化模块，自Linux2.6.20之后集成在Linux的各个主要发行版本中。它使用Linux自身的调度器进行管理，所以相对于Xen，其核心源码很少。KVM目前已成为学术界的主流VMM之一。2. 安装前提Kvm的安装，需要一定的硬件和软件支持：1.需要宿主机CPU支持完全虚拟化（如Intel VT技术或者AMD V技术）。 2.宿主机系统为64位的Linux系统且内核版本高于

[SQL Server] 修改计算机名当修改计算机名时， 需要修改sql server中对应的服务器名， 否则将影响“发布/订阅”，“镜像集群”等功能。1、查询机器名select @@serverName,  serverproperty('serverName') 2、修改机器名EXEC sp_dropserver '旧的计算机名';          GOEXEC sp_addse

之前发过几篇关于如何从博通站点下载VMware 软件安装包和补丁包的教程，例如：《如何在博通官网下载VMware vCenter Server》和《如何从博通支持主页下载VMware vSphere 的补丁包》，但是近期很多小伙伴反馈这些文章里面的步骤疑似失效了，后面自己确认了下上述这些文章步骤还是有效的，但是博通近期收回了普通用户下载VMware 商用软件的权限入口，针对没有绑定Site ID和在保订单的用户，在下载主页只能看到一个下载免费软件的跳转链接，看不到vSphere等商用软件的下载入

KVM虚拟化使用1、安装1.1减查环境是否支持虚拟化egrep -o 'vmx|svm' /proc/cpuinfo1.2.关闭selinux、firewalld、NetworkManager服务。setenforce 0 sudo sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config systemct

 # KVM搭建1、检测系统是否支持KVMKVM 是基于 x86 虚拟化扩展(Intel VT 或者 AMD-V) 技术的虚拟机软件，所以查看 CPU 是否支持 VT 技术，就可以判断是否支持KVM。有返回结果，如果结果中有vmx（Intel）或svm(AMD)字样，就说明CPU的支持的。cat /etc/cpuinfo | egrep 'vmx|svm' 或者cat /proc/cpuinfo |&