HQY 一个和谐有爱的空间

要作为长期使用，使用Linux搭建会是一个更好的办法，这也是作为一个Linux运维的觉悟，并且还可以供局域网小伙伴一起用(暂时不考虑性能等问题)。1.下载ollmaOllama 是一个开源的大型语言模型（LLM）本地化部署框架，旨在简化用户在本地运行和管理大模型的流程。https://ollama.com/download/linux但是这个有一个弊端就是下载很慢，而且如果中途失败只能重新来，所以这里还可以直接去github下载，或者从Win下载上传到Linux服务器里面。mkdir 

在Win电脑和Linux服务器里面部署DeepSeek，他们都有安装模型的操作，而且这个操作会很费时间，那有没有一个方法可以提前下载好文件，然后只需要一个启动命令就可以实现呢？由于是脚本类，所以这里我们以Linux为例。如果要提供自动部署脚本，我们首先就是要分析我们的安装过程都做了什么，然后根据部署过程的动作才能把部署内容封装到一起。1.下载ollama实际上这个操作就是下载了二进制文件，然后通过配置参数然后启动它。所以我们只需要一个很简单的命令就可以实现。2.安装模型虽然我们无法直接看到安装的

Win和Linux部署DeepSeek的比较简单的方法，而且采用的模型也是最小的，作为测试体验使用是没问题的。如果要在生产环境使用还是需要用到GPU来实现，下面我将以有一台带上GPU显卡的Linux机器来部署DeepSeek。这里还只是先体验单机单卡，后期会更新多机多卡使用更高模型的文章。1.确认配置由于是虚拟机，并且虚拟机方面做了配置，所以这里并未显示真实显卡型号，实际型号：NVIDIA Tesla T4 16G。  [root@deepseek01 ~]#&nb

随着ChatGPT的革命性发布，一个能聊天、会讲笑话、自动提取文章摘要、可以查快递、查天气、查股票、自动联网搜索总结答案还能识别语音陪你一起玩游戏的智能小助理已不再是梦想。这篇保姆级教程将给大家介绍如何花费5分钟来实现一个强大的个人智能助理，它不需要我们编写任何代码，所以操作起来非常简单。开始之前，我们先通过一个小视频来看一下我们将要实现的智能助理机器人所具备的部分功能。上面仅演示了智能小助理的部分功能，通过开源插件或自定义插件我们还可以实现更丰富更好玩的功能。智能机器人搭建步骤我们使用微信作为

CUDA 的统一内存（Unified Memory）是通过 cudaMallocManaged 函数和 __managed__ 关键字实现的主机与设备的透明化内存访问。其核心原理是将物理存储位置抽象为统一的虚拟地址空间，当 CPU 或 GPU 访问数据时，系统自动完成数据迁移（按需分页迁移），开发者无需手动调用 cudaMemcpy。这对于简化代码非常有用，特别是对于初学者或者需要快速原型开发的情

部署了vLLM版本以后，访问它比较麻烦。如何才能更好的实现访问呢，这个就是我们今天要讲的Open WebUI，它可以向我们使用官方DeepSeek一样直接在网页进行对话。OpenWeb UI 是一个功能丰富且用户友好的自托管 Web 用户界面，主要用于管理和操作各种本地和云端的人工智能模型。它支持多种大型语言模型（LLM）运行程序，包括 Ollama 和兼容 OpenAI 的 API，旨在完全离线操作。以下是关于 OpenWeb UI 的详细介绍：主要特点用户界面：直观且响应式，可在任何设备上提

我们通过conda创建虚拟Python环境，实现vLLM和OpenWebUI的配置，但是这个安装部署会非常繁琐非费时间。我们今天将使用容器来部署。环境还是使用ubuntu20.4，复用上个环境已经安装GPU驱动和模型文件。1.安装Dockercurl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/shar

我们无论是直接部署，还是容器部署都还是单机的模型，受单机GPU限制，并不能跑比较大的模型，今天我们将用多台机器组成一个集群来跑一个更大的模型。1.准备机器机器IPGPU备注172.16.0.102Tesla T4*2复用旧机器，扩容了GPU172.16.0.43Tesla T4*2新机器172.16.0.65Tesla T4*2新机器2.安装驱动及必要软件新加入的机器需要分别安装驱动，Docker，Nvidia-Docker#安装驱动 dpkg -i nvidia-driv

前面部署过Win版本，也部署过Linux版本，也部署过单机版本，也部署过集群版，中途采用过多个模型，那这个模型到底是什么，我能选择什么模型呢？什么是蒸馏版，满血版，什么是量化版呢？首先我们说模型需要先来解释什么是训练模型，什么是推理模型。训练模型训练模型是指模型在学习阶段的过程。在这一阶段，模型通过大量标注数据（输入数据和对应的标签/答案）逐步调整内部参数（如神经网络的权重），目标是学习数据中的规律，从而能够对未知数据做出预测或分类。国产大模型DeepSeek之所以火爆，就是因为他用很小的代价(

从单机到集群，从Win到Linux都已经涉及，但是没涉及到单机多卡，本篇文章就来说说这个单机多卡遇到的问题。本次环境是4张卡Tesla V100卡。1.只能用1张卡ollama是使用官方脚本安装的，ollama是以systemctl方式启动，下载的是deepseek-r1:32b模型，启动以后发现只使用了22G显存，实际上只用了1张卡，其他卡未使用。如果要使用4张卡则需要按照下面的方式调整配置，或者跑更大的模型，如果超过单张卡GPU显存限制，则会自动分配到所有显卡上面，不需要做任何特殊配置vi&

注：使用不同的推理模型，需要的模型文件是不一样的，比如我前面用的ollama下载的模型，则只能在ollma里面使用，不能拿到vLLM来使用。1.vLLM介绍vLLM相比ollama复杂，ollama启动以后，读取模型文件就可以提供服务，但是vllm则只是一个框架，本身不具有启动服务的能力，它需要依赖python来启动服务。虽然vLLM比较复杂，但是他具有组成集群跑更大模型的能力，所以我这里先用单机版来让搭建对这个vLLM有一个的理解，后期再深入。2.miniconda环境准备miniconda可

0x01 前言 对数据敏感的企业想要部署自己的大模型该（如：DeepSeek R1）该选用什么方式呢？ Ollama还是vllm呢？ 我先说结论：Ollama适用于开发测试，vLLM适用于生产环境部署下面我会进行详细的选型对比，让你有一个更清晰的认知。0x02 选型对比 Ollama与vLLM都是针对大语言模型（LLM）部署和推理的开源框架，但它们在设计目标、技术特点和适用场景上有显著的差异。下面通过多个维度给出具体对比说明1. 核心定位与部署方式Ollama ： 

生产环境如何部署deepseek，什么样的配置能生产可用，今天我用双4090，测试几个模型。大家看看。 非常感谢提供环境的朋友。vLLM 简单介绍vLLM 是一个快速且易于使用的 LLM 推理和服务库。vLLM（Very Large Language Model Serving）是由加州大学伯克利分校团队开发的高性能、低延迟的大语言模型（LLM）推理和服务框架。它专为大规模生产级部署设计，尤其擅长处理超长上下文（如8k+ tokens）和高并发请求，同时显

一个非常有趣的开源项目——OpenManus。它是MetaGPT社区开发的一个开源替代方案，灵感来源于Manus AI智能体。Manus本身是一个革命性的AI智能体，能够从任务规划到执行全程自动化处理复杂工作流，完全无需人工干预。但问题是，Manus目前处于邀请制模式，限制了更广泛社区的使用。而OpenManus则通过提供一个免费、开源且可定制的版本，让开发者和研究人员也能轻松体验类似的能力。有趣的是，OpenManus整个项目仅用了三个小时就搭建完成！这吸引了许多对Manus感兴趣但因邀请限制

环境准备1.anaconda2.python 环境3.vllm4.Linux 系统（以下操作以 WSL 为例）配置步骤一、 启用 WSL1.在控制面板=>windows 功能=>启用 WSL2.下载 Ubuntu 最新版由于应用商店内下载速度较慢，这里直接去官网下载 wsl 安装包https://releases.ubuntu.com/noble/ubuntu-24.04.2-wsl-amd64.wsl3.安装 Ubuntu wsl --import u

本指南将详细介绍如何使用 vLLM 在本地部署 DeepSeek 语言模型。我们将以 deepseek-ai/DeepSeek-R1-Distill-Qwen-7B 模型为例，逐步指导你完成环境配置、模型下载、vLLM 安装及推理服务的启动与调用。1. 安装 Python 环境在开始之前，你需要确保已安装 Python 环境。访问 Python 官网：https://www.python.org/选择安装包：根据你的操作系统（Windows、macOS 或 Linux）下载并

目录环境准备配置步骤一、配置 GPU 云服务器二、安装 conda三、显卡驱动安装四、vllm 安装五、大模型下载与运行客户端调用测试环境准备1. anaconda2. python 环境3. VLLM（注：只可运行在Linux系统中）4. 云服务器或本地物理服务器；（本文以云服务器部署为例）配置步骤一、配置 GPU 云服务器1.购买云服务器 GPU 计算型根据实际需要选择等待实例初始化2.在本地电脑使用 ssh 连接服务器这里我使用私钥进行连接二、安装

提到「脑洞大开」，大家首先会想到什么？没错，就是那个坐着敞篷车被开脑洞的美国总统，肯尼迪。川普在竞选的时候，就说过如果当选，就会公开肯尼迪被刺杀的档案。至于为啥要公开肯尼迪被刺杀的档案，咱也不敢妄下结论，下面是DeepSeek分析的原因：不过川普果然没有食言，就在3.18，川普公布了2000+份肯尼迪解密档案。好家伙，先不说能不能看懂，这要手动下载，那得把鼠标点冒烟吧。。。为了解决这个问题，我用Coze+DeepSeek自动获取了所有的档案链接，并一键下载。下面来介绍一下操作过程。同时我也将下载

“00 后用 DeepSeek 直播 1 天卖出 3.3 亿” 的消息刷爆了微博热搜，第一批用 DeepSeek 的人已经赚到第一桶金。今天必须跟大家分享一个我在 GitHub 上发现极具变现潜力的 AI 开源工具，它不需要复杂的提示词技巧，只需简单几步，就能批量生成优质短视频。放在以前，想要快速批量生产优质内容吸引流量，往往需要花费大量时间，如撰写剧本、寻找配图、制作配音、添加字幕等等，一系列工作不仅耗时，还对技术有一定要求。这个 AI 工具就是：Story-Flicks，它巧妙地结合了大语言

浏览器已经成为日常工作的主要工具，但经常需要重复相同的操作：定时查看特定网页、填写相似表单、提取网站数据……这些琐碎任务不仅消耗时间，还容易因疲劳而出错。虽然已经有不少自动化解决方案，但大多数要么价格不菲，要么需要掌握复杂的编程技能，让普通技术小白望而却步。近日，在 GitHub 上发现了 Automa 这款开源工具，它以可视化拖拽的方式彻底改变了浏览器自动化的体验。无需编写代码，只需简单连接功能模块，就能构建强大的自动化工作流，真正做到 "人人可用" 的