09
2025
03
生产级满血版Deepseek-r1 671B部署实例
Deepseek来了一波疯狂炸场,把全世界的目光都吸引了过来,这波泼天的流量也是没谁了。年后没多久,因为一些特定的原因,官网的Deepseek基本都变成了这个状态手上刚好有几张算力还算可以的显卡经过一系列折腾终于完成了完整版Deepseek-r1 671B满血版生产级的部署,本来就来详细讲一下。本人水平有限,部署过程中对各种设备、模型、网络等内容的理解有限,还望各位高手指正一、准备工作1.1 模型文件生产级满血版的Deepseek-r1,我们应该直奔他的原版仓库1. huggingfa
作者:hqy | 分类:编程&AI | 浏览:89 | 评论:0
09
2025
03
盘点本地部署满血deepseek-r1的各种硬件配置方案
说明:本文的任何主观性语句仅代表个人观点。本人才疏学浅,语言通俗可能有不严谨或有误之处,如您对文章内容存疑,欢迎在评论区/私信指出讨论。写文时间:2025年2月15日。一切价格与性价比相关信息以此时为准。deepseek爆火的背后,溯其本源,是这两个关键句:大公无私的开源精神;打破常规的低成本。我们夸它开源,是因为它媲美全球各大公司的闭源模型;我们夸它成本低,绝不是夸它“用的钱少”,不是所谓“仅几百万美金的训练成本”,而是背后研究团队对MoE架构的改良、对注意力机制的改进、对迭代算法的各种优化…
作者:hqy | 分类:编程&AI | 浏览:59 | 评论:0
09
2025
03
DeepSeek全网使用教程和资料汇总
为大家整理了全网所有deepseek相关得教程和使用资料,请自取。全网资料汇总:链接:夸克网盘分享pan.quark.cn/s/d8b4e023902bDeepSeek简介DeepSeek(深度求索)成立于2023年7月,由国内知名量化资管公司幻方量化创立。它是一家专注于通用人工智能(AGI)的中国科技公司,主攻大模型研发与应用。DeepSeek致力于通过先进的技术手段推动各行各业的智能化转型,以自然语言处理(NLP)、机器学习、深度学习等核心技术为基础,开发了一系列高效、智能的解决方案。核心技
作者:hqy | 分类:编程&AI | 浏览:62 | 评论:0
09
2025
03
本地部署 DeepSeek 硬件配置清单,看到满血版价格想想还是算了
首先介绍下DeepSeek全网使用教程和资料汇总,需要的小伙伴可以自行下载相关教程。hengwei:DeepSeek全网使用教程和资料汇总DeepSeek-R1 通过其强大的推理能力和灵活的训练机制,已经火爆了整个春节。DeepSeek-R1 是一款高性能 AI 推理模型,旨在通过强化学习技术提升模型在复杂任务场景下的推理能力。本地部署 deepseek-r1 硬件需求要求还是挺高的,特别是满血 671b 参数版本:下表说明了各个版本的特点及适用场景:其中最强悍的 671B 版本部署需
作者:hqy | 分类:编程&AI | 浏览:62 | 评论:0
09
2025
03
DeepSeek-R1 671B满血版部署硬件配置
https://blog.frognew.com/2025/02/deepseek-r1-671b-deploy-hardware.html \DeepSeek R1是DeepSeek公司于2025年1月20日发布的推理模型,被认为媲美OpenAI的o1模型。DeepSeek R1满血版:模型总参数量激活参数量上下文长度下载链接DeepSeek-R1-Zero671B37B128K? HuggingFaceDeepSeek-R1671B37B128K? HuggingFaceDeepSeek R
作者:hqy | 分类:编程&AI | 浏览:115 | 评论:0
09
2025
03
消费级 PC 本地部署 DeepSeek-R1满血版 (671B)指南
在科技飞速发展的今天,人工智能尤其是大语言模型的发展令人瞩目。DeepSeek R1 作为其中的佼佼者,过年期间更是彻底破圈,受到广泛关注。虽然网络版和 APP 版已经能满足很多人的需求,但对于技术爱好者和追求极致个性化的用户来说,将模型部署到本地,才能真正实现独家定制,让 DeepSeek R1 的深度思考 “以你为主,为你所用”。 大多数人在本地
作者:hqy | 分类:编程&AI | 浏览:71 | 评论:0
09
2025
03
HuggingFace无法连接,用HF-mirror来绕开限制
在服务器上,通过sh文件运行vLLM服务时,报错连不上HuggingFace:OSError: We couldn't connect to 'https://huggingface.co' to load this file, couldn't find it in the cached files and it looks like THUDM/chatglm2-6b is not the path to a directory containing a fi
作者:hqy | 分类:编程&AI | 浏览:130 | 评论:0
09
2025
03
NVIDIA Tesla P100/V100
一、NVIDIA Tesla P100NVIDIA Tesla P100是一款由NVIDIA公司在2016年发布的高性能显卡,它采用了帕斯卡架构,专为数据中心、深度学习和其他高性能计算任务设计。以下是NVIDIA Tesla P100的主要参数:基本信息型号:NVIDIA Tesla P100芯片厂商:NVIDIA芯片型号:nVIDIA Quadro GP100显卡类型:专业级核心参数核心代号:GP100制造工艺:16纳米CUDA核心:3584个核心频率:1328MHz显存参数显存容量:根据不同
作者:hqy | 分类:编程&AI | 浏览:108 | 评论:0
04
2025
03
如何部署Open WebUI 、知识库搭建
目前 Open WebUI 最便捷的部署方式是通过 docker 部署,一行命令就搞定了:$ docker run -d -p 7777:8080 ghcr.io/open-webui/open-webui相对于 chatbox 、cherry studio 等CS架构,Open WebUI 是基于BS架构的。使用BS架构的好处是服务搭建好后,其他人不用安装软件就可以直接通过浏览器使用。Open WebUI 搭建好后的界面如下:与其他o
作者:hqy | 分类:编程&AI | 浏览:221 | 评论:0
01
2025
03
太震撼!DeepSeek用226台H800服务器,日赚409万!
太震撼!DeepSeek用226台H800服务器,日赚409万!大周末的,DeepSeek悄么声放了个大招。他们知乎官号发了一篇雄文,披露了【如何对DeepSeek V3/R1的推理系统进行优化】,文章有2大核心内容↓一、如何通过优化架构,让模型推理获得更大的吞吐和更低的延迟简单概括就是三板斧↓① 大规模跨节点专家并行② 计算-通信重叠优化③ 多级负载均衡策略前两步可以提升吞吐、降低延迟,而第三步用于优化GPU的占用率。DeepSeek在线推理系统架构图二、测算一下:在这种优化架构下,按照目前D
作者:hqy | 分类:编程&AI | 浏览:85 | 评论:0
28
2025
02
你们单位的deepseek能支持几个人同时提问?
通过昨天的并发测试已经搞清楚了 ollama 的排队运行原理。当多人使用本地部署的 deepseek 时,使用的是先问先答的排队机制。deepseek 回答问题的时间是固定的,不会因为问的人多变得结巴。但同时问的人多,deepseek 会选择一个一个处理,后面的人会处于等待状态。测试过程可以看我昨天的文章:多并发场景 deepseek 答案生成速度会变慢吗?回到主题,本地部署的deepseek能支持多少人同时问问题?如果你家的deepseek是通过ollama来运行的,ollama 自身有排队机
作者:hqy | 分类:编程&AI | 浏览:122 | 评论:0
28
2025
02
多并发场景 deepseek 答案生成速度会变慢吗?
通过 ollama 部署 deepseek 后,如何测试GPU服务器最大能承受的并发数?刚开始通过邀请多人同时在线,通过 open webui 在线聊天的方式测试并发数。因为大家并不是同一时间对 deepseek 提问,问题也不一样,导致生成答案的时间有长有短。如果答案提前生成完,相当于不是并发状态。通过人工方式测试效果不好,于是改用 API 请求方式测试最大并发数。 通过 API 模拟人工方式对 deepseek 发起提问。在服务器空闲状态下进行基准测试:$ollama run&nb
作者:hqy | 分类:编程&AI | 浏览:107 | 评论:0
28
2025
02
Ollama高并发测试
本文主要来测试一下ollama的高并发能力。具体配置如下:一、Ollama默认参数执行我们打开4个窗口,然后分别让DeepSeek “给我讲一个笑话” ,看下不同窗口的答题顺序。通过答题顺序可以看到,在不进行参数设置时,模型是一个一个执行。这样就说明,默认参数下,Ollama并不支持高并发,它会逐个回复我们的请求。二、调整Ollama高并发参数在ollama内,有两个参数与高并发有关分别是:OLLAMA_MAX_LOADED_MODELS:每个模型将同时处理的最大并行请求数,也就是能同时响应几个
作者:hqy | 分类:编程&AI | 浏览:155 | 评论:0
27
2025
02
Cherry Studio+DeepSeek R1 + 嵌入模型:企业与个人都能用的知识库(附详细教程)
无论是个人还是企业,在数字化时代都面临着海量信息的管理挑战。如何高效整理、存储和检索这些宝贵的数据,成为了提升生产力的关键。今天,我们将分享一个简单易上手的方法——基于 Cherry Studio + DeepSeek R1 模型+嵌入模型,快速搭建属于你或你的企业的知识库!一、什么是 Cherry Studio?Cherry Studio 是一款功能强大且灵活的桌面客户端工具,支持多模型服务,适用于 Windows、Mac 和 Linux 系统。它不仅集成了主流的 LLM 云服务和 AI We
作者:hqy | 分类:编程&AI | 浏览:184 | 评论:0
27
2025
02
别再自己造轮子了!企业自建RAG系统的“坑”比你想象的多
最近,发现越来越多的企业开始跃跃欲试,自建RAG(Retrieval-Augmented Generation)系统,仿佛这是一项简单的任务。毕竟,开源工具到处都是,向量数据库和DeepSeek的组合听起来也不复杂。于是,IT部门信心满满地对领导们说:“我们自己搞,肯定能行!”然而,理想和现实的差距往往让人吃尽苦头。今天,我们就来聊聊,为什么企业自建RAG系统往往会掉进“坑”里,以及为什么多数企业其实更适合购买现成的解决方案。一、个人自建RAG知识库的可行性虽然企业自建RAG系统存在诸多挑战,但
作者:hqy | 分类:编程&AI | 浏览:84 | 评论:0
27
2025
02
验证码自动识别(附Python代码)
视频教学相关下载(含Python代码)验证码自动识别相关下载:【tesseract及语言包还有我视频中的python代码】简介验证码识别普通人通常使用Tesseract来实现,但这种方式经本人验证错误率高。今天给大家介绍一个我常用的验证码识别第三方库 ddddocr使用方法# 第一步 引入
pip install ddddocr
# 第二步 参考下载部分中的python脚本
作者:hqy | 分类:编程&AI | 浏览:114 | 评论:0
27
2025
02
DeepSeek训练私有知识库,更适合AI客服回答精准问题场景
视频教学所需工具&下载1、容器:docker 、ollama2、DeepSeek模型3、MaxKB 开源项目下载:「【DeepSeek训练私有知识库】所需工具」安装MabKB (docker安装):docker run -d --name=maxkb --restart=always -p 8080:8080 -v 你的文件夹:/var/lib/postgresql/data  
作者:hqy | 分类:编程&AI | 浏览:140 | 评论:0
27
2025
02
【Screenpipe + Interpreter】 AI监工
简介比如我今天开了一个网站,但是我忘记网址了,这样ai能记得,ai就能帮我找回来,或者一个打开过海报PNG,我忘记在哪了,ai也能帮我开打。最后也就是ai可以帮你省心的做一个日报,到点下班ai帮你做日报,不用加班了。老板们可以用它监控员工的操作,找到员工摸鱼证据视频教学https://www.bilibili.com/video/BV1Gjwne6Ejc/操作1、安装 Screenpipe(实时记录屏幕、声音)安装仅需一行代码### macos, linux 系统:
作者:hqy | 分类:编程&AI | 浏览:141 | 评论:0
27
2025
02
DeepSeek多模态识图、文生图、验证码识别
简介DeepSeek不仅仅有大语言模型,它也有Janus用于图像的AI模型。我们可以将它用于:图像识别、验证码识别、文生图等等资源下载链接:「DeepSeek多模态图像AI所需工具」视频教程https://www.bilibili.com/video/BV11LFCeQEHH安装第一步安装cuda和anaconda,并创建 python >= 3.9 的环境、环境中还要有git第二步git clone https://github.com/deepseek-ai/Jan
作者:hqy | 分类:编程&AI | 浏览:136 | 评论:0
27
2025
02
DeepSeek 使用及本地安装教程
DeepSeek 使用及本地安装教程简介吊打openai chatgpt的国产大预言模型DeepSeek。不用不是中国人!在线版直接使用DeepSeek官网:https://www.deepseek.com/离线版安装下载ollama并安装:Ollama离线安装包使用命令安装deepseek:ollama run deepseek-r1:7b
作者:hqy | 分类:编程&AI | 浏览:114 | 评论:0