手把手教你本地部署可用的Qwen3.8-27B

部署Qwen3.8-27B及 DeepSeek Agent 接入

*** 本次实践的硬件情况说明 ***

• 系统：Windows 11
• 显卡：NVIDIA RTX 5070 Ti (16GB VRAM)
• 处理器：Intel® Core™ Ultra 7 265KF
• 内存：48GB DDR5
• 剩余显存： 保证15GB以上（非常重要）：

---

第一部分: 部署Qwen3.8-27B

第一步：下载推理引擎

下载最新的llama.cpp 版本【点击前往】

第二步：下载模型

最新的Qwen3.8-27B 模型 【点击前往】

第三步：解压

将下载的llama.cpp程序解压

第四步：拷贝到models目录

解压目录下创建一个子目录，比如models,将下载的Qwen3.8-27B，格式是gguf文件拷贝到 models下

第五步：创建启动文件

在models 创建启动.bat 文件。拷贝下面的命令粘贴到启动.bat后保存文件，并双击启动.bat

第六步：参数说明

llama‑server 核心参数说明（适配 Qwen3.8‑27B 推理思考模型）
启动命令参数：

..\llama-server.exe ^
-m Qwen3.8-27B-APEX-I-Nano.gguf ^
--mmproj mmproj-Qwen3.8-27B-F16.gguf ^
--n-gpu-layers 999 ^
--ctx-size 98304 ^
--cache-type-k q4_0 ^
--cache-type-v q4_0 ^
--kv-unified ^
--batch-size 1024 ^
--ubatch-size 512 ^
--gpu-layers-draft all ^
--spec-type ngram-mod,draft-mtp ^
--spec-draft-n-min 1 ^
--spec-draft-n-max 2 ^
--spec-draft-p-min 0.0 ^
--reasoning on ^
--chat-template-kwargs "{""preserve-thinking"": true, ""reasoning_effort"": ""xhigh""}" ^
--reasoning-preserve ^
--reasoning-budget 7200 ^
--flash-attn on ^
--threads 6 ^
--fit off ^
--load-mode mmap ^
--no-warmup ^
--jinja ^
--temp 1 ^
--top-p 0.95 ^
--top-k 20 ^
--min-p 0.0 ^
--presence-penalty 0.0 ^
--repeat-penalty 1.0 ^
--parallel 1
pause

6.1 模型加载模块参数

表格

参数	你的配置	含义
-m	Qwen3.8‑27B‑APEX‑I‑Nano.gguf或Qwen3.8-27B-APEX-I-Mini.gguf	指定主模型 GGUF 文件路径
--mmproj	mmproj-Qwen3.8-27B-F16.gguf	多模态视觉投影文件，纯文本模型不要加；仅 VL 视觉模型使用
--no-mmproj		纯文本模型
--n‑gpu‑layers 999	999	将模型尽可能全部层卸载到 GPU；999 代表全部。显存不足会自动回落部分层到 CPU
--load‑mode mmap	mmap	内存映射加载模型，不把整个模型完整拷进内存，降低 RAM 占用，硬盘会有读取开销
--no‑warmup	开启	关闭启动预热，加快启动速度；代价是首次生成 token 会慢一点

6.2 上下文 & KV 缓存（长上下文最关键）

表格

参数	你的配置	含义
--ctx‑size	98304为98KB	总上下文窗口 token 数，输入 + 输出 + 思考 token 全部占用这个额度。32768 为32KB
--cache‑type‑k q4_0	q4_0	K 缓存量化，降低显存；q4_0 平衡速度 / 显存；q3_k 显存更小，精度损失略大；f16 原始显存巨大
--cache‑type‑v q4_0	q4_0	V 缓存量化，和 k 配套使用
--kv‑unified	开启	统一 KV 缓存内存池，llama.cpp 新特性，长上下文场景减少碎片，显存利用率更高
--batch‑size 1024	1024	输入 prompt 批处理最大 token，用于 prompt 预处理，长 prompt 需要足够大
--ubatch‑size 512	512	微批大小，解码阶段批处理，不要超过 batch‑size
--flash‑attn on	on	FlashAttention，大幅降低长上下文 KV 缓存算力开销，减少显存，长窗口强烈建议打开

6.3 推测解码（Speculative Decoding，加速生成）

表格

参数	你的配置	含义
--spec‑type ngram‑mod,draft-mtp	ngram‑mod	推测解码类型：ngram‑mod本地 n‑gram 草稿，不需要额外 draft 模型，开箱即用；draft‑mtp依赖模型内置 MTP 预测头，如果你的模型不一定支持，报错就删掉 draft-mtp
--spec‑draft‑n‑min 1	1	每次最少预推测 token 数
--spec‑draft‑n‑max 2	2	每次最多预推测 2 个 token；数值越大理论越快，校验失败回退概率越高；一般 2‑4
--spec‑draft‑p‑min 0.0	0.0	草稿 token 最低置信阈值，0 代表不做过滤
--gpu‑layers‑draft all	all	draft/MTP 层放到 GPU；不用 MTP 时此参数无实际效果

⚠️推测加速不是无限提速：质量复杂思考场景，草稿命中率下降，加速效果减弱。

6.4 Reasoning 思考模式（Qwen 推理模型专属）

表格

参数	你的配置	含义
--reasoning on	on	开启 llama.cpp reasoning 解析，识别 `` 标签，管理思考 token 预算
--reasoning‑budget 7200	7200	思考 token 上限，模型最多允许输出 7200 个思考 token；会占用 ctx‑size 上下文额度
--chat‑template‑kwargs "{\"preserve‑thinking\":true,\"reasoning_effort\":\"xhigh\"}"	xhigh	Jinja 模板参数：preserve‑thinking:true：返回结果保留 `` 思考内容；reasoning_effort:xhigh：模板层面强制高思考强度
--jinja	开启	使用 GGUF 模型内置 Jinja 聊天模板，对 Reasoning 模型必须开启

注意：--reasoning‑preserve和preserve‑thinking:true功能重复，保留模板参数即可。

6.5 生成采样参数（控制输出创造力）

表格

参数	你的配置	含义
--temp 1	1.0	温度；越高越有创造性，0 = 确定性；复杂思考任务 0.7‑1.0
--top‑p 0.95	0.95	核采样，只取累计概率 95% 的 token
--top‑k 20	20	只取概率最高前 20 个候选 token
--min‑p 0.0	0	min‑p 采样关闭；min‑p>0 可以抑制低概率垃圾输出
--repeat‑penalty 1.0	1.0	重复惩罚，1.0 等于关闭；文本重复严重调到 1.05‑1.10
--presence‑penalty 0.0	0	存在惩罚，鼓励出现新词，0 关闭

6.6 性能与并发控制

表格

参数	你的配置	含义
--threads 6	6	CPU 线程，用于模型未卸载到 GPU 的层、prompt 预处理；GPU 跑满大部分层，这个数值影响不大
--parallel 1	1	最大并发会话数，一次只能处理 1 个对话请求；想多客户端同时访问调高；调高会吃更多 KV 显存
--fit off	off	关闭自动适配显存；手动管控 ctx‑size、kv 缓存参数

关键取舍速记

1. 显存紧张（16G）：ctx‑size=32768，cache‑type‑k/v q4_0，parallel=1，打开 flash‑attn。
2. 显存充裕（≥24G）：可提升ctx‑size=65536 或 更大的262144（256KB）；
3. Reasoning 思考模型：--jinja必须开；思考预算 7200 会吃掉大量上下文；
4. 推测解码：优先ngram‑mod，兼容性最好；MTP 看模型是否支持；
5. 纯文本模型：绝对不能带--no-mmproj 或者 不带参数
6. 多模态模型：设置mmproj-Qwen3.8-27B-F16.gguf。

第二部分：接入Agent

DeepSeek Harness 作为后端使用

DeepSeek Harness 开源版本 点击前往】

2.1 安装方式一

``
npm install -g @deepseek-ai/dsh` （全局安装法 永久下载代码到你的本地硬盘中）启动速度快

    启动命令： dsh web
    更新 命令：npm update -g @deepseek-ai/dsh
或 
npm install -g @deepseek-ai/dsh@latest --registry=https://registry.npmmirror.com

卸载命令 ： npm uninstall -g @deepseek-ai/dsh

适用场景：适合高频日常使用的开发者。不需要每次等待下载，即开即用。

2.2 安装方式二

npx @deepseek-ai/dsh web` （即时运行法 采用临时缓存，执行完即释放，**不占本地长期空间** 每次重新下载）


下次启动：
`npx @deepseek-ai/dsh web` 

或者

$env:npm_config_registry="https://registry.npmmirror.com"

或 npm config set registry https://registry.npmmirror.com

npx @deepseek-ai/dsh web

deepseek harness 配置 Qwen3.8-27B 模型接入

在使用时，选择配置的模型：llamacpp

注意事项

• 记得一定要关闭不必要的其他应用程序，释放显存使用量，最好控制GPU显示使用量为0.7GB0.9GB，效果会更好，否则会达不到命令参数配置的98kb和每秒的5080t/s ，切记！！！

• Qwen3.8-27B模型命令中，默认推理级别是 xhigh，推理时间特别的长，对于复杂的代码，逻辑推理要求高的使用情景，建议使用默认的xhigh等级，对应要求不是很高的，日常普通代码，文字工作，可以将推理等设置为 low 或 medium 或者直接关闭思考。 也可以在llama.cpp界面中进行设置。