为了能够跟上技术时代的潮流这段时间买了一个新的电脑带着一个 16G 的显卡能够让我尝试一些本地大模型的部署。前天是最早开始尝试昨天算是有了一点点的进展。昨天的成果是把千问 3.6-35B-A3B 四比特的量化版本跑起来了每秒钟能够生成的 token 速度大概是 40 左右。就在这样的基础上我也尝试测试了一下我可能用到它的一些使用场景。比如说是写写脚本再比如说是接入到我的 Agent 里面进行一些闭环的操作。感觉不管是写文档、写代码还是尝试做一些其他的复杂工作问题都不是特别大。唯一感觉出乎意料的就是风扇的呼呼声的的确确说来就来。今天再度尝试感觉基本上找到了一点优化的路子让我尝试的这个模型在我的电脑上有了更好的体验。今天首先尝试的是 27B 的模型因为早期的时候看到了一个 27B 的三只版量化模型说是能够在 8G 的显存之内完全装得下而且整体的效果相距满血版的差距并不是特别大因此我也想去尝试一下。但是这个版本花费了我好长的时间最终没有取得很好的效果。因为不管我怎么去尝试修改都没法让它只在 GPU 下进行推理计算它总是占用大量的 RAM然后去跑 CPU。后续这个问题我倒是可以继续尝试解决一下。然而你要说 GPU 没有配置对它尝试用 CPU 去填补这也说不过去因为不管是集成显卡还是独立显卡都让它占走了一定的空间。经过好几次启动、关闭、启动、关闭的循环基本上能够看得出来这个空间的确确是被它占走了但是工作的效果就是不是很好。后来基本上就把这个给放弃了专心打磨 A3B 的模型。关于 A3B 的模型的打磨也分为两个阶段。第一个阶段是四比特量化的版本继续打磨最终取得的成果也是比较不错的。原本我实现的配置能够让它稳定在 40 token 每秒的速度。今天打磨之后这个能够稳定在 50 以上的速度大部分时候还是在 60 以上这个体验就非常好了。现在有人工智能的分析辅助想去不断地调整改进基本上是很简单的。我们只需要了解这个反馈的模式然后结合我们自己简单的分析说出我们的怀疑点让人工智能给我们做一做分析给出对应的改进基本上就能看到一个很好的改进效果。下面是我的四比特量化版本的启动脚本。llama-server ^ --host 0.0.0.0 ^ --port 8080 ^ -m C:\llama.cpp\models\Qwen3.6-35B-A3B-UD-Q4_K_M.gguf ^ -ngl 999 ^ -c 32768 ^ -t 6 ^ --flash-attn on ^ --n-cpu-moe 15 ^ -ctk q8_0 ^ -ctv q8_0 ^ -b 2048 ^ -ub 2048 ^ --no-mmap在进行这个脚本参数修改测试的同时查到了一个 MTP 加速的手段说是能够加速接近两倍。于是我也尝试进行了这方面的一个改进。首先是找到了 MTP 版本的量化文件。但是尝试了好长时间不管是怎么修改都取不得很好的效果。后来发现在 MTP 的这个项目之下其实还包含了很多非 MTP 的量化版本而我下载的这个版本是不支持 MTP 的。后来重新找了一下找到了支持的版本。同时这个版本也是一个 IQ 3 量化的版本。占用的资源更少速度也更快。基于这个版本通过 DeepSeek 以及千问大模型的分析找到了一个相对合理的配置。在我的这个电脑上实际测试速度基本上稳定在 80 token 以上。配合 agent 使用的时候在终端中查看工作的 log有时候能看到峰值 token 生成数可能在 130 左右。我用这个版本尝试写代码、写文档等测试感觉这个等待时间短了很多非常丝滑。像这种参数量的模型可能在推测能力、智商程度各个方面并不是出类拔萃但是在替代我们解决一些繁重的工作方面应该是比较出色的。其实我并不是很期待这些工具能够 100% 的取代我的工作我感觉它们也很难 100% 的取代我的工作。或者说我倒是期待它们能够 100% 的取代我的工作。然而就我现在的分析来看我觉得它们是做不到的。因此还不如从最初的这个时间点就不要让自己进入一个误区我们需要学习的是跟人工智能共生让人工智能辅助我们尽快的把最有价值的信息装入到我们的大脑而不是说是让它们对我们进行一个完全的取代。基于这样的考虑我觉得如果是现在世界排名第一的模型满血版本能够做到 100 分像我手里的这个模型如果是能得到五六十分我就觉着这还是可以的。并且对于我们的工作、学习以及生活都是有比较好的改进和改善效果的。尤其是当我们配合 Agent 使用的时候还有很多条件边界能够让它工作得更加准确这样原本五六十分的能力有时候也能做到八九十分的效果。只是在这个过程之中可能我们投入的时间会多一点但是这也无所谓毕竟机器是可以 24 小时工作的。接下来分享一下我这个 IQ 三 MTP 量化版本的启动配置我觉得还是具备非常好的可用性的。llama-server ^ --host 0.0.0.0 ^ --port 8080 ^ -m C:\llama.cpp\models\Qwen3.6-35B-A3B-UD-IQ3_S.gguf ^ -ngl 99 ^ -t 24 ^ -np 1 ^ -fa on ^ --spec-type draft-mtp --spec-draft-n-max 2 ^ -b 1024 ^ -ub 1024 ^ -ctk q8_0 ^ -ctv q8_0 ^ --main-gpu 1 ^ --split-mode layer ^ --mlock ^ -c 65536经过这几天的折腾投入了大量的时间也有好几个晚上睡眠时间都让自己给耗进去了。但是这几天的折腾我觉得还是比较令人欣慰的毕竟这让我看到了接下来有一个新的工作模式的产生。后面尝试对这些模型进行打磨我觉得已经没有那么大的必要性了毕竟现在的这个性能已经足够满足我的诉求了。接下来就是看看它对于我生产力以及质量的提升帮助了。
