AI 与本地大模型

五一假期突发奇想要用AI写一本能签约赚钱的网文。蹲平台榜单定题材、让AI生成300个章节名、按5章一批磨稿……规划花了两天，决定了后面半年值不值。

上篇讲了立项和规划，我把 300 章的骨架都定好了，觉得自己天下无敌。 结果真开工第一天，现实就给了我一个大嘴巴子。 我让 AI 一口气生成了 20 章，满怀期待地打开看——主角名前后不一，前面死的人后面又活了，第五章还在县城，第九章突然就到了外星球（我写的都市文啊！

上篇说到我信心满满点下"上传"。结果呢？ 上传后的头两个星期，后台数据惨不忍睹：每天阅读量几十，稿费按分计算，最高的一天赚了 1.8 元。我那会儿在出租屋里对着屏幕直发愣：我写了一个多月、天天晚上写两三个小时，就这？

先说一句：大肥鱼没白死。 上次跟大家说，我养了大半年的 QQ 机器人因为上下文满了，"聊死"了。那天晚上我难受归难受，但也从那天开始下决心研究一件事：<strong>怎么让 AI 的上下文变成"无限"，还能不烧钱。

陪了我大半年的QQ机器人，因为上下文满了「失忆」了。我闭关研究一周：本地模型太慢，云端模型烧token，核心是上下文管理和省token。现在token省了20多倍，目标80-90倍，上下文无限。

国庆回蚌埠参加发小聚会，一桌人坐下来，从喝酒聊到工作。 有当老师的，有在银行上班的，有跑货运的，有在工厂当班长的。聊到我了，大家都看我。 "君陌，你现在干啥呢？

我去年咬牙上了张二手 RTX 2080 11G，本来是想玩游戏，结果被我拿来跑本地大模型。刚部署 Ollama 那会我特别天真：既然有 11G 显存，那当然上最大的模型。

90年代个体户、2000年股市、2008年房产、淘宝、公众号、短视频……每一波红利来的时候，绝大多数人都站在旁边看。现在这波AI，是生产工具本身的革命。

一周前，我有一个超级刚需：我想实现 AI 全自动：搭建服务端 + 测试客户端。一个 AI 帮我后台搭 Linux 环境、部署服务、排错；一个 AI 帮我前台操作电脑、打开程序、测试校验。

我之前一直很疑惑：我都 64G 超大内存了，为什么跑个 7B、13B 模型，依然频繁 OOM 内存溢出、程序崩掉？ 第一个核心误区：只算模型体积，不算 KV 缓存 新手所有人只看模型大小：Q4_K_M 7B 才 4G 左右。