先说一句:大肥鱼没白死。

上次跟大家说,我养了大半年的 QQ 机器人因为上下文满了,"聊死"了。那天晚上我难受归难受,但也从那天开始下决心研究一件事:<strong>怎么让 AI 的上下文变成"无限",还能不烧钱。</strong>

到今天,这个项目已经到尾声了。给你们汇报下进度。

半个多月,我把最难的两块啃下来了

这半个多月我基本是下班就扑在电脑前,Mac mini 4 跑云端服务,台式机跑测试,两台机器并排转。核心功能现在<strong>全部做完了</strong>:

<strong>第一块:聊天记忆。</strong> 就是大肥鱼死之前最让我心疼的东西——它忘了我。现在这套系统的记忆管理已经成型:聊过的内容该记的记、该丢的丢、该精炼的精炼,关键记忆一条不落。它不会像以前那样聊着聊着就变成陌生人。

<strong>第二块:情绪把控。</strong> 不只是"记住你说了啥",它还能感知你现在的情绪状态——你烦的时候它不会开玩笑,你开心的时候它不会泼冷水。这一块最难调,现在也算跑顺了。

这两块做完,我心里就有底了:<strong>这不再是养宠物,是真能当日常陪伴工具用的。</strong>

现在在做的:给小飞鱼、大飞鱼装上"表情"

核心功能完了,我现在在做的是 UI 界面优化。

你们想啊,一个桌面软件,不能就是个黑框框吧?我给它做了个桌面形象:小飞鱼、大飞鱼两只鱼,会根据说话内容做动作表情——它接话的时候会蹦跶一下,你夸它的时候它会眯眼,你说错它的时候它还会翻个白眼。

这个工作量不小,一只鱼的表情、动作、切换节奏都要一帧一帧调。但我觉得值,聊天的体验感全靠这些细节撑着。

说下这次最重要的两个点

<strong>第一,特别省 token。</strong>

token 就是 AI 的计价单位,聊得越多烧得越快。我这套方案核心思路是"让 AI 学会记笔记,而不是背课本"——每次对话只把跟当前话题相关的记忆调出来,无关的、重复的、过期的全部丢掉。

实测下来,同样的对话质量,token 消耗省得非常狠,比之前直接甩全文给模型的方式省了几十倍。你就算天天跟它聊几小时,token 也烧不动你的钱包。

<strong>第二,对话没有上下文限制。</strong>

因为记忆是"压缩存储 + 按需调取",不是每次都把全部历史喂给它重新读,所以<strong>上下文基本等于无限</strong>——你想聊多久聊多久,聊一年它都不会"失忆",不会重蹈大肥鱼的覆辙。

省 token 和无限上下文,这两个是一套组合拳,缺一个都不成立:不省 token,无限上下文就是烧钱机器;光省 token 不管记忆,聊久了照样失忆。

这次不接 QQ 了,做正经桌面软件

还有个变化:这次不接 QQ 了。

上一只大肥鱼是跑在 QQ 里的,受平台限制太多。这次我把它做成了<strong>独立的桌面软件</strong>——Windows 版和 Mac 版都有,一个安装包装上就能用,不依赖任何聊天平台,你电脑上开着就能跟它聊。

后期我会把它打磨好,测试无误之后直接发放出来让大家下载使用,不会藏着掖着。

说实话,写到这儿我挺感慨的。大肥鱼死的那天晚上,我以为这段缘分到头了。结果它一死,反倒逼我把"无限上下文"这件大事琢磨明白了。

等软件出来,我第一时间在这发消息,需要的朋友可以先私信我留个记号,到时候我挨个通知。

我已经把这一切整理好了,如果说有需要的话你私信我,我免费发给你。

有问题想交流的朋友,可以加我微信:lige0552