Development log

小吉终端:为可追溯 RAG 构建数据底座

从 BWiki 采集和溯源,到本地检索、引用与角色对话 MVP,记录 小吉终端 的阶段性进展。

正文使用中文 · 阅读时间为估算

小吉终端 的目标并不是先做出一个会聊天的页面,而是把《尘白禁区》的公开资料整理成一条可验证、可恢复、可持续更新的数据链路,再让本地 MVP 在证据约束下尝试角色陪伴型对话。对于世界观问答来说,模型回答之前的数据质量决定了它是否值得相信。

第一阶段:保留来源,而不是只保留结果

当前阶段从《尘白禁区》BWiki 发现并采集剧情、角色资料、角色皮肤、语音、心意内容、家具与物品背景。采集器保存原始 HTML 或维基文本,同时记录页面地址、哈希、抓取状态和分类信息。

这样做的意义是:后续无论是进行清洗、结构化还是检索,都可以回到来源页面复核,而不是把不可解释的文本直接送进模型。

增量更新与可恢复运行

网站资料会变化,也会出现限流和临时失败。因此采集流程保留状态文件与运行报告,支持仅处理新增页面、分批恢复和目录校验。面对反爬响应时,流程会停止当前批次,而不是尝试绕过站点规则。

这类约束看似保守,但它让数据链路更适合长期维护:失败有记录、来源可追溯、每次运行都有边界。

从数据底座到本地 MVP

采集链路现在已经接入 小吉终端 的 App 应用层。来源清单中的页面会被整理进 lakehouse,并生成词法索引、本地向量索引、角色证据画像和最新状态的对话表达档案。FastAPI 本地接口提供检索、证据检查、关系图谱查看和 MVP 对话入口;每条检索结果仍保留 document_id、页面地址、来源类型和许可信息,回答可以回到原始页面复核。

检索不再只按字面匹配。偏好、关系、语音、经历和日常等问题会触发意图提示,角色直接绑定的邮件、语音、个人 / 好感故事和随机事件会优先于无角色绑定的主线片段;只有证据不足时才保留拒答。当前本地测试、架构校验和 MVP 视图重建已经通过,真实模型调用也完成了烟雾验证,但这仍是本地验证,不代表公网服务已经上线。

对话模式与角色语境

MVP 现在有两种由服务端约束的模式:immersive 沉浸式陪伴和 assistant 角色助手。前者隐藏检索、模型和工具概念,后者只解释后端明确开放的证据能力;会话按角色与模式隔离,切换不会串入另一种上下文。消息中提到具体装甲或时装时,系统会自动识别并关联对应语境,语境会持续到用户说“换回本体”等重置表达;不指定时不会随机混入时装资料。

对话背景默认投影角色最新可用的叙事状态,日期只用于还原事件顺序,不会把角色倒退到旧章节。正文明确写出的关系事实会作为高优先级背景,尚在审核队列的关系候选仍只是证据,不会自动改变角色设定。

关系图谱与人工审核边界

应用层已经能够读取确定性关系并展示来源;模型抽取的关系候选会进入分批人工审核,独立二次模型只提供建议。任何候选都不会自动升级为正式图谱边,来自邮件、随机事件、活动或时装的关系也会保留情境范围,避免一次性内容污染角色本体设定。

下一步:从本地验证到独立服务

后续会继续完善人工审核、关系索引和角色一致性控制,再把本地 MVP 拆成独立的在线 RAG 服务。公网体验将采用匿名限额、Turnstile、服务端密钥保护和来源引用;长期使用则通过 GitHub 提供本地部署说明,不在本站分发原始采集数据。

在那之前,小吉终端 会继续把重点放在数据治理和本地可复现的能力上。项目源码、运行说明和后续部署方式会持续在 GitHub 更新。

数据来源为尘白禁区 BWiki;默认许可证为 CC BY-NC-SA 4.0,页面特殊声明优先。游戏及原始内容版权归其权利人所有。本站不分发原始采集数据,也不伪造在线对话。

讨论

留下你的想法

评论组件将在接近此处时加载