Initial SOC memory POC implementation
This commit is contained in:
130
docs/poc-scope.md
Normal file
130
docs/poc-scope.md
Normal file
@ -0,0 +1,130 @@
|
||||
# POC Scope
|
||||
|
||||
## 目标
|
||||
|
||||
第一阶段 POC 只验证一件事:
|
||||
|
||||
**高价值记忆抽取 + 相似 case / 知识召回,是否能有效提升 SOC case 研判效率和质量。**
|
||||
|
||||
## POC 范围
|
||||
|
||||
### 聚焦 case 类型
|
||||
|
||||
建议只选 1 到 2 类典型场景:
|
||||
|
||||
1. 钓鱼邮件 / 恶意附件
|
||||
2. O365 异常登录 / 疑似账号被盗
|
||||
|
||||
原因:
|
||||
|
||||
- 数据可获得性较高
|
||||
- 历史 case 重用价值高
|
||||
- playbook / KB 通常较完整
|
||||
- 便于定义“相似 case 命中率”
|
||||
|
||||
## 第一阶段只接入的数据
|
||||
|
||||
### 必接
|
||||
|
||||
- 历史 case
|
||||
- KB
|
||||
- Playbook
|
||||
|
||||
### 可选接入
|
||||
|
||||
- 月报摘要
|
||||
- 报告摘要
|
||||
|
||||
### 暂不接入
|
||||
|
||||
- ticket system 双向同步
|
||||
- 全量情报系统自动拉取
|
||||
- 全量报告原文
|
||||
- 大规模 process trace 持久化
|
||||
- analyst 偏好个性化
|
||||
|
||||
## 第一阶段要做的能力
|
||||
|
||||
### 必做
|
||||
|
||||
- 历史 case 导入
|
||||
- KB / Playbook 导入
|
||||
- 高价值信息抽取
|
||||
- 基于当前 case 的相关上下文检索
|
||||
- case 总结沉淀
|
||||
- 结构化写回 OpenViking
|
||||
- 生成 Obsidian case note
|
||||
|
||||
### 第二阶段再做
|
||||
|
||||
- EverMemOS 长期整理自动化
|
||||
- 更复杂的去重和衰减
|
||||
- 多数据源自动同步
|
||||
- 多 agent 协同策略优化
|
||||
|
||||
## 不做的事情
|
||||
|
||||
为了保证 POC 可落地,第一阶段明确不做:
|
||||
|
||||
- 泛化的企业级记忆平台
|
||||
- 所有原始数据全量入库
|
||||
- 全量全文检索系统重构
|
||||
- 覆盖所有 SOC 告警类型
|
||||
- 复杂权限系统
|
||||
- 完整的在线标注平台
|
||||
|
||||
## 交付物
|
||||
|
||||
第一阶段建议交付:
|
||||
|
||||
1. 可运行的 memory gateway
|
||||
2. 一批可导入的历史 case 与 KB / Playbook 样本
|
||||
3. 最小的 ingest / retrieve / summarize / commit 闭环
|
||||
4. Obsidian 模板和样例 note
|
||||
5. 一份 baseline 与 POC 对比评估结果
|
||||
|
||||
## 2 到 4 周实施建议
|
||||
|
||||
### 第 1 周
|
||||
|
||||
- 冻结 POC 范围
|
||||
- 整理样本数据
|
||||
- 完成数据模型与 namespace 约定
|
||||
- 建好 Obsidian 模板
|
||||
|
||||
### 第 2 周
|
||||
|
||||
- 完成历史 case / KB 导入脚本
|
||||
- 完成 `retrieve_context_skill`
|
||||
- 接通 OpenViking 的 `soc/case` 和 `soc/knowledge`
|
||||
|
||||
### 第 3 周
|
||||
|
||||
- 完成 `summarize_case_skill`
|
||||
- 完成 `commit_memory_skill`
|
||||
- 输出标准 case note 到 Obsidian
|
||||
|
||||
### 第 4 周
|
||||
|
||||
- 跑评估脚本
|
||||
- 做人工 review
|
||||
- 收敛下一阶段需求
|
||||
|
||||
## 评估指标
|
||||
|
||||
建议至少跟踪以下指标:
|
||||
|
||||
- 相似 case 命中率
|
||||
- 检索上下文相关性
|
||||
- 平均研判时间
|
||||
- 最终结论准确率
|
||||
- 人工满意度
|
||||
|
||||
## 验收标准
|
||||
|
||||
POC 第一阶段可以认为成功,当同时满足:
|
||||
|
||||
- 能稳定召回相关历史 case 或知识
|
||||
- 能辅助生成结构化 case note
|
||||
- 人工评估认为上下文质量有明显提升
|
||||
- 没有因为“塞入太多资料”导致检索明显劣化
|
||||
Reference in New Issue
Block a user