# SOC 研判辅助记忆系统 POC 方案 ## 一、整体架构设计 ### A. 架构图 ``` ┌─────────────────────────────────────────────────────────────────────────────────────────┐ │ SOC Case 研判工作流 │ ├─────────────────────────────────────────────────────────────────────────────────────────┤ │ ┌──────────────┐ ┌──────────────┐ ┌──────────────┐ ┌──────────────┐ │ │ │ Ticket │ │ 情报系统 │ │ 历史 Case │ │ 知识库 │ │ │ │ System │ │ (Intel) │ │ Archive │ │ (KB/Playbook)│ │ │ └──────┬───────┘ └──────┬───────┘ └──────┬───────┘ └──────┬───────┘ │ │ │ │ │ │ │ │ ▼ ▼ ▼ ▼ │ │ ┌─────────────────────────────────────────────────────────────────────────────┐ │ │ │ 数据接入层 (Ingestion Pipeline) │ │ │ │ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │ │ │ │ │ ingest_skill│ │ extract_ │ │ classify_ │ │ commit_ │ │ │ │ │ │ │──▶│ memory_skill│──▶│ memory_skill│──▶│ memory_skill│ │ │ │ │ └─────────────┘ └─────────────┘ └─────────────┘ └─────────────┘ │ │ │ └─────────────────────────────────────────────────────────────────────────────┘ │ │ │ │ │ ┌──────────────────────────────┼──────────────────────────────┐ │ │ ▼ ▼ ▼ │ │ ┌──────────────┐ ┌─────────────────┐ ┌─────────────────┐ │ │ │ Obsidian │◀──────────│ OpenViking │◀───────────│ EverMemOS │ │ │ │ (知识沉淀) │ │ (统一 Context) │ │ (长期记忆整理) │ │ │ │ │ │ │ │ │ │ │ │ - KB/Playbook│ │ - memory │ │ - 抽取/归纳 │ │ │ │ - Case Note │ │ - resources │ │ - 去重/合并 │ │ │ │ - 模板/标签 │ │ - skills │ │ - 衰减/演化 │ │ │ └──────┬───────┘ └────────┬────────┘ └────────┬────────┘ │ │ │ │ │ │ └─────────┼──────────────────────────────┼──────────────────────────────┼──────────────────┘ │ │ │ ▼ ▼ ▼ ┌─────────────────────────────────────────────────────────────────────────────────────────┐ │ AI Agent / Harness System │ │ ┌─────────────────────────────────────────────────────────────────────────────┐ │ │ │ retrieve_context_skill │ │ │ │ 根据当前 case 检索 ──▶ OpenViking ──▶ 返回相关上下文 ──▶ 辅助研判 │ │ │ └─────────────────────────────────────────────────────────────────────────────┘ │ └─────────────────────────────────────────────────────────────────────────────────────────┘ ``` ### B. 组件职责划分 | 组件 | 定位 | 核心职责 | |------|------|----------| | **Obsidian** | 人工可维护的知识沉淀层 | KB/Playbook/报告模板、Case Note 人工编辑、可视化知识网络 | | **OpenViking** | 统一 Context/Memory Gateway | 统一入口、namespace 管理、资源/技能/记忆的组织与检索 | | **EverMemOS** | 后台长期记忆整理层 | 抽取式记忆、归纳合并、去重衰减、长期记忆演化 | | **Skills** | 记忆流程自动化 | 导入、抽取、分类、写回、检索、清理全流程 | | **AI Agent** | 消费端 | 调用 skills 获取上下文，辅助研判 | --- ## 二、数据分层设计 ### A. 五类记忆模型 ``` ┌────────────────────────────────────────────────────────────────────────────────┐ │ 数据分层架构 │ ├──────────────────┬───────────────────────────────────────────────────────────┤ │ 记忆类型 │ 来源与特征 │ ├──────────────────┼───────────────────────────────────────────────────────────┤ │ Knowledge Memory │ 来源: KB、月报、报告、Playbook、PO │ │ (知识库记忆) │ 特征: 静态、高价值、可复用、长期有效 │ │ │ 示例: "钓鱼邮件识别 playbook"、"CVE-2024-XXXX 分析" │ ├──────────────────┼───────────────────────────────────────────────────────────┤ │ Case Memory │ 来源: 历史 case、研判结论、关键证据、误报/真报模式 │ │ (案例记忆) │ 特征: 经验沉淀、模式识别、场景化 │ │ │ 示例: "2024年Q3 钓鱼邮件攻击趋势"、"某 APT 组织 TTP" │ ├──────────────────┼───────────────────────────────────────────────────────────┤ │ Process Memory │ 来源: AI agent 研判过程中的中间步骤、工具调用结果、推理路径 │ │ (过程记忆) │ 特征: 临时性、高信息量、需抽取提炼 │ │ │ 示例: "本次研判使用的 IOC 列表"、"推理链草稿" │ ├──────────────────┼───────────────────────────────────────────────────────────┤ │ Profile Memory │ 来源: Analyst 偏好、团队规范、告警分级标准 │ │ (配置/偏好记忆) │ 特征: 相对稳定、个性化、可影响检索排序 │ │ │ 示例: "某 Analyst 偏好详细日志"、"夜间告警阈值" │ ├──────────────────┼───────────────────────────────────────────────────────────┤ │ Session Memory │ 来源: 当前任务的临时上下文、对话历史 │ │ (会话记忆) │ 特征: 极短期、随任务结束可丢弃 │ │ │ 示例: "当前正在研判的告警 ID"、"已确认的 IOC" │ └──────────────────┴───────────────────────────────────────────────────────────┘ ``` ### B. 数据生命周期 ``` Knowledge Memory ─────────────────────────────────────────────────▶ 长期保留 │ ▼ Case Memory ─────────────────────────▶ 抽取为 Pattern ──────────▶ 合并到 Knowledge │ 或定期清理 ▼ Process Memory ──▶ 抽取高价值结论 ──▶ 写入 Case Memory │ ▼ 定期清理/衰减 │ ▼ Session Memory ──────────────────────▶ 任务结束即丢弃 ``` --- ## 三、Obsidian 设计 ### A. Vault 目录结构 ``` SOC Vault/ ├── 📁 00_Knowledge/ # 知识库 - 静态文档 │ ├── 📁 00_KB/ # 知识库文档 │ │ ├── 01_Attack_Techniques/ # 攻击技术分类 │ │ ├── 02_Threat_Intelligence/ # 威胁情报 │ │ ├── 03_Vulnerability_Analysis/ # 漏洞分析 │ │ └── 04_Tool_Usage/ # 工具使用指南 │ ├── 📁 01_Playbooks/ # 响应playbook │ │ ├── 01_Phishing/ # 钓鱼响应 │ │ ├── 02_Malware/ # 恶意软件响应 │ │ ├── 03_Data_Exfiltration/ # 数据外泄响应 │ │ └── README.md # Playbook 索引 │ ├── 📁 02_Monthly_Reports/ # 月报摘要 │ │ └── YYYY-MM/ # 按年月组织 │ └── 📁 03_PO/ # 发布命令/通告 │ ├── 📁 10_Cases/ # 案例库 - 历史case │ ├── 📁 by_type/ # 按类型分类 │ │ ├── Phishing/ │ │ ├── Malware/ │ │ ├── Brute_Force/ │ │ └── Data_Exfiltration/ │ ├── 📁 by_month/ # 按月份归档 │ │ └── YYYY-MM/ │ └── 📁 by_status/ # 按状态筛选 │ ├── Confirmed/ │ ├── False_Positive/ │ └── Pending/ │ ├── 📁 20_Analysis/ # 分析工作区 │ ├── 📁 Templates/ # 模板 │ │ ├── Case_Note.md # Case 笔记模板 │ │ ├── Playbook.md # Playbook 模板 │ │ ├── Monthly_Report_Summary.md # 月报摘要模板 │ │ └── IOC_Extraction.md # IOC 提取模板 │ └── 📁 Inbox/ # 待处理草稿 │ ├── 📁 30_Templates/ # 公共模板库 │ └── 📁 90_System/ # 系统配置 ├── 📁_Tags/ # 标签定义 └── 📁_Graph/ # 双向链接配置 ``` ### B. 模板设计 #### Case Note 模板 ```yaml --- type: case_note case_id: {{CASE_ID}} severity: {{P1|P2|P3|P4}} status: {{Open|Confirmed|False_Positive}} analyst: {{ANALYST_NAME}} created: {{YYYY-MM-DD HH:mm}} tags: [] --- # Case: {{简短标题}} ## 告警摘要 - **告警类型**: - **受影响资产**: - **时间范围**: ## 研判过程 ### 1. 初始信息 ``` {{告警原始内容}} ``` ### 2. 调查步骤 - [ ] 步骤1 - [ ] 步骤2 - [ ] 步骤3 ### 3. 关键发现 {{关键发现列表}} ### 4. IOC 提取 | 类型 | 值 | 置信度 | |------|-----|--------| | IP | | | | Domain | | | | Hash | | | ## 结论 - **判定结果**: {{True_Positive|False_Positive|Uncertain}} - **攻击链阶段**: - **相关 TTP**: ## 关联信息 - **相关 KB**: [[]] - **历史类似 Case**: [[]] - **相关 Intel**: [[]] ## 后续行动 - [ ] 行动1 - [ ] 行动2 ``` #### Playbook 模板 ```yaml --- type: playbook category: {{Response|Detection|Analysis}} mitre_tactics: [] mitre_techniques: [] last_updated: {{YYYY-MM-DD}} reviewer: {{NAME}} --- # Playbook: {{Playbook 名称}} ## 目标 {{简述本 Playbook 适用的场景和目标}} ## 触发条件 {{什么情况下应该使用本 Playbook}} ## 前置要求 - 工具/系统依赖 - 权限要求 ## 步骤 ### Step 1: {{步骤名称}} **目的**: **执行**: ```bash # 命令或操作 ``` **验证**: - 预期结果 ### Step 2: ... ## 决策点 ``` {{决策树或流程图}} ``` ## 常见问题 | 问题 | 解决方案 | |------|----------| | | | ## 关联 - **相关 Case**: [[]] - **相关 KB**: [[]] - **相关 Intel**: [[]] ``` ### C. 标签体系 #### 核心标签 (必须) | 标签 | 用途 | 示例 | |------|------|------| | `#soc/case` | Case 笔记 | `#soc/case/2024-Q3` | | `#soc/playbook` | Playbook | `#soc/playbook/phishing` | | `#soc/kb` | 知识库 | `#soc/kb/cve` | | `#soc/intel` | 威胁情报 | `#soc/intel/apt29` | #### 维度标签 (可选) | 标签类型 | 标签 | 用途 | |----------|------|------| | 严重程度 | `#severity/p1`, `#severity/p2`, `#severity/p3` | 告警分级 | | 攻击类型 | `#attack/phishing`, `#attack/malware`, `#attack/ransomware` | 攻击分类 | | 行业 | `#industry/finance`, `#industry/tech` | 目标行业 | | 威胁组织 | `#apt/apt28`, `#apt/lazarus` | 威胁组织 | | 状态 | `#status/confirmed`, `#status/fp`, `#status/pending` | Case 状态 | ### D. 双向链接建议 ```markdown # 建议的链接模式 1. Case → KB: "[[KB/CVE-2024-XXXX]] 在本案例中的表现为..." 2. Case → Case: "与 [[Cases/2024/2024-Q3-phishing-001]] 类似" 3. Playbook → KB: "基于 [[KB/mitre-tactics]] 的 Initial Access" 4. Intel → Case: "该 IOC 首次出现在 [[Cases/2024/2024-Q2-apt29-campaign]]" ``` ### E. 适合/不适合的内容 | 适合放入 Obsidian | 不适合放入 Obsidian | |-------------------|---------------------| | 人工编写的 KB/Playbook | 原始日志/告警 Dump | | 整理后的 Case Note | 全量 Ticket 记录 | | 月报/报告摘要 | 实时威胁情报 Feed | | 分析方法论 | 工具执行输出 | | IOC 知识卡片 | 临时调试信息 | --- ## 四、Skills 设计 ### A. Skills 职责矩阵 ``` ┌────────────────────────────────────────────────────────────────────────────────────────┐ │ SOC Memory Skills 全景 │ ├────────────────┬──────────────┬──────────────────┬─────────────────────────────────────┤ │ Skill 名称 │ 输入 │ 输出 │ 触发时机 │ ├────────────────┼──────────────┼──────────────────┼─────────────────────────────────────┤ │ ingest_skill │ 原始数据 │ 标准化中间件 │ 定时/手动触发 │ │ │ (KB/报告/ticket)│ │ │ ├────────────────┼──────────────┼──────────────────┼─────────────────────────────────────┤ │ extract_ │ 原始数据/ │ 高价值记忆碎片 │ 每次 case 结案后 │ │ memory_skill │ agent 过程 │ (key-value) │ / 定时批量处理 │ ├────────────────┼──────────────┼──────────────────┼─────────────────────────────────────┤ │ classify_ │ 待分类记忆 │ 带分类标签的内存 │ extract_ 后自动触发 │ │ memory_skill │ │ │ │ ├────────────────┼──────────────┼──────────────────┼─────────────────────────────────────┤ │ retrieve_ │ 当前 case │ 排序后的上下文 │ AI agent 研判时 │ │ context_skill │ 特征/查询 │ 列表 │ │ ├────────────────┼──────────────┼──────────────────┼─────────────────────────────────────┤ │ summarize_ │ case 过程数据 │ 精炼的 Case Note │ case 结案时 │ │ case_skill │ │ │ │ ├────────────────┼──────────────┼──────────────────┼─────────────────────────────────────┤ │ commit_ │ 分类后的记忆 │ 写入目标存储 │ 分类后自动触发 │ │ memory_skill │ │ │ │ ├────────────────┼──────────────┼──────────────────┼─────────────────────────────────────┤ │ prune_memory_ │ 记忆库 │ 清理报告/统计 │ 定时任务 │ │ skill │ │ │ │ └────────────────┴──────────────┴──────────────────┴─────────────────────────────────────┘ ``` ### B. 详细 Skill 规格 #### 1. ingest_skill ```yaml name: ingest_skill description: 从外部系统导入原始数据，转换为标准化中间格式 输入: - KB 文档 (Markdown/PDF) - 月报/报告 (Markdown/PDF) - Ticket System 导出 (JSON/CSV) - 历史 Case 归档 (JSON) - 威胁情报 (STIX/JSON) 输出: - 标准化中间件 (JSON) - 元数据 (来源、日期、类型、标签) 触发时机: - 手动触发: `ingest_skill --source kb --path /path/to/kb` - 定时触发: 每日 2:00 自动同步 - 事件触发: 新 case 结案时 处理流程: 1. 识别数据源类型 2. 解析原始内容 3. 提取结构化字段 4. 生成唯一 ID 5. 写入待处理队列 依赖数据源: - 文件系统 (本地/网络存储) - Ticket API - 情报系统 API ``` #### 2. extract_memory_skill ```yaml name: extract_memory_skill description: 从原始资料或 agent 过程里抽取高价值记忆碎片 输入: - 原始文档/Case 数据 - Agent 过程日志 - 研判对话历史 输出: - 高价值记忆碎片列表 - type: knowledge | case | pattern | ioc | ttp - key: 记忆摘要 - value: 详细内容 - source: 来源 - confidence: 置信度 0-1 - tags: 标签 触发时机: - Case 结案时自动触发 - 定时批量处理 (每小时) - 手动批量处理 处理流程: 1. 加载待处理内容 2. 调用 LLM 抽取关键信息 3. 过滤低价值内容 (置信度 < 0.6) 4. 输出结构化记忆碎片 5. 发送至分类 skill 提取规则示例: - IOC: IP/Domain/Hash/Email - TTP: MITRE ATT&CK 战术/技术 - Pattern: 攻击模式、相似特征 - Conclusion: 研判结论、处置建议 ``` #### 3. classify_memory_skill ```yaml name: classify_memory_skill description: 将记忆碎片分类到正确的记忆层 输入: - 未分类的记忆碎片 - 当前分类规则配置 输出: - 带分类标签的记忆 - memory_type: knowledge | case | process | profile | session - ttl: 短期 | 中期 | 长期 - priority: 高 | 中 | 低 - namespace: 对应存储路径 触发时机: - extract_memory_skill 完成后自动触发 处理流程: 1. 分析记忆内容特征 2. 匹配分类规则 3. 估算 TTL 和优先级 4. 分配 namespace 5. 发送至写回 skill 分类规则: - knowledge: 通用知识、方法论、工具用法 - case: 具体案例、经验总结、模式 - process: 推理步骤、中间结果 - profile: 配置、偏好、规范 - session: 临时上下文、对话片段 ``` #### 4. retrieve_context_skill ```yaml name: retrieve_context_skill description: 根据当前 case 检索最相关的上下文 输入: - 当前 case 特征 - alert_type: 告警类型 - iocs: 已知 IOC - description: 告警描述 - severity: 严重程度 - 检索参数 - top_k: 返回数量 - namespaces: 搜索范围 输出: - 排序后的上下文列表 - content: 相关内容 - relevance_score: 相关度 0-1 - source: 来源 (ov/evermemos/obsidian) - memory_type: 记忆类型 - metadata: 附加信息 触发时机: - AI agent 开始新 case 研判时 - Agent 请求上下文时 检索策略: 1. 多路召回: - 向量检索: 语义相似度 - 关键词检索: 精确匹配 - 图检索: 双向链接关系 2. 多层筛选: - 按 memory_type 过滤 - 按时间/优先级排序 - 去重和合并 3. 重排序: - 结合场景权重 - 个性化调整 返回格式: - knowledge: 参考资料 1-3 条 - case: 相似案例 2-5 条 - ioc: 相关 IOC 1-3 条 - ttp: 相关 TTP 1-2 条 ``` #### 5. summarize_case_skill ```yaml name: summarize_case_skill description: 将 case 过程沉淀为高质量 Case Note 输入: - Case 元数据 - 研判过程日志 - Agent 对话历史 - 提取的 IOC/TTP 输出: - 结构化 Case Note - 关联建议 - 质量评分 触发时机: - Case 状态变更为 Confirmed/FP 时 - Analyst 手动触发 处理流程: 1. 收集 Case 相关信息 2. 提取关键时间线 3. 归纳 IOC/TTP 4. 生成研判摘要 5. 推荐关联 (KB/历史 Case) 6. 写入 Obsidian ``` #### 6. commit_memory_skill ```yaml name: commit_memory_skill description: 将通过筛选的记忆写入目标存储 输入: - 已分类的记忆 - 目标存储配置 输出: - 写入结果 - 存储位置映射 触发时机: - classify_memory_skill 完成后自动触发 - 批量定时提交 写入策略: - knowledge → Obsidian (Markdown) - case → Obsidian + OpenViking - process → EverMemOS (短期) - profile → OpenViking (长期) - session → EverMemOS (会话级) ``` #### 7. prune_memory_skill ```yaml name: prune_memory_skill description: 清理过时、重复、低价值记忆 输入: - 记忆库 - 清理策略配置 输出: - 清理报告 - 统计信息 触发时机: - 定时任务 (每周) - 手动触发 清理规则: 1. TTL 过期: - process: 7 天 - session: 任务结束 - case: 180 天后降级 2. 重复合并: - 相似度 > 0.9 合并 - 保留高置信度版本 3. 价值评估: - 长期未访问 - 引用计数过低 ``` --- ## 五、OpenViking 设计 ### A. Namespace 设计 ```yaml # SOC Memory Namespace 架构 viking://soc/ # SOC 根命名空间 ├── knowledge/ # 知识库 │ ├── kb/ # 知识库文档 │ ├── playbook/ # Playbook │ └── intel/ # 威胁情报摘要 │ ├── cases/ # 案例库 │ ├── 2024/ # 按年归档 │ │ ├── Q1/ │ │ ├── Q2/ │ │ ├── Q3/ │ │ └── Q4/ │ ├── patterns/ # 攻击模式库 │ └── iocs/ # IOC 知识库 │ ├── process/ # 过程记忆 │ ├── active/ # 当前活跃 │ └── archived/ # 已归档 │ ├── profiles/ # 配置/偏好 │ ├── analysts/ # Analyst 配置 │ │ └── {user_id}/ │ └── teams/ # 团队配置 │ └── sessions/ # 会话记忆 └── {session_id}/ ``` ### B. 资源组织 ```yaml # OpenViking Resource 结构 resources: soc_kb: # SOC 知识库 type: directory path: viking://soc/knowledge/ description: KB、Playbook、Intel soc_cases: # 案例库 type: directory path: viking://soc/cases/ description: 历史案例和模式 soc_process: # 过程记忆 type: directory path: viking://soc/process/ description: 研判过程临时存储 ``` ### C. AI Agent 检索流程 ``` ┌─────────────────────────────────────────────────────────────────────────────────┐ │ AI Agent 上下文检索流程 │ ├─────────────────────────────────────────────────────────────────────────────────┤ │ │ │ Agent 请求: "帮我研判这个告警" │ │ │ │ │ ▼ │ │ ┌─────────────────────────────────────────────────────────────────┐ │ │ │ retrieve_context_skill │ │ │ │ - alert_type: "钓鱼邮件" │ │ │ │ - iocs: ["192.168.1.1", "evil.com"] │ │ │ │ - severity: "P2" │ │ │ └───────────────────────────┬───────────────────────────────────┘ │ │ │ │ │ ┌───────────────────┼───────────────────┐ │ │ ▼ ▼ ▼ │ │ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │ │ │ Vector │ │ Keyword │ │ Graph │ │ │ │ Search │ │ Search │ │ Search │ │ │ │ (语义) │ │ (精确) │ │ (链接) │ │ │ └──────┬──────┘ └──────┬──────┘ └──────┬──────┘ │ │ │ │ │ │ │ └───────────────────┼───────────────────┘ │ │ ▼ │ │ ┌─────────────────────────────────┐ │ │ │ Multi-way RRF Fusion │ │ │ │ + 场景权重调整 │ │ │ │ + 个性化排序 │ │ │ └────────────────┬────────────────┘ │ │ ▼ │ │ ┌─────────────────────────────────┐ │ │ │ 返回优先级上下文 │ │ │ │ - Knowledge: 1-3 │ │ │ │ - Case: 2-5 │ │ │ │ - IOC: 1-3 │ │ │ │ - TTP: 1-2 │ │ │ └─────────────────────────────────┘ │ │ │ │ │ ▼ │ │ Context Window │ └─────────────────────────────────────────────────────────────────────────────────┘ ``` ### D. OpenViking 与其他组件的关系 | 组件 | 与 OpenViking 的关系 | |------|----------------------| | Obsidian | OpenViking 读取 Obsidian 作为 resource 源 | | Skills | 通过 OpenViking API 写入/读取记忆 | | EverMemOS | 作为 OpenViking 的后端记忆存储 | | AI Agent | 从 OpenViking 获取统一上下文 | --- ## 六、EverMemOS 设计 ### A. 后台长期记忆整理架构 ``` ┌──────────────────────────────────────────────────────────────────────────────────┐ │ EverMemOS 长期记忆整理层 │ ├──────────────────────────────────────────────────────────────────────────────────┤ │ │ │ 数据输入 │ │ │ │ │ ▼ │ │ ┌──────────────────────────────────────────────────────────────────────────┐ │ │ │ Episode Processor │ │ │ │ - 从 Process Memory 提取关键事件 │ │ │ │ - 识别有价值的研判步骤 │ │ │ │ - 标记重要结论和决策点 │ │ │ └────────────────────────────┬─────────────────────────────────────────────┘ │ │ │ │ │ ▼ │ │ ┌──────────────────────────────────────────────────────────────────────────┐ │ │ │ Memory Extractor │ │ │ │ 输入: 原始 episode │ │ │ │ 输出: 结构化记忆碎片 │ │ │ │ - fact: 事实陈述 │ │ │ │ - pattern: 模式发现 │ │ │ │ - conclusion: 结论 │ │ │ │ - confidence: 置信度 │ │ │ └────────────────────────────┬─────────────────────────────────────────────┘ │ │ │ │ │ ▼ │ │ ┌──────────────────────────────────────────────────────────────────────────┐ │ │ │ Deduplication & Merge │ │ │ │ - 向量相似度检测 │ │ │ │ - 语义去重 │ │ │ │ - 记忆合并 (多版本合并) │ │ │ │ - 冲突解决 │ │ │ └────────────────────────────┬─────────────────────────────────────────────┘ │ │ │ │ │ ▼ │ │ ┌──────────────────────────────────────────────────────────────────────────┐ │ │ │ Evolution & Decay │ │ │ │ - 访问计数跟踪 │ │ │ │ - 时间衰减 │ │ │ │ - 重要性重估 │ │ │ │ - 低价值清理 │ │ │ └────────────────────────────┬─────────────────────────────────────────────┘ │ │ │ │ │ ▼ │ │ 输出 │ │ │ │ │ ▼ │ │ ┌─────────────────┐ ┌─────────────────┐ ┌─────────────────┐ │ │ │ OpenViking │ │ Obsidian │ │ 清理报告 │ │ │ │ (长期记忆) │ │ (案例笔记) │ │ (统计) │ │ │ └─────────────────┘ └─────────────────┘ └─────────────────┘ │ │ │ └──────────────────────────────────────────────────────────────────────────────────┘ ``` ### B. 长期记忆抽取规则 ```yaml # 记忆抽取策略 抽取目标: - 从 Process Memory 抽取: - 关键决策点 - 重要发现 - 有效 TTP - 成功/失败模式 - 从 Session Memory 抽取: - 高价值结论 - 常用模式 - Analyst 偏好 保留策略: 长期 (永久): - 确认的 TTP 模式 - 有效的 Playbook - 重要的 IOC 知识 - 经典 Case 总结 中期 (180天): - 近期 Case 总结 - 有效的分析方法 - 团队知识更新 短期 (30天): - Process 记忆 - 临时分析结果 - 中间推理步骤 丢弃: - 重复信息 - 低置信度内容 - 未验证假设 去重/合并规则: 1. 语义相似度 > 0.9: 合并 2. 时间相近 + 内容相似: 合并 3. 冲突内容: 保留高置信度 + 标记 ``` ### C. 与 OpenViking/Obsidian 的闭环 ``` ┌─────────────────────────────────────────────────────────────────────────────┐ │ 记忆循环流动 │ ├─────────────────────────────────────────────────────────────────────────────┤ │ │ │ ┌─────────┐ ┌─────────────┐ ┌─────────────┐ │ │ │ Process │────▶│ EverMemOS │────▶│ Open │ │ │ │ Memory │ │ (抽取/整理) │ │ Viking │ │ │ └─────────┘ └─────────────┘ └──────┬──────┘ │ │ │ │ │ ▼ │ │ ┌─────────────────┐ │ │ │ 检索返回 │ │ │ │ 供 Agent 使用 │ │ │ └─────────────────┘ │ │ │ │ │ ┌─────────┐ ┌─────────────┐ │ │ │ │ Session │────▶│ Summarize │◀──────────┘ │ │ │ Memory │ │ (case总结) │ │ │ └─────────┘ └──────┬──────┘ │ │ │ │ │ ▼ │ │ ┌─────────────────┐ │ │ │ Obsidian │ │ │ │ (Case Note) │ │ │ └─────────────────┘ │ │ │ └─────────────────────────────────────────────────────────────────────────────┘ ``` --- ## 七、最小可行 POC 范围 ### A. POC 目标 **聚焦场景**: 钓鱼邮件告警研判 **理由**: 1. 钓鱼邮件是 SOC 最常见的告警类型之一 2. 有成熟的 KB 和 playbook 可供参考 3. IOC 提取和模式识别相对标准化 4. 容易评估效果 (研判时间、准确率) ### B. 数据范围 | 数据类型 | 接入范围 | 优先级 | |----------|----------|--------| | 历史 Case | 最近 6 个月的钓鱼邮件 Case | P0 | | KB | 钓鱼邮件识别 KB、常见钓鱼模式 | P0 | | Playbook | 钓鱼邮件响应 Playbook | P0 | | 月报摘要 | 最近 4 个季度月报 | P1 | | 情报 | 活跃钓鱼域名/IP 情报 | P1 | | Ticket | 只接已结案的 Case | P2 | ### C. 先不做 - 实时告警接入 - 自动化研判闭环 - 多语言支持 - 移动端访问 - 全文档 OCR 识别 ### D. 实施计划 (4 周) ``` ┌────────────────────────────────────────────────────────────────────────────────┐ │ POC 实施计划 │ ├────────────────────────────────────────────────────────────────────────────────┤ │ │ │ Week 1: 基础搭建 │ │ ├─ 搭建 Obsidian Vault 结构 │ │ ├─ 设计 Case Note / Playbook 模板 │ │ ├─ 配置 OpenViking SOC namespace │ │ ├─ 部署 EverMemOS 并验证 │ │ └─ 导入 50 个历史钓鱼 Case │ │ │ │ Week 2: Skills 开发 │ │ ├─ ingest_skill: KB/Case 导入 │ │ ├─ extract_memory_skill: IOC/TTP 抽取 │ │ ├─ classify_memory_skill: 分类逻辑 │ │ ├─ commit_memory_skill: 写入流程 │ │ └─ 端到端流程打通 │ │ │ │ Week 3: 检索与评估 │ │ ├─ retrieve_context_skill: 上下文检索 │ │ ├─ 多路召回实现 │ │ ├─ 基础评估脚本 │ │ └─ 内部测试使用 │ │ │ │ Week 4: 优化与验收 │ │ ├─ 检索效果调优 │ │ ├─ POC 演示 │ │ ├─ 评估指标统计 │ │ └─ 文档和交接 │ │ │ └────────────────────────────────────────────────────────────────────────────────┘ ``` ### E. 评估指标 | 指标 | 目标值 | 测量方式 | |------|--------|----------| | 相关 Case 命中率 | ≥ 70% | 检索结果相关性标注 | | 研判时间缩短 | ≥ 30% | 对比有/无辅助的时间 | | 结论准确率 | ≥ 85% | 回测历史 Case 准确率 | | 人工满意度 | ≥ 4/5 | Analyst 评分 | | 记忆库质量评分 | ≥ 80% | 随机抽样评估 | --- ## 八、目录结构与工程结构 ### A. 推荐目录结构 ``` soc-memory-poc/ ├── 📁 obsidian_vault/ # Obsidian Vault │ ├── 00_Knowledge/ │ ├── 10_Cases/ │ ├── 20_Analysis/ │ └── 90_System/ │ ├── 📁 skills/ # Skills 集合 │ ├── ingest_skill/ │ │ ├── SKILL.md │ │ ├── scripts/ │ │ │ └── ingest.py │ │ └── configs/ │ │ │ ├── extract_memory_skill/ │ │ ├── SKILL.md │ │ ├── scripts/ │ │ │ └── extract.py │ │ └── prompts/ │ │ └── extraction.md │ │ │ ├── classify_memory_skill/ │ ├── retrieve_context_skill/ │ ├── summarize_case_skill/ │ ├── commit_memory_skill/ │ └── prune_memory_skill/ │ ├── 📁 openviking_integration/ # OpenViking 集成 │ ├── namespace_config.yaml │ ├── resource_config.yaml │ └── scripts/ │ └── sync_resources.py │ ├── 📁 evermemos_worker/ # EverMemOS 后台任务 │ ├── config.yaml │ ├── extract_worker.py │ ├── dedup_worker.py │ ├── decay_worker.py │ └── requirements.txt │ ├── 📁 ingestion_pipeline/ # 数据接入管道 │ ├── kb_ingester.py │ ├── case_ingester.py │ ├── ticket_connector.py │ └── intel_connector.py │ ├── 📁 retrieval_service/ # 检索服务 │ ├── api.py │ ├── ranker.py │ ├── multi_way_merge.py │ └── requirements.txt │ ├── 📁 evaluation/ # 评估脚本 │ ├── hit_rate_test.py │ ├── time_measurement.py │ ├── accuracy_test.py │ └── synthetic_data/ │ ├── 📁 configs/ # 全局配置 │ ├── soc_memory_config.yaml │ ├── namespaces.yaml │ └── template_config.yaml │ └── 📁 docs/ # 文档 ├── ARCHITECTURE.md ├── SKILLS_API.md ├── POC_PLAN.md └── USER_GUIDE.md ``` ### B. 核心文件说明 ```yaml # 目录与文件映射 soc-memory-poc/ ├── obsidian_vault/ # 人工维护的知识库 │ └── 00_Knowledge/ # 静态知识 │ ├── skills/ # 记忆流程自动化 │ ├── retrieve_context_skill/ # 检索入口 (Agent 调用) │ ├── commit_memory_skill/ # 写入入口 │ └── ...其他 skill │ ├── openviking_integration/ # OpenViking 适配层 │ └── namespace_config.yaml # namespace 定义 │ ├── evermemos_worker/ # 后台整理任务 │ └── extract_worker.py # 从 process 抽取 │ ├── retrieval_service/ # 检索服务 │ └── api.py # 对外 API │ └── evaluation/ # 评估 └── hit_rate_test.py # 命中率测试 ``` --- ## 九、为什么选择这个组合 ### A. 组合逻辑 ``` ┌─────────────────────────────────────────────────────────────────────────────┐ │ 组件选择理由 │ ├─────────────────────────────────────────────────────────────────────────────┤ │ │ │ Obsidian │ │ ├─ 人工可维护: 分析师可直接编辑 KB/Playbook/Case Note │ │ ├─ 双向链接: 天然支持知识间的关联发现 │ │ └─ 模板系统: 规范 Case Note 和 Playbook 格式 │ │ │ │ OpenViking │ │ ├─ 统一入口: 所有 Agent 通过 OpenViking 获取上下文 │ │ ├─ 多模存储: 支持文件、资源、技能等多种形式 │ │ └─ 检索能力: 内置向量/关键词/图检索 │ │ │ │ EverMemOS │ │ ├─ 后台整理: 自动从过程记忆中抽取有价值内容 │ │ ├─ 去重合并: 避免记忆库膨胀 │ │ └─ 衰减机制: 自动清理低价值记忆 │ │ │ │ Skills │ │ ├─ 流程编排: 连接各组件形成完整工作流 │ │ ├─ 可插拔: 不同 Agent 框架可复用 │ │ └─ 可扩展: 方便添加新的处理逻辑 │ │ │ └─────────────────────────────────────────────────────────────────────────────┘ ``` ### B. 核心优势 1. **避免"全量存储"**: 通过 skills 层层筛选 + EverMemOS 自动清理 2. **高质量记忆**: 只保留对研判有帮助的内容 3. **模块化**: 各组件松耦合，方便替换 4. **可扩展**: POC 成功后容易扩展到其他告警类型 5. **人工可维护**: 分析师可以参与知识沉淀 --- ## 十、落地顺序建议 ### 推荐顺序 ``` 1️⃣ Week 1: 先搭建 Obsidian + 导入历史 Case - 最快看到价值 - 验证模板和标签体系 2️⃣ Week 2: 部署 OpenViking + 配置 namespace - 建立统一入口 - 打通检索流程 3️⃣ Week 3: 开发核心 Skills (ingest/extract/commit) - 实现自动化流程 - 端到端打通 4️⃣ Week 4: 部署 EverMemOS + 实现检索 - 后台整理能力 - 评估效果 ``` ### 关键里程碑 | 周 | 里程碑 | 验收标准 | |----|--------|----------| | Week 1 | Obsidian 可用 | 50 个 Case 导入完成 | | Week 2 | OpenViking 可检索 | 关键词检索正常工作 | | Week 3 | Skills 端到端 | 自动化流程跑通 | | Week 4 | POC 完成 | 命中率 ≥ 70% | --- *文档版本: v1.0* *创建日期: 2026-04-20* *目标: 4 周 POC 落地*