家庭影像技术架构与媒体管线 · 引势创新云平台知识库

首页 / 家庭影像 / 家庭影像技术架构与媒体管线

本页目录

核心架构原则
分层与组件职责
端到端媒体管线
数据、产物与可观测性
运行时、扩展与验证边界

核心架构原则

家庭影像采用“API 负责控制面、Temporal 负责长任务、LangGraph 负责结构化推理、FFmpeg 负责确定性渲染”的分层架构。AI 不直接剪视频：它只输出 Evidence、隐私判断、高光评分和 StoryPlan；Timeline 编译器和渲染器以结构化计划为输入，输出可复审的成片。

Web / App / API Client
  -> FastAPI：认证、资产、任务、审核、产物、配置、管理
  -> Temporal：重试、取消、暂停/恢复、队列分工、事件
  -> Activities：媒体探测、模型调用、文件/DB 写入、渲染、QA
  -> LangGraph：理解 -> 隐私 -> 评分 -> StoryPlan -> 校验
  -> FFmpeg / ffprobe：Timeline 渲染与质量检查
  -> Artifact Store：StoryPlan / TimelinePlan / final.mp4 / QA report

架构边界：首版默认 SQLite + 本地文件 artifact store，适合本地闭环和小规模验证；Postgres、对象存储、多 worker 部署及 Kubernetes 是后续生产化演进，不应被表述为当前已部署架构。

分层与组件职责

层	主要组件	职责	禁止越界
接入与控制面	FastAPI；auth/assets/jobs/storycam/metavision/reviews/config/admin/providers/models API	认证、参数校验、owner/管理员授权、创建/查询/取消 job、SSE、审核与 artifact 下载。	HTTP 请求中直接执行 FFmpeg、模型轮询或大文件处理。
持久编排层	Temporal Highlight / Enhanced / MetaVision workflows；本地 fallback	长任务编排、retry、cancel、review signal、队列路由与阶段事件。	工作流代码直接访问文件系统、数据库或外部模型；有副作用操作应下沉 activity。
Agent 推理层	LangGraph StoryCamGraph、PrivacyReviewGraph、PromptPolicyGraph	理解、隐私判断、高光评分、故事计划、最终结构化校验和 trace。	存大文件、绕过 review、把不可验证自由文本传给渲染器。
媒体活动层	ingest、candidate segment、local ASR、model、timeline、render、QA	ffprobe 元数据、候选采样、ASR/VLM 调用、时间线编译、FFmpeg 渲染与 ffprobe QA。	把未授权素材、未冻结的 schema 或未审核生成内容写入最终成片。
生成增强层	MetaVision adapter；i2v/t2v/edit/fusion/avatar/TTS/long-video	以独立 job/workflow 提供可选的生成内容，provider 通过适配层替换。	默认消耗高成本生成模型；把 local mock 伪装成云模型产出。
存储与元数据	SQLite repository、ArtifactStore、本地 files；生产期对象存储扩展点	用户、job、事件、asset、artifact、调用 trace、review、配置和审计索引。	直接拼路径下载，或将素材二进制塞入 LangGraph/LLM 上下文。

端到端媒体管线

阶段	输入 → 输出	关键控制与可追溯产物
1. 资产化	用户 asset → 文件校验、元数据、artifact/asset 引用	owner 校验；ffprobe 读取时长/比例/音轨；所有后续节点用 ID 引用大文件。
2. 候选片段	长视频 → 全时段候选 segment	固定窗口与均匀采样避免只取开头；可限制 candidate 数控制模型/渲染成本。
3. 理解与证据	segment → 视觉/语音 Evidence	可选 local ASR、OpenAI-compatible VLM；调用失败必须记录 warning 并使用确定性 metadata fallback，不能伪造转录或理解结果。
4. 策略与选片	Evidence → PrivacyDecision + HighlightScore	儿童/陌生人/敏感地点/欺骗性生成进入 review；评分需要保留理由和来源。
5. 故事规划	合格片段 → StoryPlan	包含片段顺序、故事段落、字幕/旁白等结构化信息；LLM 不直接操控渲染命令。
6. 时间线与渲染	StoryPlan → TimelinePlan → final.mp4	支持画幅、淡入淡出、字幕、BGM、AAC；渲染器只读取已授权 artifact。
7. QA 与交付	final.mp4 → QAReport + 下载	检查视频流、音轨、目标时长；归档 StoryPlan、TimelinePlan、最终视频、QA、事件和 Agent invocation。

这条链路的功能视角见家庭影像功能全景。其价值在于可恢复、可解释、可复审：重任务可取消/重试，隐私节点可暂停/恢复，成片的每一步都能回溯到输入和计划。

数据、产物与可观测性

对象	作用	关联与访问规则
users	用户及管理员身份。	作为 asset、job、artifact 的 owner 边界；家庭角色模型是后续扩展。
assets	用户上传的图片/视频/音频及基本元数据。	提交任务前统一验证 owner；删除后不应留下可越权访问的原路径。
jobs / job_events	高光、增强或生成任务的状态和阶段事件。	任务状态通过 API 查询，SSE 只推送授权 job 的事件。
artifacts	中间和最终产物：计划、片段、最终视频、QA 报告等。	下载通过 ArtifactStore + 授权检查；大文件不放进工作流/模型 state。
agent_invocations	模型/Agent 节点调用、父子 trace、token usage、错误摘要。	用于质量、成本、回放和审计；不以日志替代结构化费用记录。
reviews / audit_logs / config	隐私审核、后台敏感操作及受控运行配置。	审核决定与审计关联 job；配置和管理员功能必须受管理员权限保护。

成本观测：VLM/ASR/LLM 的 token 消耗、DashScope 等生成任务费用、以及本地模型/GPU/CPU 运行成本必须分开记账；没有 provider/账单/运行日志证据时，不给出精确成本结论。

运行时、扩展与验证边界

维度	当前设计	下一步验证/演进
任务可靠性	Temporal 可按 default、media-cpu、model-io、render、metavision 队列分工；本地 fallback 支持基础联调。	真实长素材、取消、review 恢复、重试幂等和多 worker 压力验证。
模型供应商	OpenAI-compatible VLM 可选；local deterministic 供集成测试；DashScope adapter 负责 submit/poll/download。	真实 VLM/ASR/DashScope live smoke，记录效果、失败率、延迟与分项成本。
媒体质量	候选采样、淡入淡出、字幕、BGM/AAC、ffprobe QA 已有基础。	真实家庭样片评测；高级转场、人物/事件识别和成片审美需单独验收。
安全与隐私	owner 检查、管理员 guard、prompt policy、review、生成来源标记和审计为主链路能力。	家庭空间权限、对象存储加密/密钥、生命周期清理、SDK 治理与欧美隐私披露材料。
生产化	SQLite + 本地文件适合首版演示/小规模验证，接口层保留替换边界。	Postgres、对象存储、retention/TTL、监控告警、备份恢复、部署和区域数据驻留评审。
软硬件协同	摄像头/边缘设备可作为未来素材入口，架构已预留 asset、事件与工作流边界。	目标硬件上的自动录制、低清代理、关键片段优先回传、功耗和断网补偿 POC。

来源：家庭影像/doc/technical-report.md、technical-feasibility-analysis.md、storycam-finished-video-adaptation-plan.md、meta-story-agent-gap-audit.md、家庭影像/docs/ai/media-pipeline.md、agent-workflow.md，以及当前 meta-story-agent 路由/工作流/节点/Schema 清单。运行态、真实模型和生产环境结论须以当次测试与监控证据更新。