首页 / 家庭影像 / 家庭影像功能全景
家庭影像功能全景
从素材上传到家庭成片、审核、下载与分享的完整功能边界，以及 M1/M2/M3 的能力分层。
产品边界与事实状态
家庭影像是独立于车载安防平台的家庭记忆 AI 成片产品。当前工程主体为 家庭影像/meta-story-agent：用户上传照片、视频和音频素材，系统经过理解、筛选、隐私审核、故事规划、时间线编译、确定性渲染与 QA，最终交付可下载成片及可追溯的中间产物。
状态口径：“已具备”表示已在代码结构或工程文档中确认 API、工作流、节点或基础实现；不等同于真实模型、真实家庭样片、生产规模或合规认证已经验证。这些一律标为“待实测”或“规划”。
| 范围 | 产品定位 | 不应混用 |
|---|---|---|
| 家庭素材与记忆 | 照片、家庭视频、语音、成片、故事计划、家庭共享与隐私审核。 | 不沿用车载设备 GPS/行程/告警模型作为产品事实。 |
| 自动成片 | AI 产出可审计的 StoryPlan，再编译为 TimelinePlan 并确定性渲染。 | 不把 LLM 自由文本或单次生成模型结果直接当剪辑执行指令。 |
| 硬件协同 | 摄像头、相框、家庭 NAS、边缘盒子和多设备协同是中长期扩展方向。 | 不把 Edge AI 自动录制或家庭设备接入描述为首版已验证能力。 |
用户主链路
- 登录与家庭素材管理：用户登录后上传、查看或删除自身的图片、视频和音频；素材以 owner 为访问边界。
- 创建成片任务：选择素材，输入主题、时长、画幅、风格或增强选项，提交高光成片或增强成片任务。
- 异步进度与审核：任务可查询、取消、重试，并通过事件流展示进度；命中隐私策略时进入 review，用户可批准、拒绝或编辑后恢复。
- 素材理解与故事组织：系统提取媒体元数据、候选片段、可选 ASR/VLM evidence，经过隐私过滤与高光评分后生成可解释 StoryPlan。
- 渲染与交付：TimelinePlan 驱动 FFmpeg 产出字幕、BGM、AAC 音轨和目标画幅的
final.mp4；QA 检查视频流、音轨和时长，用户下载成片、计划和 QA 报告。
完整功能地图
| 能力域 | 功能 | 工程落点 / 当前边界 |
|---|---|---|
| 账号与访问 | 注册、登录、当前用户、管理员权限、审计日志。 | auth、admin API；资产、任务、产物均按 owner 校验。家庭空间成员角色仍是 M2 待补模型。 |
| 素材库 | 上传、列表、详情、下载/预览、删除；读取时长、尺寸、音轨等媒体元数据。 | assets API、Asset repository、media probe；正式成片至少需要当前用户拥有的一项素材。 |
| 成片任务 | 高光成片、增强成片、任务列表/详情/结果、取消、重试、删除。 | storycam、jobs API；长任务由工作流执行，任务事件和 Agent 调用可追溯。 |
| 素材理解 | 素材资产化、长视频全时段候选片段采样、可选本地 ASR、VLM 结构化理解及确定性 fallback。 | Ingest、Candidate、ASR、Understand 节点；真实 VLM 效果、准确率和成本需用家庭样片实测。 |
| AI 选片与故事 | 隐私判断、高光评分、片段排序、开头/发展/高潮/结尾、字幕文案与 StoryPlan。 | LangGraph StoryCamGraph；输出 schema 化 Evidence/Score/StoryPlan，而不是不可验证的自由文本剪辑。 |
| 渲染与质检 | Timeline 编译、16:9/9:16/1:1、淡入淡出、字幕烧录、默认 BGM、AAC 音轨、视频/音轨/时长 QA。 | Timeline compiler、FFmpeg、ffprobe、QA Report；高级转场目前仍是待增强项。 |
| 结果与复审 | StoryPlan、TimelinePlan、final.mp4、QA report、artifact 下载与删除、review 批准/拒绝/编辑。 | ArtifactStore、artifacts、reviews API；不得直接拼接文件系统路径下载。 |
| 生成增强 | 图生视频、文生视频、图像编辑/融合、数字人、TTS、长视频生成。 | metavision API 与独立工作流；local deterministic 适合联调，DashScope 真实模式需有效账号及 live smoke。 |
| 模型与配置 | Provider 查看、模型注册/状态、运行配置、连通性测试、模型调用与 token usage 追踪。 | providers、models、config API；费用必须分开记录 token、生成任务和本地运行成本。 |
| 控制台与可观测 | 最小 Web 控制台、任务/事件查看、SSE、review 卡片、配置和 artifact 下载。 | 静态控制台与 GET /api/jobs/{job_id}/events/stream；生产级告警、保留策略和运营后台需继续建设。 |
分阶段能力
| 阶段 | 目标 | 能力范围 | 验收重点 |
|---|---|---|---|
| M1 软件 AI 成片闭环 | 证明从用户素材到成片的可运行价值。 | 上传、任务、候选片段、StoryPlan、Timeline、final.mp4、QA、下载、隐私 review。 | 真实样片能交付 30–90 秒成片；每条都有计划、QA、事件与成本记录。 |
| M2 家庭记忆私测 | 让素材成为可检索、可分享、可沉淀的家庭记忆。 | Family Timeline、人物/事件标签、Memory Ranking、语义搜索、家庭共享、周/月 recap。 | 家庭角色/分享权限、搜索质量、用户反馈、删除与隐私体验通过私测验证。 |
| M3 软硬件协同 | 形成自动采集、智能回传与多设备协同壁垒。 | Edge/Local AI、事件触发录制、低清代理、关键片段优先上传、摄像头/相框/NAS 协同。 | 真实设备的功耗、断网补传、端云一致性、隐私预筛和家庭多端同步证据。 |
不作为首版前提：完整多租户 SaaS 计费、生产级 Postgres/对象存储/Kubernetes、长期家庭关系图谱、全量高成本生成转场和完整 Edge AI 硬件闭环。
家庭数据与隐私功能
| 控制点 | 产品行为 | 技术约束 |
|---|---|---|
| 最小采集 | 只使用本次成片所需素材和任务参数，不默认收集通讯录、定位或全量相册。 | 上传、资产授权与模型输入按 job/owner 收敛；大文件只以 asset/artifact ID 流转。 |
| 隔离与最小授权 | 用户只能访问自己的素材、任务、产物；后台操作受角色限制并留痕。 | owner 校验、admin guard、audit log；M2 再扩展为家庭空间与成员角色。 |
| 隐私 review | 儿童、陌生人、敏感地点或低置信度内容不应自动进入成片。 | Privacy Gate、PromptPolicy、review signal；审核决定和上下文必须可追溯。 |
| 生成透明度 | AI 封面、过场、数字人等生成内容应显示来源，不能伪装为真实家庭记忆。 | source_type=generated、prompt policy、QA/report 和 UI 标签共同保留来源。 |
| 删除与留存 | 用户可删除素材、任务与产物；后续需要可配置的 retention/TTL。 | 当前有删除入口；孤儿上传、artifact 留存、对象存储生命周期是生产化待补项。 |
技术架构、数据/产物边界、工作流和模型调用链见家庭影像技术架构与媒体管线。