用人脸相似度分数管住 AI 短剧角色:防撞脸、防变脸的四道检查
本文点数与规格以 TWno1 实际计费设置为准,最后核对:2026-10-05
人脸相似度我们卡两道线:角色之间低于 0.40,成片镜头对定妆照不低于 0.50(2026 年 9 月定)。
这两个数是 2026 年 9 月底审一部 16 集、244 张分镜图的示范短剧时定下的,是用一个开源人脸识别模型算出来的,只对那个模型成立。换模型就得重新校准,原样搬到别的工具上没有意义。能直接借用的,是数字背后的四道检查,以及我们踩过的三个坑。
分数从哪来,为什么不能照搬别人的门槛
人脸识别模型会把一张脸变成一组数字(向量,也叫 embedding),两张脸的向量算余弦相似度,越接近 1 越像。这一步各家都一样,分歧在"多少分算同一个人"。
ArcFace 原论文没有给通用门槛。OpenCV 官方教程附带的人脸识别模型,把同一人的门槛写成余弦 0.363,那是在真人照片数据集 LFW 上调出来的。Meta 的 Movie Gen 论文用 ArcFace 筛数据,又用了 0.5 和 0.7 两个数。
| 出处 | 用途 | 数值 |
|---|---|---|
| 开源库的公开教程示例 | 判断两张真人照片是否同一人(LFW 数据集) | 余弦 ≥ 0.363 |
| Meta Movie Gen 论文(ArcFace) | 保留连续帧都是同一人的片段 | > 0.5 |
| Meta Movie Gen 论文(ArcFace) | 丢弃和参考脸不够像的合成图 | 低于 0.7 即丢弃 |
| 我们(示范剧的 AI 短剧画面,自行校准) | 同一部剧里两个角色必须足够不像 | < 0.40 |
| 我们(同一套校准) | 成片镜头必须像该角色的定妆照 | ≥ 0.50 |
Movie Gen 的两个数是数据筛选的切分点,不是准确率指标。AI 生成画面里脸经常很小、角度偏,和照片数据集差别很大。所以我们的看法是:任何门槛都得用自己的画面重新测一遍。这是推断,不是哪份文档的结论。
检查一:两个角色不能太像(< 0.40)
表现很直观:观众分不清谁是谁,怎么重抽都是同一张脸。
示范剧里,两位男主互相比对得分 0.537,两位女主 0.544。原因是定妆照都从同一个模板出图,脸被拉向同一张"平均脸"。这种情况下只改外貌描述不一定管用,拉力来自模板本身。
我们定的规则:定妆照出完后,和同一部剧的其他角色两两比对;任意一对达到 0.40 及以上,就换随机种子重画,最多 3 次,保留最不像的那张。
检查二:每个镜头要像自己的定妆照(≥ 0.50)
第二类问题是"变脸":同一个角色,上一个镜头和下一个镜头不像同一个人。转头、拥抱、手挡住脸时最容易出现。只靠首帧锁定长相的视频,一遇到这些动作就会漂。
我们对比过两种做法。用多张参考图直接生成(场景底图加角色参考图),成片对定妆照的相似度在 0.68~0.71;另一种较旧的做法只有 0.46,连自己的门槛都没过。
厂商文档的建议方向一致。BytePlus 的 Seedance 2.0 提示词指南把"脸中途变成另一个人、身份漂移"列为脸部参考太弱的典型表现,给出的办法是:单独放一张大头照做脸部参考,在提示词里给角色起名,把最重要的素材放在第一个,避免使用多角度设定图。
检查三:分数必须能拦住镜头
这个问题是我们逐个镜头审成片时才发现的。
一集 15 个镜头里,有 5 个的人脸相似度只有 0.05~0.44,门槛是 0.50,结果 5 个全进了成片。原因很简单:检查程序只把分数写进报告,没有任何环节因为不及格而停下。另有几个镜头的自动检查压根没跑起来,结果写着"无法运行",却被记成了通过。
后来改成两条规则:
- 不合格的镜头不能进成片。先换随机种子自动重做,最多 3 次;还不行就转人工。
- "无法运行"一律记为警告,永远不算通过。
网上不少教程只讲分数怎么算,到这里就结束了。可分数算得再准,没有接上"拦下来"这个动作,也就是一份没人看的报告。
检查四:背对和侧脸镜头,别用人脸分数判断
背对镜头的画面检测不到脸,分数会很低,被误判为不合格;重抽几次也一样,因为角色本来就该背对。更麻烦的是,如果流程硬要这类镜头"像定妆照",头部会扭得很夸张。
规则:背对、侧脸镜头不做脸部锁定,也不跑人脸相似度,改为比对发色和服装。
四道检查汇总
| 检查项 | 什么时候做 | 门槛(仅适用于我们的模型) | 不通过怎么办 |
|---|---|---|---|
| 角色两两比对 | 定妆照定稿前 | < 0.40 | 换随机种子重画,最多 3 次,留最不像的一张 |
| 成片对定妆照 | 每个镜头生成后、进成片前 | ≥ 0.50 | 换种子重做最多 3 次,仍不行转人工 |
| 检查本身是否运行 | 每个镜头 | "无法运行"=警告 | 修好后重跑,不得当作通过 |
| 背对与侧脸 | 分镜阶段就标出来 | 不用人脸分数 | 改比发色与服装 |
人脸相似度的限制:哪些问题它管不到
- 眼镜、发型、服装它都看不见。 同一批 244 张分镜图里,眼镜画错的有 58 张(23.8%),发型错的有 130 张(53.3%),其中不少镜头的人脸分数完全合格。脸像,不等于造型对。
- 门槛随模型走。 换一个人脸识别模型,0.40 和 0.50 都要重定。建议做法:从自己的画面里各挑一批"同一角色"和"不同角色"的配对,分别打分,看两组分数在哪里分开,把门槛定在中间。
- 远景小脸和风格化的脸不可靠。 脸太小或画风离真人太远时,检测本身就可能失败。我们会把这类镜头当背对处理,这同样是推断,请用自己的素材验证。
- 它不是内容审核工具。 分数只回答"两张脸像不像",不判断角色是否成年,也不判断是否像某个真人。TWno1 的内容政策要求角色一律是成年虚构人物,这要在角色设定和审片环节处理,指望不了这个分数。
检查二说的变脸,有一部分来自每个镜头各喂了一套不同的参考图。TWno1 的 Studio 项目会把角色外貌和参考图存在项目里,后续镜头沿用同一套,这个变量就去掉了。
延伸阅读:让同一个角色撑完整部剧:Seedance 参考图、提示词与逐镜造型状态、Seedance 样片模式划不划算?先出 480p 再出 1080p 的账怎么算、Seedance 2.5 和 2.0 有什么区别?时长、参考素材、分辨率与计费怎么选。
常见问题
AI 短剧角色的人脸相似度多少分算同一个人?
没有通用分数,人脸相似度门槛取决于所用的人脸识别模型。有开源库的公开教程以余弦 0.363 判定两张真人照片是同一人,Meta Movie Gen 论文用 ArcFace 时以 0.5 和 0.7 作为数据筛选切分点;我们在 AI 短剧画面上的工作门槛是成片对定妆照不低于 0.50,换模型就要重新校准。
同一部 AI 短剧里两个角色的人脸相似度要低于多少?
我们的工作门槛是任意两个角色低于 0.40。在一部 16 集示范短剧里,两位男主互相比对得分 0.537、两位女主 0.544,观众很难分辨;规则是太像就把定妆照换随机种子重画,最多 3 次,保留最不像的一张。这个 0.40 只适用于校准时所用的那一个开源人脸识别模型。
背对镜头的 AI 画面怎么检查角色一致性?
背对或侧脸镜头不要用人脸相似度判断,因为检测不到脸时分数会很低,镜头会被误判为不合格。这类镜头改为比对发色和服装是否与角色设定一致,也不要强行让它对齐正脸定妆照。
人脸相似度检查显示"无法运行",可以先放行吗?
不可以。"无法运行"只能算警告,永远不算通过。我们审过的一集 15 个镜头里,有 5 个相似度只有 0.05~0.44 的镜头照样进了成片,另有镜头因检查工具没装好被当成通过;检查没跑就等于没检查,必须修好后重跑。
换了人脸识别模型,人脸相似度门槛要重新定吗?
要。不同模型的分数分布不一样,同一对脸在两个模型上可能得分相差很大。建议从自己的 AI 画面里挑出同一角色和不同角色的配对各一批,分别计算人脸相似度,找到两组分数分开的位置再定门槛。
参考资料
- ArcFace: Additive Angular Margin Loss for Deep Face Recognition(arXiv 1801.07698)(查证 2026-10-05)
- OpenCV 官方教程:DNN 人脸检测与识别(查证 2026-10-05)
- Movie Gen: A Cast of Media Foundation Models(arXiv 2410.13720)(查证 2026-10-05)
- BytePlus ModelArk:Seedance 2.0 系列提示词指南(查证 2026-10-05)
- VBench:视频生成评测基准(arXiv 2311.17982)(查证 2026-10-05)