用臉部相似度分數管 AI 短劇角色:不撞臉、不變臉的四道檢查
本文點數與規格以 TWno1 實際計費設定為準,最後核對:2026-10-05
臉部相似度的工作門檻是兩個角色之間低於 0.40、成品鏡頭對定妝照至少 0.50(2026 年 9 月訂)。
這兩個數字是 2026 年 9 月底審一部 16 集、244 張分鏡圖的示範短劇時訂下來的。它們是用一個開源人臉辨識模型算出來的,只對那個模型有效,換一個模型就得重新校準,直接照抄到別的工具上沒有意義。可以照抄的是背後的四道檢查,以及我們踩過的三個坑。
分數怎麼來的,為什麼不能照抄別人的門檻
人臉辨識模型會把一張臉轉成一串數字(向量),兩張臉的向量算餘弦相似度,越接近 1 越像。問題在於「多少算同一人」完全看模型和用途。ArcFace 的原始論文沒有給出通用門檻;OpenCV 官方教學附的人臉辨識模型,把同一人的門檻寫成餘弦 0.363,那是在真人照片資料集 LFW 上調出來的;Meta 的 Movie Gen 論文用 ArcFace 篩訓練資料時,又用了 0.5 和 0.7 兩個數字。
| 誰訂的 | 拿來做什麼 | 數字 |
|---|---|---|
| 開源函式庫的公開教學範例 | 判定兩張真人照片是不是同一人(LFW 資料集) | 餘弦 ≥ 0.363 |
| Meta Movie Gen 論文(ArcFace) | 挑出連續影格都是同一人的片段 | > 0.5 |
| Meta Movie Gen 論文(ArcFace) | 丟掉和參考臉不夠像的合成圖 | < 0.7 就丟 |
| 我們(示範劇的 AI 短劇畫面,自行校準) | 同一部劇的兩個角色必須夠不像 | < 0.40 |
| 我們(同一套校準) | 成品鏡頭必須像該角色的定妝照 | ≥ 0.50 |
Movie Gen 那兩個數字是資料篩選的切點,不是準確率門檻。AI 生成的畫面又常常臉小、角度偏,和照片資料集的條件差很多。我們的判斷是:任何門檻都要用自己的畫面重新量過,這部分是推論,不是哪篇文件的結論。
檢查一:兩個角色不能太像(< 0.40)
症狀很好認。觀眾分不清誰是誰,怎麼重抽都是同一張臉。
我們在示範劇裡量到兩位男主之間的臉部相似度是 0.537,兩位女主之間是 0.544。原因是定妝照都從同一個範本出圖,臉被拉向同一個「平均長相」。這時只改外觀描述的文字不一定有用,因為拉力來自範本本身。
規則:定妝照出完,和同一部劇的其他角色兩兩比對。任何一組 ≥ 0.40,就換亂數重畫,最多 3 次,留下最不像的那一張。
檢查二:每一鏡要像自己的定妝照(≥ 0.50)
第二種問題是「變臉」:同一個角色前一鏡和後一鏡不像同一個人。最常發生在轉頭、擁抱、手擋到臉的時候。一段只靠第一格定住長相的影片,遇到這些動作就會漂。
我們比較過兩種做法。用多張參考圖直接生成(場景底圖加角色參考圖),渲染結果對定妝照的相似度是 0.68~0.71;另一種較舊的做法只有 0.46,連門檻都過不了。
廠商文件也有對應的建議。BytePlus 的 Seedance 2.0 提示詞指南把「臉中途變成另一個人、身分漂移」列為臉部參考太弱的典型症狀,建議另外放一張大頭照當臉部參考、在提示詞裡為角色命名、把最重要的素材放第一個,並避免用多角度設定圖。
檢查三:分數要能擋人,光寫報告沒用
這個問題,是我們逐鏡審成片時才抓到的。
一集 15 鏡裡,有 5 鏡的臉部相似度只有 0.05~0.44,門檻是 0.50,結果五鏡全都進了成片。原因很單純:檢查程式只把分數寫進報告,沒有任何東西因為分數不及格而停下來。另外有幾鏡的自動檢查根本沒跑起來,結果寫著「無法執行」,卻被算成通過。
規則改成兩條,缺一不可:
- 不合格的鏡頭不得進成片。先換亂數自動重做,最多 3 次;還是不行就轉人工。
- 「無法執行」一律算警告,永遠不算通過。檢查沒跑,就等於沒檢查。
很多教學只教你怎麼算分數,沒講這一步。分數算得再準,沒有接到「擋下來」的動作,就只是一份沒人看的報告。
檢查四:背對和側臉的鏡頭,不要用臉分數判
背對鏡頭的畫面偵測不到臉,分數會掉到很低,被誤判成不合格;重做幾次也一樣,因為角色本來就該背對。更糟的是,如果流程硬要讓這種鏡頭「看起來像定妝照」,頭會轉得很誇張。
規則:背對、側臉的鏡頭不做臉部鎖定,也不跑臉部相似度,改比髮色和衣服。
四道檢查整理成一張表
| 檢查 | 什麼時候跑 | 門檻(只適用我們的模型) | 不過怎麼辦 |
|---|---|---|---|
| 角色兩兩比對 | 定妝照定稿前 | < 0.40 | 換亂數重畫,最多 3 次,留最不像的一張 |
| 成品對定妝照 | 每一鏡生成後、進成片前 | ≥ 0.50 | 換亂數重做最多 3 次,再不行轉人工 |
| 檢查本身有沒有跑 | 每一鏡 | 「無法執行」=警告 | 修好檢查再跑,不得當成通過 |
| 背對與側臉 | 分鏡階段就標記 | 不用臉分數 | 改比髮色與衣服 |
臉部相似度的限制:它看不到的東西
- 它不管眼鏡、髮型、衣服。 同一批 244 張分鏡圖裡,眼鏡畫錯的有 58 張(23.8%),髮型錯的有 130 張(53.3%)。這些鏡頭的臉分數可能完全合格。臉像,不代表造型對。
- 門檻跟著模型走。 換一個人臉辨識模型,0.40 和 0.50 都要重訂。我們的建議做法是從自己的畫面各挑一批「同一角色」與「不同角色」的配對,各算一次分數,看兩群分數在哪裡分開,再把門檻訂在中間。
- 遠景小臉和風格化臉不可靠。 臉太小或畫風離真人很遠時,偵測本身就可能失敗。我們會把這類鏡頭比照背對處理,這同樣是推論,請用自己的素材驗證。
- 它不是內容審查工具。 分數只回答「這兩張臉像不像」,不判斷角色是否成年、是否像某個真人。TWno1 的內容政策要求角色一律是成年的虛構人物,這件事要在角色設定和審片時處理,不能交給這個分數。
檢查二的變臉,有一部分是每一鏡各自餵了不同的參考圖造成的。在 TWno1 的 Studio 專案裡,角色外觀和參考圖存在專案中,後面的鏡頭沿用同一組,少掉這個變數。
延伸閱讀:同一個角色撐完整部劇:Seedance 參考圖、提示詞與逐格造型狀態、Seedance 樣片模式省不省錢?480p 先試、1080p 再出的算法、Seedance 2.5 和 2.0 差在哪?秒數、參考素材、解析度與計價怎麼選。
常見問題
AI 短劇角色的臉部相似度多少才算同一個人?
沒有通用數字,臉部相似度門檻取決於用的人臉辨識模型。有開源函式庫的公開教學以餘弦 0.363 判定兩張真人照片是同一人,Meta Movie Gen 論文用 ArcFace 時採 0.5 與 0.7 當資料篩選切點;我們在 AI 短劇畫面上的工作門檻是成品對定妝照 ≥ 0.50,換模型就要重新校準。
同一部 AI 短劇裡兩個角色的臉部相似度要低於多少?
我們的工作門檻是兩兩低於 0.40。在一部 16 集的示範短劇裡,兩位男主互相比對量到 0.537、兩位女主 0.544,觀眾難以分辨;規則是太像就把定妝照重畫,最多換 3 次亂數、留下最不像的一張。這個 0.40 只適用校準時用的那一個開源人臉辨識模型。
背對鏡頭的 AI 畫面要怎麼檢查角色一致?
背對或側臉的鏡頭不要用臉部相似度判斷,因為偵測不到臉時分數會很低,鏡頭會被誤判不合格。這類鏡頭改比對髮色與衣服是否和角色設定一致,並且不要強迫它對齊正臉的定妝照。
臉部相似度檢查顯示「無法執行」可以先放行嗎?
不行。「無法執行」只能算警告,永遠不能算通過。我們審過的一集 15 鏡裡,有 5 鏡相似度只有 0.05~0.44 仍進了成片,另有鏡頭因檢查工具沒裝好而被當成通過;檢查沒跑就等於沒檢查,必須修好後重跑。
換了人臉辨識模型,臉部相似度門檻要重訂嗎?
要。不同模型的分數分布不同,同一組臉在兩個模型上可能得到差很多的分數。建議從自己的 AI 畫面挑出同一角色與不同角色的配對各一批,分別計算臉部相似度,找出兩群分數分開的位置後再訂門檻。
參考資料
- ArcFace: Additive Angular Margin Loss for Deep Face Recognition(arXiv 1801.07698)(查證 2026-10-05)
- OpenCV 官方教學:DNN 人臉偵測與辨識(查證 2026-10-05)
- Movie Gen: A Cast of Media Foundation Models(arXiv 2410.13720)(查證 2026-10-05)
- BytePlus ModelArk:Seedance 2.0 系列提示詞指南(查證 2026-10-05)
- VBench:影片生成評測基準(arXiv 2311.17982)(查證 2026-10-05)