FaceFusion 및 AI 동영상 도구 | 얼굴 합성에서 최신 AI 생성 미디어까지

AI를 이용한 얼굴 교환(페이스 스왑) 도구 중 현재 가장 활발하게 개발되고 있는 것이 바로 **FaceFusion**입니다.

특히 3.5 버전부터는 화질 향상과 처리 속도 개선이 눈에 띄게 향상되었지만, 동시에 설정 항목이 너무 많아 어디서부터 손을 대야 할지 모르겠다는 분들도 많으실 겁니다.

이 글에서는 FaceFusion 3.5.2의 모든 기능을 해부하고, ** “기본 사용법은?” “화질을 높이는 방법은?” “손이나 머리카락이 묻었을 때 어떻게 해야 하나요?**등의 궁금증을 해결하는 전문가를 위한 노하우를 설명합니다.

1. 화면 구성과 기본 워크플로우

FaceFusion의 UI는 크게 세 개의 컬럼(열)으로 나뉜다. 먼저 각각의 역할에 대해 알아보자.

왼쪽 열: 시스템 설정(What & How)

‘어떤 처리를 할 것인가’와 ‘무엇을 사용하여 계산할 것인가’를 결정합니다.

• PROCESSORS: face_swapper (얼굴 교환)가 기본입니다. 화질을 높이고 싶다면 face_enhancer (얼굴 고화질화)를 함께 사용하지만, 사용법이 중요하다(후술).
• EXECUTION PROVIDERS: 가장 중요한 부분으로, NVIDIA GPU가 탑재된 경우 반드시 **cuda**를 선택해야 하며, cpu를 그대로 두면 처리 속도가 절망적으로 느려집니다.

중앙 컬럼: 소재와 실행(Action)

• SOURCE: ‘이식할 얼굴’ 이미지를 드래그 앤 드롭합니다.
• TARGET: ‘이식할 동영상/이미지’를 드래그 앤 드롭합니다.
• START: 모든 설정이 끝나면 이곳을 눌러 내보내기 시작.

오른쪽 열: 세부 설정(Fine-tuning)

여기서부터가 실력 발휘의 시작이다. 얼굴 검출 정확도, 마스크 범위, 대상자 지정 등 ‘AI의 동작’을 미세 조정하는 영역입니다. 기본 설정으로 잘 안 되는 경우, 이곳을 건드리면 됩니다.

2. 품질을 좌우하는 중요 파라미터 설명

초보자가 쉽게 놓치기 쉽거나 효과가 높은 파라미터를 엄선하여 설명합니다.

화질 관련 설정

• FACE SWAPPER MODEL:
  • 현재 **hyperswap_1a_256**이 표준이며 가장 강력한 모델입니다. 빠르고 표정 추종성이 높은 모델입니다.
• FACE SWAPPER PIXEL BOOST:
  • AI가 처리할 때의 ‘내부 해상도’입니다.
  • 256×256 (표준)에서 512×512 이상으로 올리면 눈의 광채와 피부 질감이 극적으로 향상됩니다. 단, VRAM 소비와 처리 시간은 급증합니다.

얼굴 인식 및 검출 설정

• FACE DETECTOR MODEL:
  • yolo_face: 표준. 빠르지만 작은 얼굴이나 옆모습에 약하다.
  • retinaface: 권장. 처리가 무겁지만 군중 속 얼굴이나 격렬한 움직임에도 잘 잡아낸다.
• FACE MASK TYPES: 권장.
  • box: 단순한 사각형 범위에서 합성. 장애물에 약하다.
  • occlusion: 필수급. 얼굴 앞에 손이나 마이크가 오면 이를 피해서 합성해준다.

3. 장면별] 최적의 설정 레시피

“이런 영상을 만들고 싶을 때 어떻게 설정하면 좋을까?”에 대한 구체적인 사례입니다. 라는 질문에 대한 구체적인 사례 연구입니다.

사례 A: 영화 속 한 장면처럼 ‘초고화질’로 만들고 싶을 때

기본값으로 설정하면 피부가 밋밋하고 ‘AI 느낌’이 나는 경우의 대처법입니다.

1. Face Enhancer 끄기: 의외로 face_enhancer는 피부의 디테일을 뭉개고 매끄럽게 만들 수 있습니다. 과감히 끄세요.
2. Pixel Boost 높이기: FACE SWAPPER PIXEL BOOST를 512x512 또는 1024x1024로 설정한다.
3. Detector 강화: FACEDETECTOR MODEL을 retinaface로 변경.
4. 경계선 선명하게: FACE MASK BLUR를 0.1 정도로 낮춘다.

케이스 B: 손이나 마이크가 얼굴 앞을 가로지르는 경우(오클루전)

노래하는 장면이나 식사 장면에서 마이크나 컵이 얼굴에 합성되는 공포 현상을 방지한다.

1. Mask Type 변경: FACE MASK TYPES를 occlusion으로 변경.
2. Occluder 모델 확인: FACE OCCLUDER MODEL 이 xseg 계열로 설정되어 있는지 확인.
3. Blur 조정: FACE MASK BLUR을 0.5 정도 올려서 경계를 부드럽게 한다.

사례 C: 격렬한 춤이나 옆모습으로 ‘얼굴이 빠짐’

동영상 중간에 잠시 동안 원래 얼굴로 돌아가는 경우(플리커 현상)에 대한 대책입니다.

1. 검출기 변경: FACE DETECTOR MODEL을 retinaface로 변경.
2. 판단 기준 낮추기: FACE DETECTOR SCORE를 0.5 → 0.2~0.3으로 낮춘다. ‘자신감이 없어도 얼굴로 처리하라’는 명령이다.
3. 유사도 판단 완화: REFERENCE FACE DISTANCE를 0.6 → 0.8로 높인다. 옆모습으로 인상이 바뀌어도 따라가도록 한다.

Case D: 이마에 ‘선’이 생기는 경우

소재와 타겟의 얼굴 형태가 맞지 않아 이마나 턱에 부자연스러운 경계선이 생기는 경우.

1. Padding으로 확장: FACE MASK PADDING TOP (또는 BOTTOM)의 수치를 0.05씩 올려본다. 합성 범위를 강제로 넓힙니다.
2. Enhancer로 피부색 맞추기: 이 경우 face_enhancer를 ON으로 설정하는 것이 확장된 부분의 피부색이 더 잘 어울린다.

4. 실패하지 않기 위한 권장 워크플로우

마지막으로 오류를 방지하고 효율적으로 작업할 수 있는 작업 순서를 소개합니다.

1. 미리보기로 공략하기: 먼저 instant_runner 모드에서 미리보기를 보면서 FACE DETECTOR SCORE와 MASK PADDING을 조정한다.
2. 오클루전 확인: 동영상에서 손이 얼굴에 닿는 장면까지 시크바를 움직여 얼굴이 가려지지 않았는지 확인한다. 안 되면 occlusion 모드로 전환합니다.
3. 프로덕션은 Strict 모드로: 장시간의 내보내기 작업 시, VRAM 부족으로 인해 끊기는 것은 가장 큰 시간 낭비입니다. 왼쪽 열의 VIDEO MEMORY STRATEGY는 반드시 strict로 설정한 후 START를 눌러야 한다.

FaceFusion은 설정에 따라 ‘AI 같지 않은’ 화질에서 ‘실사와 구분할 수 없는’ 수준까지 퀄리티를 끌어올릴 수 있습니다. 이 파라미터 설명을 참고하여 최고의 작품을 만들어 보세요.

부록] FaceFusion 3.5.2 전체 파라미터 및 기능 완벽 레퍼런스

UI에 표시되는 모든 항목에 대해 그 역할과 기술적 의미를 설명합니다. 설정에 어려움을 겪을 때 사전으로 활용하시기 바랍니다.

1. 왼쪽 열: 시스템 프로세서 설정

처리의 ‘내용’과 ‘기반’을 설정하는 영역입니다.

PROCESSORS (처리 모듈)

체크한 순서(내부 처리 순서)로 적용됩니다.

• face_swapper: 얼굴 교환의 주요 기능. 소스의 얼굴을 타겟에 이식합니다.
• background_remover: 배경을 제거(투명화)합니다.
• expression_restorer: 얼굴 교환에서 손실되기 쉬운 미세한 표정(주름, 근육의 움직임)을 복원합니다.
• face_debugger: 얼굴의 감지 테두리, 랜드마크, 마스크 범위를 시각화하여 표시합니다(테스트용).
• face_editor: 얼굴의 특정 부위를 수동으로 조정하는 기능.
• face_enhancer: 얼굴 영역 전용 고화질화(업스케일러). 흐릿한 얼굴을 복원합니다.
• frame_colorizer: 흑백 영상을 컬러화합니다.
• frame_enhancer: 배경을 포함한 전체 화면의 화질을 향상시킵니다(처리가 매우 무겁습니다).
• lip_syncer: 음성 파일에 맞춰 입의 움직임을 생성한다(립싱크).
• age_modifier: 나이를 조작(회춘, 노화)하는 실험적 기능.

FACE SWAPPER MODEL

• hyperswap_1a_256: 최신 표준. 고속, 고해상도, 고안정성.
• inswapper_128_fp16: 이전 표준. 창의성은 높지만 해상도가 낮다.
• simswap_*: 특정 각도에 강하지만 범용성이 떨어질 수 있음.
• blendswap: 합성 친숙함 중시, ID(본인성)는 희미해진다.

FACE SWAPPER PIXEL BOOST

AI가 얼굴을 생성할 때의 가상 해상도.

• 256×256: 표준.
• 512×512: 고화질. 업 영상에는 필수.
• 1024×1024: 초고화질(VRAM 필요).

FACE SWAPPER WEIGHT

• 0. 0 ~ 1.0: 적용 강도. 낮추면 원래의 얼굴이 비춰진다.

EXECUTION PROVIDERS

처리에 사용하는 하드웨어.

• cuda: NVIDIA GPU (권장, 가장 빠름).
• cpu: CPU 처리(매우 느림).
• coreml: Mac (Apple Silicon) 용.

VIDEO MEMORY STRATEGY

• strict: VRAM 관리를 엄격하게 하여 오류 발생을 방지한다(권장).
• moderate / tolerant: 속도 우선으로 메모리를 한계까지 사용하는 설정.

2. 중앙 컬럼: 실행 및 워크플로우

소재의 입력과 출력 제어입니다.

• SOURCE: ‘얼굴을 제공하는’ 이미지.
• TARGET: ‘얼굴을 교체할 대상’ 이미지 또는 동영상.
• OUTPUT PATH / OUTPUT: 저장 위치와 미리보기 화면.
• UI WORKFLOW:
  • instant_runner: 작업할 때마다 즉시 미리보기 업데이트.
  • job_runner: 작업을 쌓아서 일괄 처리하는 배치 모드.
• LOG LEVEL: info (일반), debug (상세/오류 분석용).

3. 오른쪽 열: 세부 설정(탐지, 마스크, 선별).

AI의 동작을 미세 조정하는 전문가용 영역이다.

PREVIEW 설정

• preview resolution: 미리보기 이미지의 화질로, PC가 무거울 경우 낮춰도 무방하다(실제 출력에는 영향을 주지 않음).

FACE SELECTOR MODE (타겟 지정)

• reference: ‘REFERENCE FACE’에서 지정한 얼굴과 유사한 인물을 변경한다.
• one: 가장 먼저 검출된 1명만.
• many / all: 화면 내 모든 사람을 변경한다.

REFERENCE FACE

• 대상 동영상에서 검출된 얼굴의 썸네일입니다. 여기를 클릭하여 교체 대상을 잠금 설정합니다.

FACE SELECTOR ORDER

• large-small: 얼굴이 큰 순서(카메라에 가까운 순서)로 처리.
• left-right: 왼쪽에서 오른쪽으로 처리.

REFERENCE FACE DISTANCE

• 0. 0 ~ 1.5: 동일인물 판정의 ‘느슨함’.
  • 낮출수록(0.4 등): 엄격해진다. 타인이 끼어들기 어려워진다.
  • 올리기(0.8 등): 느슨해진다. 메이크업이나 조명으로 얼굴이 바뀌어도 따라간다.

FACE OCCLUDER MODEL

• xseg_*: 얼굴 앞에 있는 장애물(손, 머리카락 등)을 감지하는 고성능 모델.

FACE MASK TYPES

• box: 사각형 범위로 합성.
• occlusion: 장애물을 피해서 합성(권장).
• region: 눈, 입 등 파트 단위로 합성.

FACE MASK BLUR

• 0. 0 ~ 1.0: 합성 경계선의 흐림 정도. 표준은 0.3이다.

FACE MASK PADDING (Top/Bottom/Right/Left)

• 얼굴 자르기 범위(Crop 테두리)를 상하좌우로 확장합니다. 이마나 턱선이 맞지 않을 때 사용.

FACE DETECTOR MODEL(얼굴 검출)

• yolo_face: 표준, 고속.
• retinaface: 고정밀, 저속. 옆모습이나 초소형 얼굴에 강함.

FACE DETECTOR SCORE

• 0. 0 ~ 1.0: ‘얼굴이라고 판단하는’ 자신감 임계값.
  • 놓치면 낮추십시오. 오탐지할 경우 올리면 된다.

FACE LANDMARKER MODEL

• 2dfan4: 눈, 코, 입의 좌표를 획득하는 모델. 보통은 변경하지 않아도 된다.