BAB 09

09 - Advanced: Lip-Sync, Compositing, Multi-Character Scenes

Estimasi Waktu: 45 menit Level: Advanced

Beyond the Basics

Pipeline dasar (Midjourney → Kling → Runway → Post) udah cukup untuk bikin video berkualitas. Tapi untuk hasil professional-grade, lo perlu teknik advanced:

Lip-Sync — karakter bisa bicara
Compositing — gabungin multiple AI outputs
Multi-Character — 2+ karakter dalam 1 frame
Action Matching — gerakan spesifik dan presisi

1. Lip-Sync: Membuat Karakter Bicara

The Problem

AI video tools gak bisa lip-sync native. Mereka generate gerakan mulut random, bukan yang match dengan suara.

Solution: Pika 2.0 Lip-Sync

Pika 2.0 punya fitur lip-sync terbaik di 2025:

Generate video karakter lo (Kling/Runway) — karakter diam, menghadap kamera
Generate audio voiceover (ElevenLabs)
Upload ke Pika — video + audio
Pika akan animate mulut sesuai audio

Tips Lip-Sync:

Head & shoulders shot — makin dekat muka, makin bagus lip-sync
Audio clear — noise reduction dulu sebelum upload
Durasi pendek — 5-10 detik per clip
Lighting merata — shadow di muka bikin lip-sync jelek

Alternative Tools:

HeyGen — khusus talking avatar, bukan custom character
D-ID — foto + audio → talking head
Synthesia — AI presenter, bukan custom character

Workflow Lip-Sync:

1. Midjourney → character close-up portrait
2. Kling → idle animation (subtle breathing, blinking)
3. ElevenLabs → voiceover .wav
4. Pika → lip-sync the idle animation dengan audio
5. DaVinci → sync dengan scene lain

2. Compositing: Gabungin Multiple AI Outputs

The Problem

AI generate 1 shot = 1 video. Tapi gimana kalau lo mau:

2 karakter dalam 1 frame (AI gak bisa consistently)
Karakter + efek visual spesifik
Green screen removal untuk background custom

Solution: Manual Compositing

Technique 1: Split Screen / Layering

1. Generate karakter A dengan green screen background
2. Generate karakter B dengan green screen background
3. Generate background scene
4. Di DaVinci/After Effects: key out green, layer semua

Technique 2: Masking & Overlay

1. Generate base scene (tanpa karakter)
2. Generate karakter terpisah
3. Mask karakter, overlay ke base scene
4. Adjust lighting & shadow untuk matching

Technique 3: Inpainting untuk Fix

1. Generate scene, ada 1 bagian jelek
2. Mask area yang jelek
3. Generate ulang hanya area itu (Runway inpainting)
4. Overlay hasil ke original

3. Multi-Character Scenes

The Problem

AI video generation gak bisa handle 2+ karakter dalam 1 shot dengan konsisten. Karakter meleleh, campur, atau hilang.

Workaround Strategies:

Strategy 1: Shoot Separately, Composite Together

1. Generate karakter A sendiri (full body)
2. Generate karakter B sendiri (full body)
3. Generate background plate
4. Di DaVinci: layer A + B + background, adjust scale & position

Strategy 2: Over-the-Shoulder (OTS)

1. Shot 1: dari belakang karakter A, lihat karakter B
   → Generate karakter B di foreground, karakter A di foreground
   → Sebenarnya cuma 1 karakter yang perlu konsisten

2. Shot 2: reverse OTS
   → Dari belakang karakter B, lihat karakter A

Strategy 3: Cut Between Singles

1. Shot: karakter A sendiri (close-up)
2. Shot: karakter B sendiri (close-up)
3. Shot: wide shot (2 karakter, tapi dari jauh, kurang detail)
4. Edit: cut antara close-up A dan B, wide shot cuma sebagai establishing

4. Action Matching dengan Motion Control

Kling Motion Control

Siapkan video referensi gerakan (stock footage, video diri sendiri, hasil generate)
Siapkan gambar karakter lo
Upload ke Kling Motion Control
Kling akan transfer gerakan dari video referensi ke karakter lo

Use Cases:

Fighting — gerakan bela diri dari reference
Dancing — koreografi dari reference
Sports — gerakan atletik dari reference
Gesture spesifik — menunjuk, melambai, mengangkat

Tips:

Reference video harus jelas, high contrast, background bersih
Gerakan jangan terlalu cepat
Lighting di reference harus match dengan karakter lo

Latihan: Advanced Shot

Bikin 1 shot dengan 2 karakter (composite 2 generate terpisah)
Bikin 1 shot lip-sync (Pika + ElevenLabs)
Bikin 1 shot action match (Kling Motion Control)

Target: 3 shot advanced yang menunjukkan teknik di atas.