Bài 4: học khử nhiễu và học trường vận tốc#

Bắt đầu · Trước: AR/GAN/VAE/flow · Tiếp: codec và audio LM

Mục tiêu và ký hiệu#

Bạn cần chỉ rõ data space, corruption/path, target, loss và sampler; tự tính một bước toy; giải thích quan hệ FM với normalizing flow mà không tách chúng thành hai thế giới không liên quan. $c$ là conditioning, $\theta$ là weights. Các biến ở đây có thể là một ô mel, vector latent hoặc waveform; tên objective chưa xác định representation.

Trong phần diffusion, $k$ là mức/bước nhiễu và $x_0$ là dữ liệu sạch. Trong phần FM, $\tau\in[0,1]$ là tọa độ của path từ noise tới data. Cả k và τ không phải timestamp trong bản ghi âm. Một mel dài 3 s vẫn có thể được xử lý qua nhiều mức τ.

1. Diffusion: biết noise đã thêm để học dự đoán#

Lấy dạng DDPM phổ biến để có công thức rõ. Đặt $\beta_k\in(0,1)$ là noise schedule, $\alpha_k=1-\beta_k$, $\bar\alpha_k=\prod_{j=1}^k\alpha_j$. Với $\epsilon\sim\mathcal N(0,I)$:

Training biết $x_0$ và noise draw, tạo được $x_k$ tại một k chọn ngẫu nhiên. Mạng $\epsilon_\theta(x_k,k,c)$ hồi quy noise bằng simplified loss

Đây là noise-prediction parameterization, không phải mọi diffusion recipe đều dùng cùng target/loss weighting. DDPM có reverse transitions và Algorithms 1/2 phân biệt training/sampling. Ho et al., §2–3.

Toy biên soạn: $x_0=2$, $\bar\alpha_k=0,64$, $\epsilon=-1$. Khi đó $x_k=0,8\times2+0,6\times(-1)=1$. Nếu mạng dự đoán $\hat\epsilon=-0,5$, squared noise error là $0,25$. Suy một ước lượng clean sample:

Đây chưa phải một reverse sampling transition đầy đủ: transition còn phụ thuộc schedule, mean/variance và sampler. Nếu noise prediction chính xác trong cặp toy này thì estimate trả 2; ngoài toy, cùng $x_k$ có thể phù hợp nhiều $x_0$, nên không có oracle biết noise của từng sample mới.

Sampling bắt đầu từ noise, lặp dùng mạng đã học; không được lấy $x_0$ thật hay noise draw training làm đáp án. Score-based versions có thể học $\nabla_x\log p_k(x\mid c)$ — hướng tăng log-density — và dùng reverse SDE hoặc probability-flow ODE. Do đó “diffusion luôn sampling ngẫu nhiên, FM luôn ODE” là phân biệt quá mạnh.

2. Flow matching: path cho target vận tốc#

Đổi tên endpoints để không nhầm với diffusion: $a$ là noise sample, $b$ là data sample. Một conditional path tuyến tính toy:

$u$ là đạo hàm của path theo τ, cùng đơn vị với x trên một đơn vị τ. Học mạng $v_\theta(x_\tau,\tau,c)$ bằng:

Đây là dạng conditional regression; chọn coupling endpoints/path khác thì target đổi. Paper FM §2–4 xây probability paths và giải thích vì sao conditional targets có thể huấn luyện marginal field. Ta không tuyên bố mọi independent pairing là globally optimal transport giữa hai phân phối. Lipman et al. v2.

Toy: $a=-1$, $b=3$, $\tau=0,25$ → $x_\tau=0$, target $u=4$. Mạng trả 3 → loss 1. Với bước Euler $h=0,1$, trạng thái mới $x'=0+0,1\times3=0,3$. Nếu dùng đúng constant field của cặp toy thì tới 0,4. Sai số vừa có model error; với field tổng quát còn có numerical integration error.

Ở inference, b chưa biết. Giải $dx_\tau/d\tau=v_\theta(x_\tau,\tau,c)$ từ a bằng ODE solver. Mạng đã học từ nhiều cặp; không được cố định $b-a$ của một mẫu train rồi gọi là generation mới. Hai đường conditional có thể đi qua cùng $x_\tau$ với vận tốc khác nhau; squared-loss optimum học conditional mean target tại state ấy. Marginal trajectory không bắt buộc là một đường thẳng của cặp đã train.

3. FM khác và liên quan normalizing flow ở đâu?#

Normalizing flow là họ phép biến đổi distribution; bài 3 dùng các maps khả nghịch hữu hạn và Jacobian cho density. FM là cách huấn luyện vector field bằng regression theo path. Paper FM dùng nó để học continuous normalizing flow (CNF). Với điều kiện regularity/uniqueness phù hợp, flow của ODE có map khả nghịch; vì vậy nói “FM không cần/có khả nghịch ở bất kỳ nghĩa nào” là sai.

Điểm thực hành: FM training có thể lấy noisy/interpolated state và target velocity trực tiếp, không cần giải ODE hay tính logdet mỗi training sample như likelihood training của nhiều flow models. Sampling vẫn giải ODE; density estimation là một việc khác. Cũng không lấy số bước solver ít hơn để suy quality hoặc forensic robustness tốt hơn cho mọi hệ.

4. Hai pipeline thật và một bẫy tên architecture#

Grad-TTS §3: text encoder + duration/alignment → điều kiện frame-wise → diffusion tạo mel → vocoder. Paper dùng reverse-time ODE/Euler cho acoustic sampling. Công thức toy DDPM ở trên dạy corruption; không phải chép nguyên Grad-TTS, nơi terminal Gaussian được condition theo encoder mean. Grad-TTS.

F5-TTS v3 §2–4: text-guided infilling trên mel, regression FM, audio/text prompt tại inference, ODE → generated mel → Vocos. DiT là tên backbone; từ “Diffusion Transformer” chưa thay objective FM thành DDPM. V1 và v3 được đọc theo section; metadata v3 revised 20/05/2025, repo còn có checkpoint gọi “F5-TTS v1 base” trong news 12/03/2025. Hai chữ “v1” không cùng namespace. Paper v3, metadata, repo tác giả.

Phản ví dụ biên soạn: diffusion chỉ sinh style latent, rồi decoder khác sinh waveform. Gọi waveform signature là “diffusion-on-waveform artifact” sẽ sai về data space. DFADD có những pipeline khác nhau; không dùng nhãn D/F làm substitute cho component trace. Hộ chiếu DFADD.

5. Liên hệ Audio-JEPA#

JEPA downstream không giải ODE hoặc denoise để tạo audio. Nó đọc log-mel từ waveform đã sinh/xử lý và học class score. Kết quả trên DFADD đo transfer tới tập gồm các hệ diffusion/FM cụ thể, không chứng minh encoder đã phát hiện target velocity, noise schedule hoặc một artifact phổ quát của family. Chương 06.

Bài tập#

1. Diffusion toy $x_0=-2$, $\bar\alpha=0,36$, $\epsilon=1$. Tính $x_k$ và clean estimate khi predicted noise chính xác. Estimate ấy có tự là một generated sample không?
2. FM toy $a=2,b=-2,\tau=0,75$. Tính state/target. Mạng trả −3; Euler h=0,2 tới đâu? Bây giờ có biết b tại inference thật không?
3. “Cả hai dùng squared loss nên cùng objective.” Thiếu những gì? “FM không phải NF nên ODE map không thể invertible.” Sai ở đâu?

Đào sâu tự chọn#

Thử hai cặp (a,b)=(−1,1),(1,−1) cùng đi qua 0 ở τ=0,5 nhưng target +2/−2. Nếu mỗi cặp có probability 1/2 và condition không phân biệt, regression optimum tại đó là 0. Đây là conditional-mean calculation ở một state, không chứng minh distribution sampler “collapse”; muốn đánh giá flow phải xét field/path đầy đủ.