Normalizing Flows — Demo Interativa

1 · Mudança de variável em 1D

Partimos da base z ∼ 𝒩(0,1) e aplicamos uma transformação monotônica ajustável x = f(z) = b + a·z + c·tanh(z/0.7). A conservação de probabilidade exige p(x)·dx = p(z)·dz, logo a densidade resultante é p_X(x) = p_Z(z)·|f′(z)|⁻¹: onde o flow alonga o eixo (derivada grande) a densidade abaixa, onde comprime (derivada pequena) a densidade sobe. A curva tracejada mostra o que acontece se esquecermos o termo do jacobiano: a área sob a curva deixa de ser 1. Arraste o ponto no painel central para inspecionar f′(z₀) em cada região.

escala a = 1.00 translação b = 0.0 alongamento c = 0.00

Base p_Z(z) = 𝒩(0,1) e amostras

Transformação x = f(z) (arraste o ponto z₀)

p_X(x) com jacobiano (sólida) e sem (tracejada) + histograma das amostras transformadas

💡 Com a = 1, b = 0, c = 0 o flow é a identidade e p_X = p_Z. Suba para c ≈ 1.5 e reduza a ≈ 0.5: o centro do eixo é esticado, a massa é empurrada para os lados e surge uma densidade bimodal, como na figura dos slides. Compare a sólida com a tracejada no readout: sem o jacobiano a área fica longe de 1. Arraste z₀ até o centro e veja f′(z₀) grande exatamente onde a densidade é baixa.

2 · Composição de K camadas

A classe de funções inversíveis e diferenciáveis é fechada em composição: f = f_K ∘ f_K−1 ∘ … ∘ f₁. Cada camada aqui é simples, f_k(z) = z + α_k·tanh((z − μ_k)/s_k), mas empilhando camadas a gaussiana base se deforma em distribuições cada vez mais ricas. Pela regra da cadeia o determinante do jacobiano da composição é o produto dos determinantes, |f′| = Π_k |f_k′|, então basta que cada camada seja barata para a rede inteira ser tratável. Mova o slider de K e veja a densidade se deformar passo a passo.

K = 3 camadas

Densidade após K camadas (laranja); cinza: estágios intermediários; ciano tracejado: base p(z)

Mapa composto x = f(z) (tracejado: identidade)

💡 Com K = 0 a densidade é a própria base. Clique ⏭ uma camada por vez e acompanhe o readout: o jacobiano composto em z = 0 é o produto dos jacobianos das camadas, e em log vira uma soma, exatamente o termo que entra na NLL. Clique 🎲 algumas vezes: composições diferentes geram multimodalidades diferentes, mesmo com cada f_k sendo um único "solavanco" de tanh.

3 · Affine coupling em 2D

A camada de affine coupling (RealNVP) divide a entrada em duas partes: x^A é copiada sem mudança e x^B sofre uma transformação afim cujos parâmetros vêm de x^A: y^B = x^B·exp(s(x^A)) + t(x^A). Como x^A não depende de x^B, o jacobiano é triangular e log|det J| = Σ s. Aqui a "coupling network" é controlada por dois sliders: s(x^A) = w_s·tanh(x^A) e t(x^A) = w_t·(x^A² − 1)/2. As abas trocam qual metade é transformada, o papel da permutação entre camadas.

w_s = 0.60 w_t = 1.00

interpolação α = 1.00

z ∼ 𝒩(0, I) (ciano) → amostras transformadas (laranja), densidade p_X (mapa de cores) e grade deformada

Saídas da coupling network: α·s(x^A) e α·t(x^A)

💡 Com α = 0 a camada é a identidade; clique ▶ e veja a gaussiana se curvar em forma de banana, um passo na direção das two moons da seção 4. Teste w_s = 1.2, w_t = 0: só a escala muda, e o readout mostra log|det J| = s(x^A) positivo onde a grade alarga e negativo onde encolhe. Note que a dimensão condicionante nunca se move: por isso camadas reais alternam a metade transformada com permutações.

4 · Treino por máxima verossimilhança

Um flow de verdade treinando no navegador: K camadas de affine coupling alternando a metade transformada, cada uma com uma coupling network MLP pequena que produz s e t. O treino minimiza a NLL vinda da mudança de variável, −log p_X(x) = ½‖f(x)‖² − Σ_ℓ s_ℓ + log(2π): o primeiro termo puxa z = f(x) para a gaussiana base e o log-determinante paga o preço da deformação de volume. Para amostrar, basta passar z ∼ 𝒩(0, I) pelas inversas em ordem contrária. Use ⏭ para ver as amostras atravessando o flow camada a camada.

K = 6 camadas

Dados (ciano), amostras do flow (laranja) e densidade aprendida p_X(x) (mapa de cores)

NLL média por passo (ciano: bruta, laranja: média móvel)

💡 Antes de treinar as amostras são quase a própria gaussiana base. Clique ▶ Treinar e observe a NLL despencar nos primeiros segundos enquanto a nuvem laranja se parte em duas luas. Compare K = 2 com K = 6: com poucas camadas o flow não consegue separar os modos (a expressividade vem da composição). Pause e clique ⏭ repetidamente: cada clique mostra as amostras após mais uma camada inversa, a deformação gradual de 𝒩(0, I) até os dados. Nos anéis, repare como o flow precisa "rasgar" a gaussiana para cobrir um suporte com buraco.