Demonstrações interativas da aula de fairness
Três visualizações que acompanham os slides: como o limiar de decisão τ gera as taxas de erro (FPR, FNR, PPV), por que com taxas-base diferentes é impossível satisfazer calibração e igualdade de erros ao mesmo tempo (o caso COMPAS), e como funciona o debiasing de word embeddings por projeção w′ = w − (w·g)g. Notação dos slides: ŷ = 1 se s ≥ τ, p_a = P(y=1 | a).
Um classificador de risco produz um escore s ∈ [0, 1] e decide ŷ = 1 (ex.: “alto risco”) quando s ≥ τ. As duas curvas abaixo são as densidades do escore para quem tem y = 1 (reincide) e y = 0 (não reincide). Como as curvas se sobrepõem, qualquer limiar comete os dois tipos de erro: a área vermelha à direita de τ são os falsos positivos, a área azul à esquerda são os falsos negativos. Arraste o limiar (ou use o slider) e veja as métricas mudarem.
Densidades do escore por classe; a linha vertical é o limiar τ (arraste-a)
Métricas resultantes do limiar atual
💡 Não existe limiar que zere os dois erros ao mesmo tempo: baixar τ reduz falsos negativos e infla falsos positivos, e vice-versa. Note também que a PPV depende da taxa-base p: com o mesmo limiar, um grupo com p maior tem PPV maior. Essa dependência é o coração da seção 2.
Agora há dois grupos, A e B, com o mesmo classificador (mesmas curvas de escore por classe), mas taxas-base possivelmente diferentes (p_A ≠ p_B). Você controla um limiar por grupo (τ_A, τ_B). Os indicadores abaixo mostram quais critérios de fairness valem (tolerância de 3 pontos percentuais): paridade demográfica, igualdade de oportunidade (TPR), igualdade de FPR e calibração (PPV). Tente deixar todos verdes com taxas-base diferentes.
Grupo A: densidades e limiar τ_A (arraste)
Grupo B: densidades e limiar τ_B (arraste)
Métricas lado a lado: A (ciano) vs B (laranja)
💡 Com p_A = p_B e limiares iguais, tudo fica verde. Com o preset COMPAS, limiares iguais dão TPR e FPR iguais, mas a calibração quebra; mover τ_B para consertar a PPV quebra TPR e FPR. É a identidade dos slides: FPR = p/(1−p) · (1−PPV)/PPV · (1−FNR), com p diferente, algo tem que ceder. A ProPublica e a Northpointe mediam métricas diferentes do mesmo sistema.
Um recorte 2D de um espaço de embeddings: o eixo horizontal é a direção de gênero g (estimada com pares definicionais como he−she), o eixo vertical resume o conteúdo semântico restante. Profissões deveriam ser neutras, mas aparecem deslocadas ao longo de g. O slider aplica gradualmente a projeção w′ = w − λ·(w·g)g às palavras neutras (he/she e king/queen são definicionais e não são projetadas).
Embeddings: profissões (pontos) e palavras definicionais (losangos)
Componente de gênero w·g de cada profissão
💡 Com λ = 1 as profissões caem sobre o eixo neutro: a analogia enviesada man:programmer :: woman:homemaker desaparece, enquanto king/queen preservam o gênero (que ali é legítimo). Ressalva dos slides: em embeddings reais o viés é apenas atenuado, a vizinhança das palavras continua carregando informação de gênero recuperável.