Modelos fundacionais tabulares aplicados à decisão de crédito
A maior parte dos modelos de crédito em produção hoje é treinada do zero sobre a carteira de uma única instituição. Isso funciona quando há décadas de histórico — e falha silenciosamente quando não há. Modelos fundacionais tabulares propõem outro caminho: pré-treinar sobre uma grande diversidade de conjuntos tabulares e adaptar ao contexto local com poucos exemplos.
O problema do histórico curto
Carteiras novas, produtos recém-lançados e segmentos sub-bancarizados compartilham a mesma limitação: poucos ciclos completos de inadimplência observados. Um modelo supervisionado clássico aprende os padrões do passado recente e generaliza mal para regimes que ainda não viu.
- Poucos defaults observados tornam a classe minoritária estatisticamente frágil
- Mudanças macroeconômicas invalidam janelas de treino curtas
- Vieses de aprovação histórica contaminam o rótulo (reject inference)
O que muda com pré-treino
Um modelo fundacional tabular chega ao problema já sabendo o que é uma distribuição de renda, como variáveis categóricas de alta cardinalidade se comportam e que interações entre atraso e utilização de limite costumam importar. O fine-tuning deixa de ensinar estatística básica e passa a ensinar apenas o que é idiossincrático da carteira.
Transferência entre carteiras
Nos nossos experimentos, a transferência entre segmentos distintos preserva a maior parte do poder discriminativo mesmo com uma fração pequena dos dados de destino. O ganho é mais pronunciado exatamente onde os métodos clássicos mais sofrem: nas primeiras safras de um produto novo.
O valor de um modelo fundacional não está em acertar mais no regime estável — está em degradar menos no regime que ninguém viu.
Equipe de Pesquisa, Faradays
Arquitetura de pré-treino
Ao contrário de texto, dados tabulares não têm um vocabulário compartilhado: cada carteira tem colunas, escalas e semânticas próprias. A arquitetura precisa resolver esse problema de alinhamento antes de qualquer transferência acontecer.
Representação de features
Tratamos cada célula como um par (nome da coluna, valor): o nome é embutido por um encoder textual, o que permite que "renda_mensal" numa carteira e "salario_liquido" em outra caiam em regiões próximas do espaço de representação. Valores numéricos passam por normalização quantílica aprendida; categóricos de alta cardinalidade, por hashing com embeddings compartilhados.
Objetivos de treinamento
- Reconstrução mascarada de células — o modelo aprende as dependências entre colunas
- Predição contrastiva entre linhas da mesma safra — captura estrutura de coorte
- Cabeças auxiliares de ordenação temporal para dados com histórico
Nenhum dos objetivos usa o rótulo de inadimplência: o pré-treino é inteiramente auto-supervisionado, o que permite aproveitar volumes grandes de dados não rotulados — inclusive de domínios fora de crédito.
Avaliação fora de distribuição
A pergunta que importa não é "qual o AUC no holdout?", e sim "o que acontece quando o mundo muda?". Nosso protocolo de avaliação separa três eixos de deslocamento: temporal (safras futuras), populacional (segmentos não vistos) e macroeconômico (regimes de estresse).
Backtesting por safra
Cada modelo é treinado até a safra T e avaliado em T+1…T+k, nunca com embaralhamento aleatório — validação cruzada clássica vaza informação do futuro e infla os resultados de forma silenciosa. O relatório final mostra a curva de degradação, não um número único.
Métricas além do AUC
- Calibração por decil de score sob cada regime simulado
- Estabilidade do ranking (Kendall τ) entre janelas adjacentes
- Custo esperado da política derivada, não só a qualidade do score
- Disparidade de aprovação entre grupos protegidos, por regime
Um score bem calibrado que degrada previsivelmente vale mais do que um score excelente que quebra sem avisar.
Limitações e riscos
Modelos fundacionais tabulares não são bala de prata. Três riscos guiam nossa agenda: contaminação entre pré-treino e avaliação (mitigada com particionamento por instituição), transferência negativa quando o domínio de origem é enganosamente parecido, e o custo de inferência em decisões de alto volume — que atacamos com destilação para modelos menores por carteira.
Há também um risco institucional: a tentação de tratar o modelo pré-treinado como caixa-preta aprovada de antemão. Cada adaptação passa pelo mesmo crivo de validação de um modelo novo — o pré-treino acelera o desenvolvimento, não o processo de governança.
Próximos passos
O projeto de PD&I em cooperação com a Unicamp segue investigando arquiteturas de pré-treino e protocolos de avaliação fora de distribuição. Os resultados alimentam diretamente a plataforma de otimização dinâmica de crédito.
- Escalar o corpus de pré-treino com novos domínios tabulares públicos
- Comparar fine-tuning completo, adapters e prompting in-context em poucos exemplos
- Publicar o protocolo de avaliação fora de distribuição como benchmark aberto