O que é um Model Card?
Um model card é um documento padronizado que acompanha um modelo de machine learning, fornecendo informação transparente sobre o seu treino, capacidades, limitações, resultados de avaliação e casos de uso pretendidos e não pretendidos. Originalmente propostos por pesquisadores do Google em 2018, os model cards tornaram-se uma boa prática para a documentação responsável de modelos de IA e são cada vez mais exigidos por reguladores e equipas de aquisição empresarial.
O que Inclui um Model Card
Um model card completo abrange: os detalhes do modelo (arquitetura, versão, tipo de treino), uso pretendido e casos de uso fora do âmbito, fatores (que variáveis afetam o desempenho), métricas de avaliação e resultados (incluindo desagregação por subgrupos), informação sobre os dados de treino e avaliação, considerações éticas e limitações conhecidas, e informação de contacto para questões ou preocupações.
Porque os Model Cards São Importantes
Os model cards permitem decisões informadas de aquisição e implantação ao tornar transparentes as capacidades e limitações que de outra forma requerem testes extensivos para descobrir. Para conformidade regulatória, fornecem a documentação necessária sobre o desempenho do modelo em grupos de utilizadores relevantes. A documentação clara das limitações é especialmente crítica para casos de uso de alto risco onde o uso indevido ou a confiança excessiva num modelo pode ter consequências sérias.