Athenas-Symbiote-9B: Um modelo de 9B treinado em T4 supera modelos de 72B no exame da OAB
Acabei de publicar o relatório técnico do Athenas-Symbiote-9B, um modelo de linguagem de 9 bilhões de parâmetros que eu treinei especificamente para português brasileiro, com foco em raciocínio jurídico e acadêmico.
Resultados Principais
- OAB (Exame da Ordem): 63.23% (3-shot) — 11.13 pontos percentuais acima do Qwen2.5-72B-Instruct
- ENEM (Exame Nacional): 80.90% (3-shot)
- Treinamento: 1.200 passos em uma única GPU T4 (16GB) via Kaggle
- Técnica: LoRA + rsLoRA, quantização 4-bit, framework Unsolt
Treinei o modelo usando compute gratuito do Kaggle, demonstrando que adaptação PEFT domain-specific compensa escala de parâmetros — apesar de ser 8× menor que o Qwen2.5-72B e 26× menor que o Qwen3-235B, alcança performance comparável em raciocínio jurídico.
Comparação com Modelos Maiores
Athenas-Symbiote-9B treina em T4 e equipara-se a DeepSeek-V3.2 e Qwen3-235B, que são ordens de magnitude maiores. O relatório inclui comparações detalhadas com modelos frontier como Sabiá-4, GPT-5.2 e Gemini-3 Pro.
Metodologia
- Base: Qwen3.5-9B-Base (multilingual, pré-treinado)
- Dataset: ClassiCC-PT filtrado por
edu_score > 0.8(curadoria de qualidade) - Hardware: 1× NVIDIA T4 (16GB) via Kaggle — compute gratuito
- Avaliação: EleutherAI lm-evaluation-harness em H100 (80GB)
O relatório completo inclui análise por edição do OAB (25 exames 2010–2018), variância inter-edição, e comparações com modelos frontier.
Disponibilidade
- Relatório Técnico: Zenodo (DOI: 10.5281/zenodo.21418168)
- Modelo: Hugging Face
- Licença: Apache 2.0 (open weights)
O objetivo é demonstrar que modelos eficientes treinados em hardware acessível podem competir com modelos proprietários massivos em domínios específicos.