Estado do mercado em 2026
Há três anos a diferença de qualidade entre o melhor modelo cloud (GPT-4, Claude Opus) e o melhor modelo open-source era enorme. Em 2026 essa diferença praticamente fechou-se na maioria das aplicações de negócio. Llama 3.1 405B, Mistral Large, o polaco Bielik 11B, Qwen 2.5 — são modelos que em benchmarks de reasoning, programação, análise de documentos ou tratamento da língua polaca alcançam resultados comparáveis aos modelos cloud.
Mais ainda, para muitas aplicações enterprise os modelos 8-13B não só são suficientes — são óptimos. Classificação de emails, extracção de dados de facturas, geração de resumos, respostas básicas no apoio ao cliente — nestas tarefas o Bielik local num servidor GPU próprio dá resultados indistinguíveis de Claude Haiku, com zero custos por token.
Quando compensa um modelo local
A decisão LLM local vs cloud tem várias dimensões. As mais relevantes:
- Volume de pedidos — o ponto de break-even com a infra-estrutura actual (servidor com GPU H100 80GB ~120 mil PLN, ou spot DataCrunch ~3 mil PLN/mês) situa-se nos 50-100 milhões de tokens por mês. Acima — on-prem mais barato. Abaixo — cloud.
- Sensibilidade dos dados — para dados abrangidos pelo RGPD, segredo profissional (escritórios de advogados, auditores, saúde) ou cláusula de confidencialidade do cliente, os LLM locais eliminam o risco associado ao envio de dados para um fornecedor cloud.
- Latência — modelo local no mesmo datacenter da aplicação: 50-200 ms. Cloud: 500-2000 ms (consoante a região e a fila). Para aplicações em tempo real a diferença é fundamental.
- Conformidade e soberania de dados — requisitos NIS2, ISO 27001, regulações sectoriais (KNF, UODO) preferem ou exigem cada vez mais processamento local dos dados.
Classes de modelos e suas aplicações
Os modelos open-source não são um monólito — diferem em tamanho, especialização, língua nativa, licença. Visão prática:
- Modelos pequenos (3-8B): Llama 3.2 3B, Phi-3 Mini, Gemma 7B. Correm numa única GPU 16-24GB ou mesmo em CPU. Classificação, embeddings, classificação simples de pedidos, rerouting.
- Modelos médios (8-15B): Llama 3.1 8B, Bielik 11B (o melhor modelo polaco), Mistral 7B/Nemo. Correm numa GPU 24-48GB. RAG, geração de textos curtos, análise de documentos, customer support.
- Modelos grandes (30-70B): Llama 3.1 70B, Mistral Large, Command-R+. Exigem 2x GPU ou placa de 80GB (H100, A100). Reasoning complexo, programação, análise de documentos longos, drafting jurídico.
- Modelos muito grandes (300B+): Llama 3.1 405B, DeepSeek V3 671B. Exigem clusters de 4-8x H100/H200. Normalmente apenas justificados para volumes muito elevados ou para as tarefas mais difíceis.
Infra-estrutura — o que é concretamente necessário
Configuração mínima de produção para uma empresa média (até 1000 pedidos/dia, modelo 8-13B):
- Servidor com GPU — por exemplo RTX 4090 24GB (~12 mil PLN), L40S 48GB (~50 mil PLN) ou servidor dedicado com H100 80GB. Spot em DataCrunch ou Vast.ai — a partir de 2-3 mil PLN/mês por H100.
- Runtime — Ollama (mais simples, mas sem QoS), vLLM (de produção, batch processing), TGI da HuggingFace (compromisso). O Ollama chega para equipas mais pequenas.
- Proxy / routing — um LLM proxy próprio responsável por enfileiramento, retry, fallback, métricas. A ESKOM AI usa um proxy próprio com routing de 8 níveis (local mais barato → cloud Opus para os mais difíceis).
- Monitorização — Prometheus + Grafana para métricas de GPU (utilização, temperatura), latência, custo por pedido, qualidade das respostas.
- Backup e rotação de modelos — os modelos actualizam-se — manutenção do processo de fine-tuning ou de descarga regular de novas versões.
Quando a cloud ainda compensa
Os modelos cloud não desapareceram e continuam a ter um lugar com sentido na arquitectura enterprise:
- As tarefas mais difíceis — Claude Opus e GPT-5 (quando sair) continuam a ser melhores em reasoning muito complexo, contextos longos (1M+ tokens), tarefas „agentic” multistep.
- Volumes baixos — uma startup com 10 mil pedidos/mês não precisa de GPU própria. Pay-per-token em cloud custará alguns milhares de zlotys por mês — mais barato do que manter a infra-estrutura.
- Sazonalidade — quando o tráfego é muito instável, um LLM cloud auto-escalável evita custos de GPU parado.
- Multimodalidade — os modelos multimodais mais recentes (imagem, áudio, vídeo) estão frequentemente disponíveis primeiro em cloud.
Híbrido — a resposta mais frequente
Na prática, a maioria das empresas que adoptam bem IA constrói um stack híbrido:
- Llama 3.2 3B local — classificação, routing, extracção simples de dados. 80% do volume.
- Bielik 11B local ou Llama 3.1 8B — RAG, geração de conteúdos curtos, customer support PL/EN. 15% do volume.
- Llama 3.1 70B local — análises complexas, programação. 4% do volume.
- Cloud Claude Opus / Sonnet — perguntas mais difíceis, contexto longo, máxima qualidade. 1% do volume.
O routing de 8 níveis decide automaticamente qual o modelo que serve um determinado pedido, com base na complexidade detectada, na língua e no contexto. Na nossa plataforma HybridCrew este routing permite reduzir o custo médio do pedido em 70% face a uma solução „tudo via Opus” — mantendo qualidade plena onde é necessária.
Conclusões para decisores
A pergunta „LLM local ou cloud” em 2026 já não é uma pergunta zero-um. As melhores arquitecturas são híbridas e adaptativas — usam modelos locais onde compensa, cloud onde é necessário. Empresas com dados sensíveis (escritórios de advogados, sector financeiro, saúde, administração) devem começar já a construir competências de IA local — em 12-24 meses deixará de ser uma vantagem competitiva e passará a ser higiene.