AMALIA, ChatGPT ou Claude: privacidade local troca-se por menos acertos?

Uma execução local do AMALIA pode dar mais controlo sobre os dados, mas teve menos acertos do que as alternativas comerciais num pequeno teste de português europeu. No ensaio da OficinaIA com sete perguntas de escolha múltipla do Exame Nacional de Português de 2024, o AMALIA-9B acertou quatro, o GPT-4o acertou seis e o Claude Sonnet 5 acertou sete. O AMALIA correu localmente, numa CPU e quantizado a quatro bits.

Para tarefas complexas com resposta verificável, esse resultado favorece os modelos comerciais testados; para informação que tenha de ser processada dentro da infraestrutura da organização, favorece-se a possibilidade de instalar o AMALIA localmente. A diferença de acertos pertence àquelas versões, configuração e perguntas. Não permite concluir que o AMALIA escreve pior português europeu em geral, nem que uma instalação local ficará automaticamente privada ou barata.

O que os acertos do exame permitem comparar

Uma pergunta de escolha múltipla oferece uma resposta certa e torna a correção objetiva. É útil para observar erros de compreensão ou raciocínio naquele conjunto, mas não mede a qualidade de um texto longo, a revisão de documentos ou a capacidade de manter respostas coerentes numa conversa. Com uma amostra tão pequena, mudar uma única resposta altera bastante a impressão sobre cada modelo; a prova funciona como demonstração, não como classificação universal.

Também importa distinguir modelo e configuração. A quantização a quatro bits reduz a precisão com que os parâmetros são representados, permitindo executar o AMALIA com menos memória; a CPU condiciona sobretudo a velocidade. Uma execução com outra precisão ou outro equipamento pode ter comportamento diferente, mas os dados publicados não permitem calcular quanto mudariam os acertos. A pontuação observada não é um limite mínimo garantido para o modelo.

Há ainda uma diferença entre o nome do serviço e a versão medida. A documentação da OpenAI indica que o GPT-4o foi retirado do ChatGPT em fevereiro de 2026, embora continuasse disponível pela API. Assim, o resultado atribuído ao GPT-4o no ensaio não descreve o desempenho de qualquer modelo que o ChatGPT possa selecionar hoje. A mesma cautela vale para versões diferentes de Claude e para aplicações construídas sobre o AMALIA.

Português europeu: acerto e naturalidade são critérios diferentes

O foco linguístico do AMALIA dá-lhe relevância para trabalho que exige terminologia, registo e referências de Portugal. As avaliações oficiais do projeto abrangem 45 ambientes, incluindo 34 padronizados, e identificam provas próprias para linguística em português europeu, cultura portuguesa e exames nacionais. Essa variedade permite distinguir capacidades que uma única série de perguntas não separa.

Um assistente pode escolher a opção certa num exame e ainda produzir uma carta demasiado formal ou uma tradução com vocabulário inadequado. Também pode escrever de forma natural e chegar a uma conclusão errada. Para texto corrente, contam a adequação ao português de Portugal, a fidelidade ao conteúdo de partida e o trabalho de revisão que sobra; para análise de documentos, contam ainda a precisão factual e a capacidade de sustentar uma resposta. O resultado do exame informa sobretudo esta última dimensão, dentro de uma tarefa fechada.

Por isso, a vantagem observada dos serviços comerciais em acertos não elimina a razão para avaliar o AMALIA na redação ou adaptação linguística. Também não transforma a especialização em português europeu numa garantia de melhor escrita: registo, clareza e correção exigem avaliação própria. A escolha muda conforme se pede uma resposta certa, um texto natural ou ambos.

Onde está a vantagem de privacidade da execução local

O portal digitalGOV apresenta o AMALIA como um sistema aberto, concebido para português europeu e disponibilizado para utilização por organismos públicos, empresas e outros interessados. Essa abertura permite que uma organização instale o modelo na sua própria infraestrutura. Se também mantiver aí os pedidos, os documentos e as respostas, pode controlar diretamente onde ocorre esse processamento.

O controlo depende da aplicação completa. Um modelo instalado localmente pode estar ligado a pesquisa externa, registos alojados por terceiros ou ferramentas que recebem partes do pedido; cada ligação altera o percurso dos dados. Em sentido inverso, as condições de tratamento de um serviço comercial dependem do produto e do contrato escolhido. O nome ChatGPT ou Claude, por si só, não determina onde ficam todos os dados nem durante quanto tempo são conservados.

Para uma organização obrigada a manter informação num ambiente controlado, o AMALIA oferece uma opção técnica concreta, desde que a instalação e as integrações cumpram esse requisito. A privacidade ganha-se pelo desenho e pela operação do sistema, não pela nacionalidade do modelo. Esse controlo traz responsabilidades próprias: proteger acessos, gerir registos, aplicar atualizações e verificar as ferramentas ligadas à aplicação.

O custo e a dificuldade incluem a aplicação

Comparar diretamente o AMALIA com o ChatGPT pode esconder uma parte do trabalho. O AMALIA é um modelo que alguém tem de integrar numa aplicação; o ChatGPT já inclui uma interface e serviços à volta do modelo. A reportagem do Observador descreve essa distinção e a experiência da Priberam ao usar o AMALIA para gerar frases de exemplo no seu dicionário. O resultado que o utilizador vê depende da função criada, das instruções e das salvaguardas, além do modelo.

Numa instalação própria, não há necessariamente uma cobrança do fornecedor do modelo por cada pedido, mas continuam a existir máquinas, energia, alojamento, manutenção e trabalho de integração. A CPU usada no ensaio mostra que é possível executar aquela configuração sem placa gráfica; não estabelece a capacidade necessária para servir muitos utilizadores ou responder dentro do tempo exigido por uma aplicação. Nos serviços comerciais, parte da operação passa para o fornecedor, enquanto o custo depende do plano, da utilização e das funções contratadas.

Uma conta por pergunta só é comparável se incluir o mesmo volume de trabalho, o tempo de resposta aceitável e a qualidade de saída pretendida. Se uma opção exigir mais revisão humana ou uma equipa para a manter, esse esforço também entra no custo total. Para tarefas ocasionais, a facilidade de começar pode pesar mais; numa utilização contínua com dados sensíveis, a infraestrutura própria pode justificar o investimento operacional.

Qual opção faz sentido em cada tarefa?

A escolha fica mais clara quando a exigência principal é definida antes de olhar para uma pontuação isolada:

• Texto corrente em português europeu: inclua o AMALIA e os serviços comerciais numa comparação de textos semelhantes aos que precisa de produzir. Observe naturalidade, terminologia, fidelidade ao pedido e tempo de revisão; o exame não resolve esta escolha.
• Dados sensíveis: uma instalação local do AMALIA faz sentido quando o processamento tem de permanecer num ambiente controlado. O requisito deve abranger documentos, registos, cópias de segurança e serviços ligados à aplicação.
• Execução local: o AMALIA é uma opção aberta para integrar em infraestrutura própria. A versão, a quantização, o equipamento e a carga de utilização determinam a experiência real, pelo que a configuração do ensaio não deve servir como promessa de desempenho.
• Tarefas complexas com resposta verificável: GPT-4o e Claude Sonnet 5 foram mais certeiros no pequeno exame publicado. Para decidir sobre um serviço utilizável agora, é preciso avaliar as versões atualmente oferecidas com perguntas representativas do trabalho.

Quando privacidade e precisão são simultaneamente exigências fortes, a instalação local resolve apenas a localização do processamento. A qualidade continua a depender do modelo, das fontes que a aplicação lhe disponibiliza e da revisão das respostas. É essa combinação — tarefa, percurso dos dados e custo total — que distingue uma escolha adequada de uma simples comparação de marcas.