Deepgram ou Whisper: menor latência, mais erros no teste

Em um teste publicado com gravações completas, o Deepgram Nova-2 respondeu mais rápido, enquanto a API Whisper da OpenAI apresentou menos erros de palavra. No relato de um usuário, três arquivos processados três vezes produziram latência média de 12 segundos e WER de 4,3% no Nova-2, contra 29 segundos e 3,8% na API Whisper.

Para escolher entre os serviços, essa diferença é um ponto de partida, não um resultado transferível para qualquer gravação. Áudio em português, prazo para receber o texto, preço da versão contratada e volume de pedidos simultâneos podem mudar a decisão. Uma ata produzida depois da reunião e uma chamada transcrita durante a fala exigem medições diferentes.

O que o teste curto mediu

A amostra reunia um podcast, uma reunião gravada e um vídeo. O tempo relatado corresponde ao processamento daqueles arquivos; ele não mede o intervalo entre uma palavra falada e sua exibição durante uma chamada. O autor publicou médias, mas não detalhou resultados por idioma, ruído ou tipo de gravação, nem tornou clara a preparação da transcrição de referência usada no cálculo do WER.

A diferença de WER favorece a API Whisper nessa amostra; a de tempo favorece o Nova-2. Como os arquivos têm formatos e durações distintos, uma média isolada também não informa qual serviço terminou primeiro em cada situação. Para uma operação brasileira, falta sobretudo saber como ambos lidariam com as falas e o vocabulário que ela realmente recebe.

Por que a amostra maior não define um vencedor

Um teste conduzido pelo Deepgram submeteu 254 arquivos com ruído, sotaques e vocabulário pouco frequente ao Whisper e ao modelo Enhanced da empresa. Trata-se de uma amostra maior, mas produzida por uma das partes comparadas e referente a outra configuração. Seus resultados não medem o Nova-2 do relato de usuário nem o Nova-3 oferecido na tabela de preços.

Também importa saber como os arquivos foram escolhidos e distribuídos entre idiomas e condições acústicas. Uma taxa agregada pode esconder desempenho desigual em ligações comprimidas, reuniões com vozes sobrepostas ou termos especializados. Antes de comparar percentuais de estudos distintos, é preciso alinhar modelo, áudio de entrada, transcrição de referência e regras de contagem de erros; o tamanho da amostra, sozinho, não elimina essas diferenças.

O português e a regra de contagem alteram o WER

Gravação de uma fala em português em meio a ruído e vozes sobrepostas, condições que podem alterar a taxa de erro da transcrição.

WER, a taxa de erro por palavra, soma substituições, omissões e inserções e divide o total pelo número de palavras da transcrição de referência. A medida permite comparar saídas para o mesmo áudio sob a mesma regra. Ela atribui, porém, uma unidade de erro tanto a uma preposição trocada quanto ao nome de um cliente transcrito incorretamente, embora as consequências para busca, legenda ou atendimento possam ser bem diferentes.

Para uma operação no Brasil, a amostra precisa conter seus sotaques, velocidades de fala, microfones e termos de produto. Convém separar reuniões com captação próxima de chamadas com compressão e ruído, em vez de reunir tudo em uma única média. Se houver público em outros mercados lusófonos, inclua gravações desses locais: áudio brasileiro não representa automaticamente todas as variedades do português.

As regras de normalização devem ser fixadas antes da medição. Pontuação e maiúsculas podem ser ignoradas no WER, enquanto números por extenso, siglas, hesitações e nomes próprios exigem decisões consistentes na referência e na saída. Além da taxa geral, uma contagem específica de nomes, valores e termos críticos mostra erros que pesam mais para o uso pretendido.

Preço por minuto e pedidos simultâneos

Comparação do custo hipotético de 30 mil minutos mensais entre Nova-3 monolíngue e Whisper Large hospedado pelo Deepgram.

A tabela Pay As You Go do Deepgram lista US$ 0,0043 por minuto pré-gravado no Nova-3 monolíngue e US$ 0,0048 no Whisper Large hospedado pela empresa; para esse plano, informa até 50 pedidos simultâneos na API REST e até 5 no Deepgram Whisper Cloud. Esses valores e limites pertencem aos produtos hospedados pelo Deepgram. Não são a cobrança nem a capacidade da API Whisper oferecida diretamente pela OpenAI.

Num exemplo hipotético de 30 mil minutos mensais de gravações de uma operação brasileira, as tarifas citadas resultariam em US$ 129 no Nova-3 monolíngue e US$ 144 no Whisper Large hospedado, diferença de US$ 15 antes de tributos e conversão cambial. A conta pressupõe áudio pré-gravado, o plano indicado e ausência de recursos cobrados à parte. O preço precisa ser revisto se mudar a modalidade, o modelo ou a tabela comercial.

O volume mensal, por si só, esconde o pico. Distribuir arquivos ao longo do dia produz uma fila diferente de enviar muitos ao fim de cada expediente. Por isso, a capacidade relevante é a quantidade de pedidos que pode avançar ao mesmo tempo e o prazo para concluir o lote inteiro; um preço menor por minuto perde utilidade se a espera ultrapassa o prazo da operação.

Áudio ao vivo exige outra medida de latência

A documentação de transcrição da OpenAI distingue arquivos completos de áudio que ainda chega por microfone ou chamada: o modelo whisper-1 não transmite trechos de texto durante o processamento de arquivos, enquanto a transcrição ao vivo usa o fluxo de tempo real. Portanto, o tempo de resposta de um arquivo enviado à API Whisper não equivale à latência percebida por quem acompanha uma conversa.

Em legendas ao vivo e agentes de voz, vale medir quando aparece o primeiro trecho útil, quando ele se estabiliza e quando chega o texto final. Um trecho parcial pode ser corrigido após novas palavras; sua utilidade imediata e o WER da transcrição final são resultados distintos. Interrupções, silêncio e falas sobrepostas devem entrar no ensaio porque alteram a experiência mesmo quando a taxa final de erro parece aceitável.

Um protocolo com áudio próprio

Um teste de contratação deve reproduzir a carga que a aplicação enfrentará. Use os mesmos arquivos de entrada para cada serviço, registre a versão exata do modelo e mantenha iguais as regras de avaliação. Separe gravações completas de fluxos ao vivo para que cada modalidade tenha sua própria medida de tempo.

Selecione áudio real por finalidade e condição: reuniões, chamadas e fala ao vivo, com grupos para ruído, sotaque e vozes sobrepostas. Prepare uma transcrição de referência revisada por quem conhece o vocabulário.
Defina antes das execuções como tratar pontuação, números, siglas e hesitações. Calcule WER por grupo e conte separadamente os erros em nomes, valores e termos essenciais.
Processe cada entrada nas versões que pretende contratar. Registre envio, primeira resposta, resultado final e falhas; repita as execuções para observar a variação, sem transformar uma média em garantia.
Reproduza o pico esperado de pedidos simultâneos e acompanhe filas, recusas e tempo até a conclusão do lote. No áudio ao vivo, meça também o atraso e as correções dos trechos parciais.
Projete o custo com os minutos efetivamente processados, a modalidade e os recursos necessários. Registre a tarifa usada na conta para poder atualizá-la quando o plano mudar.

O serviço adequado é o que atende ao requisito mais restritivo da aplicação: prazo de resposta na interação ao vivo, reconhecimento de palavras críticas em registros e legendas, ou capacidade de absorver picos. As medições publicadas delimitam essas escolhas; a decisão final depende dos resultados obtidos com o próprio áudio.