Langfuse ou Phoenix: memória e custo do self-hosting

Para uma equipe que vai hospedar sua própria plataforma de observabilidade de IA, Phoenix foi a opção mais leve no teste de self-hosting da AcruxCore: consumiu 0,47 GiB de memória em repouso, ante 2,60 GiB do Langfuse antes do primeiro trace. A AcruxCore também oferece uma ferramenta dessa categoria, e o resultado corresponde às composições testadas, não a qualquer instalação possível. A unidade publicada é GiB, binária, distinta de GB decimal.

Se poucos serviços em operação e menor consumo inicial são prioridades, Phoenix leva vantagem nessa configuração. Langfuse tende a atender melhor a equipe que prefere um fluxo integrado de prompts, traces, experimentos e avaliações e pode manter uma pilha maior. Os dois cobrem essas funções; a diferença decisiva está em como são organizadas e no trabalho necessário para hospedá-las.

Memória e disco nas composições testadas

O ensaio executou cada pilha isoladamente na mesma máquina Linux, com imagens fixadas em versões publicadas. Depois de cinco minutos sem carga, a memória ociosa foi calculada pela mediana de leituras do Docker; em seguida, cada produto recebeu mil traces idênticos por OTLP. Cada trace representava uma execução de agente com spans para a execução, uma chamada ao modelo e uma ferramenta. Todos chegaram aos respectivos bancos de dados.

A composição Phoenix reunia aplicação e PostgreSQL em dois contêineres persistentes; sua memória passou de 0,47 GiB em repouso para 0,51 GiB após a carga. A do Langfuse mantinha seis contêineres e marcou 2,60 GiB e 2,64 GiB nas duas execuções em repouso; após os traces, as leituras foram de 2,52 GiB e 2,79 GiB. Phoenix também admite uma instalação com SQLite em um único contêiner, mas ela não foi medida nesse ensaio. O contraste de memória, portanto, envolve Phoenix com PostgreSQL e a composição Docker Compose do Langfuse.

As imagens descompactadas somavam 2,0 GB para Phoenix e 5,5 GB para Langfuse, com camadas compartilhadas contadas separadamente nessa soma. Já o espaço registrado após iniciar as pilhas era de 133 MiB e 118 MiB, respectivamente. Os mil traces ocuparam 4,9 MiB nas tabelas e índices do Phoenix e 1,1 MiB nos do Langfuse; o crescimento total de disco foi maior porque incluiu atividade dos bancos e outros arquivos. Tamanho das imagens, espaço inicial e dados gravados respondem a perguntas diferentes sobre capacidade.

O que muda no tracing e na operação

O comparativo da Arize apresenta ambos com tracing, datasets, experimentos e self-hosting, mas descreve arquiteturas distintas: Phoenix usa convenções OpenTelemetry e OpenInference, enquanto Langfuse recebe telemetria OTLP e a mapeia para seu modelo de traces e observações. Uma aplicação já instrumentada com OpenTelemetry pode enviar dados aos dois, embora a forma de consultar atributos e organizar avaliações mereça atenção na escolha do destino.

No Langfuse, ClickHouse armazena dados analíticos; PostgreSQL mantém estado transacional, Redis ou Valkey atende filas e cache, e o armazenamento de objetos recebe eventos e arquivos maiores. Isso distribui responsabilidades entre serviços que precisam de configuração, atualização e cópia de segurança. Phoenix pode começar com SQLite e um contêiner, enquanto a configuração com PostgreSQL usada no teste acrescenta um banco separado. A contagem de contêineres descreve aquela implantação, não um limite fixo do produto.

Há uma consequência para o custo: memória em repouso é consumida antes de haver tráfego, mas não informa sozinha capacidade de ingestão, latência de consultas ou despesa sob retenção prolongada. A arquitetura com ClickHouse pode ser relevante para análises sobre grande volume de traces; os números desse ensaio curto não quantificam essa vantagem. Para equipes com infraestrutura pequena, o consumo inicial e a quantidade de serviços já entram na decisão mesmo antes de estimar crescimento.

Avaliações: código, interface e escopo

Na documentação de avaliações do Phoenix, avaliadores determinísticos e juízes baseados em LLM podem ser executados sobre traces de produção, resultados de experimentos ou datasets. Os SDKs Python e TypeScript dão controle sobre critérios, modelos julgadores e execução. A interface também permite configurar avaliadores ligados a datasets para pontuar resultados de experimentos; Phoenix não obriga a escrever toda avaliação no código.

Langfuse reúne pontuações enviadas pela aplicação, avaliadores em código, juízes por LLM, revisão humana e experimentos com datasets no mesmo fluxo em que a equipe examina traces. Para quem alterna entre depuração e comparação de versões, essa integração reduz a necessidade de juntar resultados de sistemas separados. Phoenix favorece uma composição mais controlada pela equipe, inclusive quando critérios e fontes de dados já fazem parte de uma rotina de engenharia.

O escopo da avaliação importa tanto quanto o mecanismo. Em um agente com várias etapas, pontuar apenas a resposta final pode deixar de fora a escolha de ferramentas ou a trajetória percorrida; em outro caso, a resposta pode ser exatamente a unidade que interessa. Os dois produtos oferecem meios de trabalhar com traces e experimentos, mas a decisão depende de onde a equipe quer executar a lógica e de qual parte da execução precisa receber uma pontuação.

Prompts, licença e limites entre produtos

Na descrição do Langfuse, versões de prompts podem ser vinculadas a traces e relacionadas a custo, latência e pontuações; a página apresenta tracing, gestão de prompts, experimentos e avaliações no produto sob licença MIT disponível para self-hosting. Ela também reserva módulos de governança, como logs de auditoria e controles de acesso por projeto, para a licença Enterprise na instalação própria. Assim, ter o fluxo básico no produto hospedado pela equipe não equivale a receber todos os controles corporativos sem licença adicional.

Phoenix também oferece gestão de prompts, datasets e experimentos. Na comparação funcional, interessa saber se a versão do prompt usada por uma execução fica ligada ao trace e ao resultado da avaliação de modo útil para investigar uma mudança. Essa relação vale mais para a rotina de engenharia do que marcar simplesmente a presença de “gestão de prompts” em uma lista de recursos.

O texto da licença do Phoenix permite uso, cópia e modificação sob a Elastic License 2.0, mas restringe oferecer o software a terceiros como serviço hospedado ou gerenciado que dê acesso substancial às suas funções. Trata-se de uma condição diferente da licença MIT do Langfuse e relevante para quem pretende incorporar a plataforma a um serviço oferecido a clientes. Phoenix e Arize AX também são produtos distintos: condições comerciais ou recursos da plataforma gerenciada AX não devem ser atribuídos automaticamente à instalação própria do Phoenix.

Qual escolha faz sentido para a equipe

Phoenix é a escolha mais coerente quando o limite imediato é a infraestrutura disponível e a equipe quer controlar a execução dos avaliadores. No teste com PostgreSQL, ele manteve menos serviços e menor memória ociosa, sem abrir mão de tracing, prompts e experimentos. Seu regime de licença exige atenção se a intenção for disponibilizar suas funções como serviço a terceiros.

Langfuse favorece quem prefere manter prompts versionados, traces, pontuações e experimentos em um fluxo integrado e aceita operar ClickHouse, PostgreSQL, cache e armazenamento de objetos. Para essa equipe, a memória inicial maior é uma despesa concreta da composição medida, enquanto a integração pode reduzir trabalho na análise diária. A comparação útil termina na capacidade de sustentar a pilha e no formato das avaliações que a aplicação realmente precisa.