LangSmith, Phoenix vagy Langfuse: nem ugyanazt méri mindhárom

LangChain vagy LangGraph alkalmazás adatkészletes regressziós teszteléséhez a LangSmith kézenfekvő jelölt. Ha az ágens eszközhívásainak részletes nyoma és a saját üzemeltetés fontosabb, a Phoenix kerülhet előre; ha az éles futásokból emberi címkézésen át CI-ellenőrzésig vezető munkafolyamat a cél, a Langfuse. Mindhárom kezel trace-eket és értékeléseket, ezért a különbség a vizsgált feladatban és a munkafolyamatban van, nem egy kizárólagos funkciólistában.

A választásnál külön kérdés, hogy egy módosítás rontotta-e a válaszminőséget, mi történt egy éles kérés során, és helyesen választott-e eszközt az ágens. Az elsőhöz ismételhető tesztesetek, a másodikhoz futási nyomok, a harmadikhoz az eszközhívásról szóló ellenőrzési szabály vagy emberi címke kell. A licencet és a költséget is ezekhez a feladatokhoz érdemes mérni: ugyanaz a felhasználói kérés több megfigyelt lépést és több értékelési pontszámot eredményezhet.

Válaszminőség, futási nyom és eszközhasználat

Az offline értékelés előre kiválasztott bemeneteken hasonlít össze promptokat, modelleket vagy alkalmazásváltozatokat. Regresszióról akkor lehet értelmesen beszélni, ha az összevetett futásokhoz azonos tesztesetek és előre meghatározott értékelési szabály tartozik. Egy végső válasz pontszáma azonban nem árulja el magától, hogy a hiba a dokumentumkeresésnél, egy eszközhívásnál vagy a válasz megfogalmazásánál keletkezett.

A trace a futás útját mutatja meg: a modellhívást, a visszakeresést és az eszköz használatát külön lépésként lehet vizsgálni. Ettől még egy rögzített eszközhívás nem válik helyessé vagy helytelenné minősített adattá. Ahhoz meg kell adni, melyik eszköz lett volna megfelelő, milyen argumentumokat várt a feladat, és miként kellett volna felhasználni az eredményt. A produkciós értékelés más helyzetben működik: a valódi felhasználói kérésekhez többnyire nincs előre megírt referenciaválasz, ezért a pontszámok értelmezéséhez különösen értékesek az ember által ellenőrzött példák.

LangSmith: adatkészletből regresszió, futásból hibakeresés

A LangSmith értékelési útmutatója külön kezeli az adatkészletes offline tesztet és az éles futások online értékelését. Az előbbiben alkalmazásváltozatok eredményei hasonlíthatók össze, az utóbbiban a produkciós kimenetek pontozhatók és a problémás esetek későbbi tesztadatokká alakíthatók. Szabályalapú, modellalapú és összesítő értékelők is használhatók, így a csapatnak nem kell minden kérdést egyetlen általános minőségi pontszámba sűrítenie.

LangChain vagy LangGraph mellett a LangSmith szoros keretrendszer-integrációja csökkentheti a nyomkövetés bevezetésének munkáját. A döntő próba mégis az, hogy a csapat saját hibás esetein mennyire könnyű az összehasonlított kísérlettől a problémás futás lépéseiig eljutni. A CI-ben futó ellenőrzéshez azt is a csapat határozza meg, mely tesztek eredménye és milyen küszöb mellett akadályozza meg a kiadást; a platform önmagában nem választ üzleti szempontból helyes határértéket.

Phoenix: az ágenslépések láthatósága saját környezetben

A Phoenix dokumentációja az OpenTelemetryre és az OpenInference jelöléseire épülő trace-ekben külön kezeli a modellhívást, a visszakeresést és az eszközhasználatot. Ugyanott a trace-ekből létrehozott adatkészletek, az azonos bemeneteken futtatott kísérletek, valamint a kóddal, modellel vagy emberrel adott értékelések is szerepelnek. A Phoenix tehát nem csupán futási napló: a részletes nyom és a megismételhető kísérlet közötti kapcsolat az erőssége.

Akkor érdemes előre venni, ha a csapat már OpenTelemetry-alapú megfigyelést használ, saját ellenőrzési szabályokat ír, vagy a telemetriát maga kívánja tárolni és kezelni. Egy rossz eszközargumentumot a trace megmutathat, de a helyesség megállapításához itt is értékelő vagy emberi címke kell. A CI-kapu külön feladat: a kísérlet eredményét a csapat kiadási folyamatához és annak elfogadási szabályához kell kötni. A Phoenix és az Arize felügyelt AX szolgáltatása üzemeltetési és elszámolási szempontból sem ugyanaz a választás.

Langfuse: éles esetből címkézett teszt

A Langfuse értékelési leírása olyan folyamatot mutat be, amelyben az éles trace pontszámot kap, érdekes esete adatkészletbe kerül, majd kézi vagy automatikus értékeléssel újrafuttatható. Emberi annotációs sorok és adatkészletes kísérletek is rendelkezésre állnak. A dokumentált GitHub Action egy pull requesthez kapcsolt kísérlet feladatát is megbuktathatja, ha a kísérleti kód a beállított küszöb megsértésekor hibát jelez.

Ez a kapcsolat akkor hasznos, ha a produkcióban észlelt problémát a következő változtatás tartós tesztesetévé akarják tenni. A kézi címke különösen ott számít, ahol a válasz elfogadhatósága nem dönthető el egyszerű formai szabállyal. A modellalapú pontozót ezekhez az emberi ítéletekhez lehet viszonyítani; ha más hibára érzékeny, a CI-ben kapott jó eredmény félrevezető lehet. A Langfuse az OpenTelemetryvel gyűjtött futásokat is fogadja, így a már meglévő instrumentálás külön vizsgálható az értékelési munkafolyamattól.

A licenc és a számla eltérő egységeket követ

A Pydantic platform-összevetése szerint a LangSmith kereskedelmi szolgáltatás, a Phoenix Elastic License 2.0 alatt érhető el, a Langfuse alapja pedig MIT-licencű. A licenckülönbség önálló üzemeltetésnél lényeges: a Phoenix saját környezetben futtatható, de a licence korlátozza, hogy harmadik félnek felügyelt szolgáltatásként kínálják. A LangSmith saját vagy hibrid telepítése vállalati konstrukcióhoz tartozik. A licencek feltételeit ezért a kívánt felhasználási móddal együtt kell összevetni.

A Langfuse saját telepítési feltételei szerint az alapfunkciók licencdíj nélkül üzemeltethetők, míg több vállalati jogosultsági és naplózási képesség külön csomag része. A díjmentes szoftverhez is kell tárhely, mentés, frissítés és üzemeltetési munka; ugyanez igaz a saját környezetben futó Phoenixre. Felhőben más egységeket kell becsülni: a LangSmithnál a felhasználói hely és a trace-ek kezelése, a Langfuse-nál a trace-ek, megfigyelések és pontszámok, a felügyelt Arize AX-nél a spanek és a tárolás számítanak. Egy soklépéses ágens és a gyakran futó automatikus értékelés ezért a szolgáltatások számláját eltérő módon növelheti.

Rövidlista a csapat tényleges feladatára

Ha a kiadás előtti összehasonlítás a fő feladat, mindhárom jelöltet ugyanazzal az adatkészlettel érdemes próbára tenni; LangChain vagy LangGraph használatakor a LangSmith indul előnyös helyzetből. Ha a legnehezebb kérdés az, melyik ágenslépés és eszközhívás vezetett a hibához, a Phoenix trace-ei és saját telepítése kapjanak elsőbbséget. Ha a visszatérő éles hibák emberi címkézése és CI-be emelése a központi folyamat, a Langfuse kerüljön a rövidlista elejére. Ezek szerkesztői választási szempontok, nem mért teljesítményrangsor.

A költségbecsléshez azonos várható forgalmat, átlagos lépésszámot, megőrzési igényt és értékelési gyakoriságot kell megadni; külön tétel lehet az értékelő modell használata is. Ha egy eszközhívást még a végrehajtása előtt jóvá kell hagyni vagy meg kell állítani, ahhoz az alkalmazás futási útjába épített ellenőrzés szükséges. Az utólag megőrzött trace és pontszám a már megtörtént futás megértését és a következő változat tesztelését szolgálja.