Langfuse или LangSmith: самостоятелният хостинг решава преди цената

Ако trace данните трябва да останат в инфраструктурата на екипа, Langfuse е по-достъпният за самостоятелно внедряване вариант: основните му функции са с MIT лиценз. LangSmith също предлага самостоятелно внедряване, но условията на плана Enterprise го поставят при индивидуално договаряне. Затова изискването къде да се съхраняват следите може да реши избора, преди облачните цени изобщо да станат съпоставими.

Когато управлявана услуга е приемлива, изборът е по-отворен. LangSmith има особено естествено място в приложения с LangChain и LangGraph, докато Langfuse е удобен за екип, който иска слоят за наблюдение да остава отделен от рамката за агенти. И двата продукта приемат OpenTelemetry данни и поддържат оценки. Реалната разлика в сметката зависи от дълбочината на изпълненията, броя хора с достъп и срока за съхранение, а не само от броя заявки към модела.

Контролът върху данните има и оперативна цена

При самостоятелен Langfuse екипът определя средата за съхранение и правилата за достъп до trace данните. Безплатният лиценз за основните функции обаче не плаща инфраструктурата. Бази данни, архивиране, обновявания, наблюдение на самата услуга и време на инженерите остават в бюджета на организацията. При натоварена производствена система тези разходи трябва да се сравняват с облачния абонамент, а не да се приемат за нула.

Самостоятелният LangSmith изисква Enterprise договор, така че публичната цена на Plus не описва този вариант. Офертата трябва да уточни кой управлява инфраструктурата, къде се пазят следите, как се правят резервни копия и какъв е срокът за съхранение. Има значение и кои допълнителни услуги ще използва екипът: разполагането на агенти и специализираните оценители могат да добавят отделно потребление. Ако изискването е за собствена среда, сравнението между двата стандартни облачни плана би отговорило на друг въпрос.

OpenTelemetry пренася следите, но не и целия процес

OpenTelemetry дава общ път за изпращане на данни към двете платформи. При смяна на приемника могат да се променят крайната точка, удостоверяването и настройките на експортера, без непременно да се пренаписва инструментариумът на приложението. Това е полезно за екип с няколко рамки или езика: начинът, по който приложението описва изпълнението, може да се запази, докато системата за съхранение се сменя.

Общият транспорт не прави продуктите взаимозаменяеми. Йерархията на вложените стъпки, идентификаторите на потребител и сесия, метаданните за модела и оценките трябва да се проверят след приемането на следата. Наборите от тестови задачи, версиите на промптите, правилата за оценяване и правата на различните роли също имат собствен живот извън потока от следи. Успешно получен trace запис не означава, че историята на оценките е пренесена.

Практичният контролен случай е едно и също изпълнение да се изпрати паралелно към двете системи. Тогава могат да се сравнят броят вложени стъпки, връзката между родителския запис и оценката, скриването на чувствителни полета и времето до появата на записа. Това е проверка на конкретната конфигурация, а не обещание, че всяка интеграция ще изисква еднакво малко работа.

Готовите оценки не решават статистическия въпрос

LangSmith предлага развит процес за оценки върху производствени изпълнения. В сравнението на LangChain компанията посочва над 30 готови шаблона за оценители, както и правила за автоматизация и известяване. Тези функции могат да намалят работата по насочване на проблемни изпълнения към преглед. Броят шаблони сам по себе си обаче не показва дали те измерват грешките, които са важни за конкретното приложение.

Langfuse също поддържа набори от задачи, експерименти, оценки и човешка обратна връзка. При агент, който търси документ, извиква инструмент и накрая съставя отговор, оценката само на крайния текст може да пропусне неправилна междинна стъпка. Екипът трябва да определи кои действия се оценяват, кой поддържа оценителя и как производствена грешка се превръща в повторяем тест. Това са разходи за работа, дори когато платформата включва готов интерфейс.

Разликата между две средни оценки изисква отделна статистическа преценка. Анализът на LatentEval отбелязва, че документацията на разгледаните платформи не описва автоматично изчисляване на доверителен интервал за дял на успешните задачи или сдвоен тест за разликата между експерименти. Когато две версии се изпитват върху едни и същи задачи, резултатите трябва да се пазят по двойки. При двоичен резултат подходящ пример е тестът на Макнемар; само по-висока средна стойност не доказва устойчиво подобрение.

Защо броят заявки не дава готова цена

Цените на Langfuse Cloud включват безплатен Hobby план с 50 000 единици месечно, Core за 29 долара и Pro за 199 долара месечно; платените планове включват 100 000 единици, след които се прилагат обемни стъпки. Единиците са сборът от trace записи, вложени наблюдения и оценки. Затова изпълнение с много стъпки тежи повече в тази тарифа от кратко изпълнение, дори и двете да са по една потребителска заявка.

LangSmith Plus има фиксирана цена на място и включен обем базови trace записи за организацията. След него потреблението се таксува допълнително, а по-дългото съхранение и отделни услуги могат да променят сумата. Сравнението изисква еднакво описание на натоварването: колко изпълнения има, колко стъпки и оценки съдържа всяко, колко души ще работят в платформата и колко дълго следите трябва да бъдат достъпни.

Три сметки с еднакъв модел на изпълнение

Следващите натоварвания са условни месечни сценарии, а не клиентски фактури. Във всеки trace запис има посочения брой вложени наблюдения и една оценка. Сметките използват публичните облачни планове без отстъпки и данъци. Разходите за заявки към LLM, собствена инфраструктура и платени допълнителни услуги са извън тях.

• Малък екип: един човек изпраща 5000 trace записа с по три наблюдения и една оценка. За Langfuse това са 5000 × (1 + 3 + 1) = 25 000 единици, тоест в рамките на Hobby и без платформен абонамент. При LangSmith Developer същите 5000 базови trace записа се побират във включения обем за един човек. Фиксираната част е нула и в двата случая, но срокът за достъп до историята остава отделно условие за избор.
• Растящ екип: петима души изпращат 100 000 trace записа с по четири наблюдения и една оценка. Langfuse отчита 100 000 × (1 + 4 + 1) = 600 000 единици. При Core включените 100 000 единици оставят 500 000 за таксуване по първата обемна стъпка: 29 + 5 × 8 = 69 долара месечно. При LangSmith Plus местата са 5 × 39 = 195 долара, а 90 000 базови trace записа над включения обем добавят такса според потреблението. Следователно 195 долара е началната, не крайната сума.
• Голям екип: 20 души изпращат един милион trace записа с по десет наблюдения и една оценка. Това са 12 милиона единици за Langfuse. Ако е нужен Pro за по-дълъг достъп до историята, сметката по публикуваните обемни стъпки е 199 + 72 + 630 + 130 = 1031 долара месечно. При LangSmith Plus фиксираната част е 20 × 39 = 780 долара; 990 000 базови trace записа са над включения обем и увеличават фактурата. Дялът на следите с удължено съхранение също трябва да се добави, преди сумите да се сравнят.

Трите сценария показват различни двигатели на разхода. Повече вложени стъпки увеличават броя единици при Langfuse; повече хора с достъп увеличават фиксираната част при LangSmith. Задържането може да наложи по-висок план или допълнително таксуване. За самостоятелно внедряване към която и да е оферта се прибавя отделна оценка на инфраструктурата и поддръжката.

Какво трябва да оцелее при миграция

1. Опишете представителен набор от изпълнения: trace записи, вложени наблюдения, оценки, потребители и необходим срок за съхранение. Този набор служи и за проверка на функционалността, и за сравнима ценова сметка.
2. Изпратете пробата чрез OpenTelemetry към новия приемник. Проверете удостоверяването, йерархията на стъпките, идентификаторите, метаданните и скриването на чувствителни данни.
3. Пренесете отделно тестовите набори, версиите на промптите и оценителите. Съпоставете резултатите върху едни и същи задачи, за да не прекъснете историята на качеството.
4. Поддържайте двата потока паралелно за ограничен период и сравнете получените записи, липсващите полета, времето до видимост и разхода според действителната дълбочина на изпълненията.

Прочетете също:

• QR кодът крие адреса — проверете домейна преди плащане