LangChain или LlamaIndex: бржи agent губи на прецизности претраге

За RAG систем коме је најважније да пронађе прави одломак, објављено мерење даје предност LlamaIndex конфигурацији; за вишекорачни агентски ток бржа је испитана LangChain конфигурација. У мерењу Locionic-а на 10.000 страница техничке документације у бази Qdrant и 500 упита, LlamaIndex v0.11 има NDCG@10 од 0,892 према 0,824 за LangChain v0.3 и MRR од 0,865 према 0,791; вишекорачни агентски ток траје 1.850 према 1.240 милисекунди, а једноставан упит 340 према 315 милисекунди. Бројеви описују тестиране конфигурације, а не непроменљиву брзину или прецизност библиотека.

За развојни тим је пресудно где систем губи квалитет и где корисник чека. Код претраге докумената погрешан или ниско рангиран одломак може да поквари одговор пре него што га модел састави. Код агента који бира алате, претражује и одлучује о наредном кораку, време целог поступка може да постане важније од мале разлике у трајању једне претраге. Бржи агентски ток у овом поређењу истовремено има слабији резултат рангирања; мерење само по себи не доказује да је брзина узрок тог губитка.

Где почиње рад са документима, а где управљање агентом

LlamaIndex поставља документ, његове делове, индекс и претраживач у средиште RAG поступка. Документација LlamaIndex Framework-а описује пут од учитавања података и индексирања до одговора, као и могућност да агент користи индекс као алат. То одговара систему у коме је најтежи посао припрема корпуса и проналажење релевантног контекста. Агенти и токови са гранањем такође су део оквира, па нагласак на претрази не значи да се рад завршава једноставним питањем над документима.

LangChain полази од компоненти које се могу повезати у шири поступак, укључујући семантичку претрагу и RAG агента. Упутства за LangChain и LangGraph нуде готов почетак за RAG агента и посебан пут за прилагођени ток са прецизнијом контролом корака. Та контрола постаје значајна када систем после претраге треба да изабере други алат, искористи његов резултат или промени путању. Програмер тада не подешава само претраживач већ и редослед одлука које воде до одговора.

Архитектонска разлика помаже при избору полазне тачке, али не предвиђа сама по себи исход теста. Оба оквира могу да учествују у претрази докумената и агентском раду. Ако се промени начин дељења текста, модел за претварање одломака у векторе или накнадно рангирање, мења се и оно што претраживач даје агенту. Назив оквира зато не може да замени опис стварног цевовода.

Зашто рангирање и кашњење дају различите одговоре

NDCG@10 вреднује распоред релевантних резултата при врху листе, док MRR прати положај првог релевантног резултата. Виши резултат на обе мере у објављеном поређењу говори у прилог испитаној LlamaIndex конфигурацији када је циљ да користан одломак стигне до модела рано. То је посебно битно ако одговор зависи од одређеног дела обимне техничке документације: модел може да састави уверљив текст и када му претрага није доставила потребан доказ.

Кашњење мери друго својство. Блага предност LangChain конфигурације код једноставног упита постаје израженија у испитаном вишекорачном агентском току. Време таквог тока обухвата више од дохвата докумената: избор алата, позиве и кораке који следе после њих. Из тог резултата се не може закључити да је сваки LangChain претраживач бржи од сваког LlamaIndex претраживача, нити да ће агент са другачијим алатима задржати исту предност.

Прецизност претраге и брзина агента зато не чине једну лествицу на којој је један оквир увек испред другог. Ако систем даје кратак одговор на основу пронађених докумената, погрешан контекст је непосредан проблем. Ако захтев покреће низ одлука и спољних позива, укупно чекање може да ограничи употребљивост и када је претрага добра. Мерило треба везати за део посла који кориснику доноси вредност.

Шта се може пренети са објављеног теста

Заједнички корпус, векторска база и скуп упита чине поређење кориснијим од две одвојене демонстрације. Ипак, уз објављене резултате нису доступни сами упити и ознаке релевантности потребни да независан тим понови оцене рангирања. Нису довољно описани ни сви услови извршавања да би измерено кашњење било поуздана процена за другу примену. Резултат зато служи као разлог да се обе конфигурације озбиљно размотре, а не као обећање истих вредности на другом корпусу.

Оцена претраге тражи питања и унапред одређене одломке који на њих одговарају. Упутство за вредновање претраге повезује упит са очекиваним документима и показује како се за претраживач рачуна MRR. У поређењу оквира важно је задржати исти корпус и исти начин означавања релевантности. Ако се истовремено промене величина одломака, модел за уграђивање текста и претраживач, добијена разлика припада читавој конфигурацији; не може се приписати само једној библиотеци.

И граница мерења кашњења мора да одговара питању које тим решава. Време потребно да претрага врати одломке, време до почетка приказивања одговора и време до завршетка свих агентских корака различите су величине. За поступак са условним гранањем нарочито је важно знати колико трају захтеви који активирају додатни алат. Једна просечна вредност може да сакрије управо те споре путање, мада оне одређују искуство корисника који на одговор чека.

Избор према радном оптерећењу

• Претрага је главни производ. LlamaIndex је природан први кандидат када тим највише ради на учитавању докумената, структури индекса и рангирању одломака. Објављена предност у мерама претраге даје разлог да се та конфигурација испроба на питањима која су важна за сопствени корпус. Ако је тачан одломак предуслов доброг одговора, бржи агент не надокнађује лош избор контекста.
• Захтев је једноставан, а одзив строг. Предност у трајању једноставног упита у објављеном тесту мања је од разлике у вишекорачном току. Зато је за овакву примену разумније упоредити време целог одговора и квалитет дохваћених одломака под истим условима него пренети агентски резултат на једноставну претрагу. Одлука зависи од тога колико кашњења производ може да прихвати и шта губи када је први резултат погрешан.
• Агент користи више алата и мења путању. LangChain са LangGraph-ом одговара захтеву за јасном контролом корака, а испитана конфигурација има краће трајање сложеног тока. То је снажан аргумент када корисник чека завршетак целог задатка. Квалитет претраге унутар тог тока остаје засебно питање: брже извршавање не исправља одломак који није пронађен.
• И претрага и ток су критични. LlamaIndex индекс може да се употреби као алат у току којим управља LangGraph. То је оправдана архитектонска опција када су обе границе строге, али спајање оквира доноси и додатну везу између компоненти. Њен квалитет се оцењује на пронађеним одломцима, а кашњење на завршеном корисничком захтеву.

Најкориснија одлука није избор једног општег победника, већ избор дела система који носи највећи ризик: погрешно рангиран документ или предуго извршавање агентског задатка. Објављено поређење раздваја та два исхода, док архитектура оквира показује где тим добија непосреднију контролу над оним који му је важнији.

Прочитајте и:

• PostgreSQL или MySQL: бржи benchmark не доноси одлуку без истог нивоа изолације
• Figma или Canva: бржи маркетинг губи кад почне предаја дизајна програмерима
• Microsoft Loop или Notion: интеграција губи када затреба права база