Gemini o Claude: 1M tokens ay hindi sukatan ng tamang sagot

May 1M-token unified context window ang Gemini 4 Argon, at may 1M-token context window din ang kasalukuyang Claude models. Para sa annual reports, mas malakas na panimulang kandidato ang Claude kung kumpleto at tamang sagot ang uunahin; isama ang Gemini kung pangunahing alalahanin ang mga pahayag na walang batayan sa file. Walang sapat na batayan mula sa laki ng context window lamang upang pumili ng mas maaasahan para sa kontrata o research file.

Sa Financial Touchstone na gumamit ng annual reports at iisang paraan ng pagkuha ng sipi, nanguna ang Claude Opus 4.6 sa accuracy na 88.4%, samantalang ang Gemini 2.5 Pro ay may 76.6% accuracy at pinakamababang hallucination rate na 0.08% kapag ibinukod ang mga kasong bigo ang pagkuha ng kaugnay na sipi; kapag isinama ang mga kasong iyon, Kimi K2.6 ang may pinakamababang hallucination rate. Resulta ito ng mga partikular na bersyon at kundisyon ng pagsubok, kaya panimulang gabay ang mga marka sa pagpili, hindi pangako sa bawat bagong modelo o uri ng dokumento.

Kung kasya ang buong file, makukuha ba ang tamang sagot?

Ang context window ay hangganan ng impormasyong maaaring gamitin ng modelo sa isang pagbuo ng sagot. Mahalaga ito kapag mahaba ang ulat o maraming file ang kailangang isama, ngunit iba ang kapasidad sa kakayahang piliin at unawain ang tamang talata. Maaaring nasa loob ng limit ang buong annual report at mali pa rin ang taon, yunit o kumpanyang ikinakabit sa isang halaga.

Sa gabay ng Google sa long context, pinaghahatian ng input, pag-iisip ng modelo at output ang espasyo ng Gemini 4 Argon. Kailangan samakatuwid ng puwang para sa mga tagubilin at sagot, bukod sa mismong file. Binabanggit din ng gabay na maaaring mag-iba ang katumpakan kapag maraming magkakahiwalay na impormasyong hinahanap sa mahabang input.

Isipin ang tanong tungkol sa isang halagang nasa talahanayan ng annual report. Kailangan ng sagot ang halaga, header ng hanay, yunit, panahon at anumang footnote na naglilimita sa kahulugan nito. Kung isang bahagi lamang ng mga iyon ang nakuha o nabasa, maaaring kapani-paniwala ang numerong ibinigay ngunit mali ang interpretasyon. Iyan ang dahilan kung bakit kailangang hiwalay na tanungin kung kasya ang dokumento at kung sapat ang ebidensiyang ginamit sa sagot.

Bakit magkaiba ang pinapaboran ng accuracy at hallucination?

Sinusukat ng accuracy kung tama at kumpleto ang impormasyong ibinigay. Sinusukat naman ng hallucination rate ang bahagi ng mga pahayag na walang suporta sa dokumento. Maaaring maingat ang isang modelo sa pagdaragdag ng detalye ngunit may mahalagang item na nalaktawan; maaari ring mas kumpleto ang sagot ngunit may kasamang pahayag na hindi mapatunayan.

Sa gawaing pinansyal, magkaiba ang epekto ng dalawang pagkabigong ito. Ang nalaktawang footnote ay maaaring magbago ng saklaw ng isang sukatan kahit walang imbentong numero sa sagot. Sa kabilang banda, ang dagdag na paliwanag na hindi nakasaad sa ulat ay maaaring magmukhang matibay na dahilan para sa isang pasya. Kaya kailangang bilangin nang magkahiwalay ang kulang na impormasyon, maling pag-uugnay at pahayag na walang batayan.

May isa pang hangganan ang paghahambing: magkakaparehong nahanap na sipi ang ibinigay sa mga modelong sinubok, sa halip na ipabasa sa bawat isa ang buong ulat nang direkta. Nakatutulong ito sa paghahambing ng kanilang mga sagot kapag pareho ang konteksto, ngunit hindi nito pinatutunayan kung alin ang pinakamahusay sa direktang pagbasa ng napakahabang file. Kapag hindi nakuha ang kaugnay na talata o footnote, nagbabago ang kalidad ng ebidensiyang mapagbabatayan bago pa makabuo ng sagot ang modelo.

Alin ang uunahin sa bawat uri ng gawain?

Gamitin ang sumusunod bilang matriks ng panimulang pagpili, kasama ang kundisyong dapat mapatunayan bago umasa sa resulta. Para sa mga kontrata, mahahabang research file at tanong sa Filipino, mungkahi ang mga pagpili sa ibaba: ang nasukat na mga marka ay mula sa mga tanong sa annual reports na nasa English.

Pagkuha ng halaga at detalye mula sa annual report: Unahin ang Claude bilang kandidatong susubukin kung ang pinakamahalaga ay walang malaktawang hinihinging item. Tanggapin lamang ang halaga kapag tumutugma ang pahina, panahon, yunit at kahulugan ng sukatan; maaaring nasa ulat ang isang numero ngunit para sa ibang bahagi ng kumpanya.
Pagbubuod ng maraming dokumento: Walang malinaw na panalo mula sa markang nakabatay sa mga tanong sa isang annual report. Ihambing ang dalawang modelo sa parehong mga file at tingnan kung naihihiwalay nila ang pahayag ayon sa pinagmulan, kumpanya at panahon. Dapat ding makita kung magkaiba ang depinisyon ng sukatang mukhang pareho ang pangalan.
Pagsuri ng citation: Isama ang Gemini bilang kandidatong susubukin kung malaking panganib ang detalyeng walang suportang sipi. Buksan pa rin ang bawat tinukoy na bahagi: maaaring totoong nandoon ang sipi ngunit hindi nito sinusuportahan ang ipinahayag na konklusyon. Markahan din ang mga mahalagang detalyeng hindi isinama sa sagot.
Maselang financial review: Unahin ang kumpletong pagkuha ng ebidensiya, saka suriin ang bawat pahayag laban sa orihinal na ulat. Maaaring gamitin ang magkaibang lakas ng nasubok na Claude at Gemini bilang batayan sa pagbuo ng paghahambing, ngunit ang pinal na paghatol sa halaga, footnote at implikasyon ay dapat nakasalig sa mismong dokumento at sa taong mananagot sa pasya.

Mas tumitindi ang pangangailangang subukan ang pagbubuod nang hiwalay sa simpleng pagkuha ng detalye. Sa Fin-RATE na gumamit ng SEC filings, humina ang pagganap sa mga gawaing nangangailangan ng paghahambing ng kumpanya o pagsubaybay sa magkakaibang panahon kumpara sa pag-unawa sa isang bahagi ng dokumento. May mga pagkakamali roon sa pagtutugma ng entidad at panahon, kaya kailangang makita sa sariling pagsusuri kung napapanatili ng modelo ang pinagmulan ng bawat pahayag.

Workflow para patunayan ang sagot sa sariling mga file

Ang pinakamakabuluhang pagpili ay manggagaling sa parehong mga tanong at file na talagang gagamitin. Magsama ng tanong na may tuwirang halaga, tanong na nakadepende sa footnote, paghahambing ng magkakaibang panahon, at tanong na walang sagot sa ibinigay na file. Ibigay sa dalawang modelo ang parehong tagubilin at hingin ang pinagmulan ng bawat mahalagang pahayag.

Hilingin ang pangalan ng file, pahina o seksiyon, at maikling siping batayan ng bawat sagot. Ihiwalay ang direktang nakasaad sa file sa paliwanag o hinuha ng modelo upang hindi mapagkamalang ebidensiya ang mahusay na pagkakasulat.
Buksan ang orihinal na bahagi at tingnan ang header ng talahanayan, yunit, panahon, saklaw at footnote. Para sa kontrata, tiyaking ang sipi ay mula sa tamang bersyon at probisyon, at basahin ang mga depinisyong maaaring magbago ng kahulugan nito.
Kung maraming file ang kasangkot, itala muna ang ebidensiya para sa bawat isa bago tanggapin ang pinag-isang sagot. Suriin kung lumipat ang isang halaga, kondisyon o konklusyon sa maling kumpanya, taon o dokumento habang binubuo ang buod.
Ibilang nang hiwalay ang tamang sagot, nalaktawang item, maling citation at pahayag na walang suporta. Ang modelong mas angkop sa gawain ay ang nakapapasa sa pamantayang pinakamahalaga sa pasya, habang ang orihinal na file ang nananatiling batayan ng maselang legal o financial na pagrepaso.

Basahin din: