Filipino AI agent: 0.62 sa English, 0.51 kapag lokal ang buong gawain

Para suriin ang Filipino AI agent na gumagamit ng tools, patakbuhin ang magkakatugmang customer-service task sa English baseline at sa magkakaibang antas ng lokalisasyon. Markahan ang aktuwal na natapos na gawain, hindi lamang ang linaw ng sagot. Sa pag-aaral ng SEATauBench, 0.62 ang mean pass@1 sa English baseline at 0.51 sa ganap na nakalokalisang Filipino na kondisyon, na sinukat sa mga gawain sa retail, airline at telecom.

Ibig sabihin ng pass@1 dito ang karaniwang tagumpay sa isang pagtakbo ng task. Maaaring mahusay makipag-usap ang agent ngunit pumili ng maling tool, lumabag sa polisiya o hindi mabago ang tamang tala. Kailangan ng bawat test ng malinaw na inaasahang huling estado, kasama ang anumang pahintulot o kumpirmasyong kailangan bago kumilos.

Itakda ang gawain at ang pamantayan ng tagumpay

Pumili ng mga sitwasyong katulad ng tunay na trabaho ng support team: paghahanap ng order, pagpapalit ng item, pagbabago ng booking o pag-aayos ng serbisyo. Para sa bawat task, itala ang kahilingan ng customer, impormasyong maaari niyang ibigay, pinapayagang tool, kaugnay na tuntunin at inaasahang pagbabago sa record. Kung ang tamang pasya ay tumangging gumawa ng pagbabago, ilarawan din ang dapat manatiling estado ng record.

Gumawa ng English at Filipino na bersiyon ng iisang gawain. Panatilihin ang parehong order ID, pagpipilian, kondisyon ng polisiya at inaasahang resulta; ang wikang nakikita ng agent lamang ang babaguhin. Ipasuri ang salin sa taong bihasa sa Filipino at sa proseso ng negosyo. Ang malabong salin ng tuntunin sa presyo, pagiging karapat-dapat o deadline ay maaaring magbago ng tamang aksiyon at sumira sa paghahambing.

Ihanda rin ang pamantayan ng pagmamarka bago patakbuhin ang agent. Dapat matukoy mula sa tool calls at huling estado kung nakumpleto ang task, kahit magkaiba ang pagkakasulat ng huling mensahe. Itala ang bersiyon ng model, mga setting, tool implementation at test data upang maulit ang pagsubok sa kaparehong kondisyon. Kung babaguhin ang alinman sa mga ito, ituring ang susunod na resulta bilang bagong paghahambing.

Paghiwalayin ang usapan, tools at buong domain

May apat na pangunahing scenario sa repositoryo ng SEATauBench: English baseline, lokal na usapan, lokal na tool descriptions at ganap na lokal na domain. Magkahiwalay na run ang kondisyon ng usapan at kondisyon ng tools; hindi kailangang baguhin ang mga ito nang sabay upang makita kung saan unang lumilitaw ang hirap.

1. Sa English baseline, English ang usapan, tool schema, polisiya, task instruction at nakikitang database content. Ito ang panukat para sa mismong agent at hanay ng mga gawain.
2. Sa Filipino interaction, Filipino ang palitan ng customer at agent, habang English ang tools at domain content. Tingnan ang pag-unawa sa kahilingan, mga paglilinaw at tugon ng customer.
3. Sa Filipino tools, English ang usapan at domain content, ngunit Filipino ang paglalarawan ng mga function, parameter at pinapayagang value na nakikita ng agent. Tingnan kung tama ang napiling tool at mga argumentong ipinasa.
4. Sa buong Filipino domain, Filipino ang usapan, tool descriptions, polisiya, task instruction at nakikitang database content. Dito sinusukat ang agent sa kapaligirang umaasa sa lahat ng bahaging iyon upang matapos ang gawain.

Kapag bumaba ang resulta sa Filipino interaction, hindi agad masasabi na agent lamang ang sanhi: maaari ring nagbago ang asal ng simulated customer sa ibang wika. Kapag sa kondisyon ng tools lumitaw ang pagkakamali, suriin ang tool call at kahulugan ng parameter. Ang pagkakaiba ng mga kondisyon ay panimulang lokasyon ng problema; ang buong usapan at tala ng mga aksiyon ang magpapakita kung ano ang nangyari sa isang task.

Panatilihing magkatumbas ang aksiyon sa magkabilang wika

Sa halimbawa ng retail hat exchange sa pahina ng τ-bench, pareho ang layunin ng customer sa English at sa lokal na Thai na kapaligiran. Ilustrasyon iyon ng paraan ng paghahambing, hindi Filipino test case o resulta ng isang indibidwal na pagpapalit. Para sa sariling Filipino test, maaaring gumamit ng katumbas na sitwasyon: panatilihin ang parehong order, mapagpipiliang kulay at tuntunin sa presyo habang binabago ang wikang nakatalaga sa bawat kondisyon.

May pagkakaiba ang salitang ipinapakita sa agent at ang value na tinatanggap ng tool. Kung Filipino ang label ng isang opsiyon ngunit English ang canonical value sa likod ng function, kailangan ng tiyak na mapping bago isagawa ang tawag. Ibalik ang lokal na argument sa canonical value para sa execution at ihambing ang huling estado sa iisang pamantayan. Kung hindi, maaaring mabilang na kabiguan ang wastong pagpili dahil lamang hindi kinilala ng tool ang salin.

Itala sa bawat run ang mensahe ng customer, napiling function, mga argument at ibinalik na value, bahagi ng polisiyang ginamit, at huling estado ng record. Kung sa buong Filipino domain lamang pumalya ang task, hindi pa nito pinaghihiwalay ang epekto ng polisiya at database: sabay silang lokal sa kondisyong iyon. Magdagdag ng magkapares na diagnostic run na polisiya lamang ang Filipino sa una at nakikitang database values lamang ang Filipino sa ikalawa, habang pareho ang lahat ng ibang bahagi. Dagdag itong kontrol para sa sariling deployment test, hindi panibagong pangunahing scenario ng benchmark.

Sukatin nang hiwalay ang tagumpay at consistency

Patakbuhin ang bawat task nang tatlong ulit sa bawat kondisyon at itala ang tagumpay o kabiguan ng bawat run. Kalkulahin ang pass@1 mula sa karaniwang bahagdan ng matagumpay na pagtakbo. Kalkulahin nang hiwalay ang pass³: ang bahagdan ng mga task na nagtagumpay sa lahat ng tatlong ulit. Ang ρ³ ay pass³ na hinati sa pass@1 para makita ang consistency kaugnay ng mga task na nalulutas; ang mataas na consistency ay hindi sapat kung mababa ang kabuuang tagumpay.

Bago makita ang scores, magtakda ng magkahiwalay na pinakamababang pass@1 at pass³ para sa bawat uri ng trabaho. Mas mataas na katiyakan ang maaaring kailanganin sa pagbabagong may epekto sa booking o customer record kaysa sa simpleng pagkuha ng impormasyon. Iulat ang mga resulta ayon sa kondisyon at uri ng task upang hindi maitago ng kabuuang average ang paulit-ulit na kabiguan sa isang mahalagang proseso.

Batay sa tala ng mga pumalyang run, iugnay ang pag-aayos sa bahaging may problema: salin ng kahilingan, paglalarawan ng tool, tuntunin o database value. Pagkatapos baguhin iyon, patakbuhin muli ang parehong mga gawain at ihambing ang pass@1 at pass³ sa naunang resulta. Sa ganitong paraan, ang pasya tungkol sa paggamit ng agent ay nakabatay sa nakumpletong aksiyon sa Filipino at sa kakayahang maulit ito.

Basahin din:

• Posibleng EMB data breach: hindi pa kumpirmado kung tunay ang nakuhang records
• Hindi nabawasan ng AI ang trabaho—85% ang nagsabing may dumami pang gawain
• ChatGPT o Gemini sa Filipino: parehong mahusay, pero konteksto ang tunay na laban