Arhitekti opozarjajo na kognitivni dolg pri razvoju z agenti

Uwe van Heesch, Olaf Zimmermann in Christian Kohls so 24. septembra 2026 na arXivu objavili rokopis poročila o fokusni skupini z 22 udeleženci iz industrije in akademskega okolja. V razpravi je prevladalo stališče, da morajo arhitekturne odločitve, odgovornost zanje in pravila za razvojne agente ostati v človeških rokah. Avtorji ob tem opozarjajo na kognitivni dolg: izgubo razumevanja sistema, ki lahko nastaja, ko ljudje predloge agentov sprejemajo brez poglobljenega premisleka.

Razprava je potekala julija 2026 na konferenci EuroPLoP v nemškem Irseeju. Eden od udeležencev je odgovornost v celotnem besedilu poročila povzel z besedami »It should never be ‘the AI did it’«. Gre za raziskovalni rokopis, sprejet po recenziji za konferenčni zbornik; ugotovitve izvirajo iz moderirane razprave, ne iz merjenja uspešnosti razvojnih ekip.

Arhitekturna odločitev potrebuje človeškega lastnika

Agent lahko pripravi možnosti, zbere podatke o obstoječem sistemu in izvede izbrano spremembo. Odločitev o mejah med komponentami, kakovostnih kompromisih in dolgoročni smeri sistema pa zahteva presojo človeka, ki pozna cilje organizacije. Tehnično izvedljiv predlog še ne odgovori na vprašanje, ali je sprememba primerna za sistem, ki ga bo ekipa pozneje vzdrževala.

Enako velja za pravila, po katerih agent dela. Omejitev dovoljenih odvisnosti ali izbira tehnološke osnove vpliva na prihodnje odločitve, zato mora biti jasno, kdo je pravilo določil in zakaj. Če agent sam preoblikuje omejitve, s katerimi bi morali presojati njegovo delo, se meja odgovornosti zabriše. Človeško lastništvo arhitekture zato zajema tudi pravico in dolžnost spreminjati ta pravila.

Odgovornost se ne konča s potrditvijo izdelane kode. Oseba, ki odobri pomembno spremembo, mora znati pojasniti njen namen, zavrnjene možnosti in pogoje, ob katerih bi odločitev znova odprla. Takšna razlaga je pomembna tudi za sodelavce, ki pri pogovoru z agentom niso sodelovali, vendar bodo živeli s posledicami odločitve.

Kako hitro sprejemanje predlogov ustvarja kognitivni dolg

Kognitivni dolg nastaja, ko spremembe sistema napredujejo hitreje od razumevanja ljudi, ki so zanj odgovorni. Predlog je lahko videti prepričljiv in ima navidez omejen vpliv, zato ga pregledovalec sprejme brez razumevanja njegove utemeljitve. Tudi kratek pregled lahko zadostuje za trenutno nalogo, ne da bi se razlog za odločitev ohranil v skupnem znanju ekipe.

Pogoste zahteve agenta po potrditvi prinašajo še drugo tveganje: odobravanje lahko postane rutinsko. Potrditev takrat omogoči nadaljevanje dela, ne pove pa več veliko o tem, ali je človek presodil posledice. Ob naslednji spremembi mora ekipa rekonstruirati, katere predpostavke še veljajo in zakaj je bila izbrana prav ta zasnova. Strošek se pokaže pozneje, ko je treba spremembo razložiti, popraviti ali razširiti.

Koristen znak izgubljenega razumevanja je, ali zna odločevalec brez ponovnega vprašanja agentu opisati namen spremembe in območje njenega vpliva. Če je utemeljitev dosegljiva samo v starem pogovoru, je lahko odločitev zapisana, vendar ni nujno postala skupno znanje. To je možen način presoje za ekipo, ne preizkus, ki bi ga fokusna skupina izvedla. Poročilo prav tako ne meri, kako hitro kognitivni dolg nastaja v posameznih organizacijah.

Pravila okoli agenta so del arhitekturnega dela

Izraz harness engineering označuje zasnovo okolja, ki agentu posreduje znanje o projektu, postavlja omejitve in preverja rezultat. Vključuje lahko organizacijske standarde, opise arhitekture, avtomatizirane preglede in človeško presojo. Okvir pravil in preverjanja je pomemben zato, ker usmerja prihodnje odločitve agenta, ne le posamezne izvedbe.

Dnevnik arhitekturnih odločitev lahko v takem okolju opravlja dvojno nalogo. Sodelavcem ohrani razlog za izbrano rešitev, agentu pa pri novi nalogi posreduje veljavne omejitve. Koristen zapis vsebuje odločitev, ključne alternative, predpostavke in odgovorno osebo. Samodejno ustvarjen povzetek je lahko izhodišče, vendar mora človek preveriti, ali res opisuje razlog, zaradi katerega je bila odločitev sprejeta.

Tudi kakovost pravil za agenta zahteva presojo. Uspeh pri eni nalogi še ne pokaže, ali so omejitve primerne za druge dele sistema ali ali so po spremembi arhitekture zastarale. Vzdrževanje tega okvira zato potrebuje določenega lastnika: sicer lahko pravila ostanejo skrita med nastavitvami orodja, čeprav vplivajo na zasnovo izdelane programske opreme.

Globino pregleda določata negotovost in cena spremembe

Predlogi agentov ne zahtevajo vsi enako podrobnega človeškega pregleda. Če je komponenta dobro omejena ter je mogoče njeno vedenje preveriti prek dogovorjenega vmesnika, ni vedno treba razumeti vsake notranje podrobnosti. Ko predlog posega v več delov sistema ali ga je težko razveljaviti, postanejo njegove predpostavke in posledice pomembnejše od hitrosti izvedbe.

Za presojo sta zato pomembni dve vprašanji: kako negotov je vpliv spremembe in koliko bi stal njen poznejši popravek. Če ekipa ne zna določiti območja vpliva, pojasniti predpostavk ali imenovati odgovornega arhitekta, ima razlog za poglobljen pregled ali zavrnitev predloga, dokler teh vprašanj ne razreši. To je uporabna izpeljava razprave, ne številčni prag, ki bi ga raziskovalci izračunali.

Posledica za razvojno ekipo se pokaže pri naslednji pomembni spremembi. Takrat ni dovolj, da agent zna obnoviti zgodovino svojih predlogov: človek mora še vedno razumeti, katera odločitev velja, zakaj velja in kdo jo lahko spremeni.

Preberite tudi: