Greta vadovauja vidutinio dydžio logistikos įmonės operacijų skyriui. Kai praėjusį pavasarį jos komanda pradėjo naudotis dirbtinio intelekto (DI) asistentu, šis atrodė lyg naujas, niekada nepavargstantis kolega: rašydavo laiškų tiekėjams juodraščius, apibendrindavo susitikimų užrašus ir per kelias sekundes atsakydavo į klausimus apie sutartis.
Rudenį kažkas pasikeitė. Asistentas tebebuvo greitas ir mandagus, tačiau jo atsakymai tapo šiek tiek netikslūs. Jis nurodė pristatymo terminą iš senos sutarties. Supainiojo du panašiai pavadintus tiekėjus. O kartą, paklaustas paprasto dalyko apie kliento mokėjimo sąlygas, atsakė negalintis rasti informacijos, nors Greta su juo tai buvo aptarusi net du kartus.
Niekas nesugedo. Asistentas tiesiog paskendo informaciniame triukšme.
Kas yra informacinis triukšmas
Kasdieniame gyvenime triukšmas – tai viskas, kas blaško dėmesį nuo tikrai reikalingos informacijos: šimtas neperskaitytų laiškų, tarp kurių pasislėpęs vienas svarbus susirašinėjimas, ar susitikimo užrašai, kuriuose esminis sprendimas yra paskendęs tarp pašalinių kalbų ir darbotvarkės punktų.
DI triukšmas būna trejopas. Pirma, nesusijusi informacija – tekstas, neturintis nieko bendra su klausimu. Antra, pasenusi informacija – faktai, kurie kadaise buvo teisingi, bet dabar nebegalioja ar yra netikslūs. Ir trečia, pavojingiausia, – panaši informacija: ji primena teisingą atsakymą, bet juo nėra, pavyzdžiui, kito tiekėjo sutartis ar pernykštis kainoraštis.
Gretos asistentą kamavo visos trys informacinio triukšmo rūšys.
Kodėl triukšmas klaidina DI
Gali atrodyti, kad daugiau informacijos DI visada tik padeda. Šiuolaikiniai modeliai vienu metu gali perskaityti kelių knygų apimties tekstą, tad kodėl nepateikus jiems visko?
Todėl, kad, kaip rodo tyrimai, su didele informacijos apimtimi jie susidoroja ne taip gerai, kaip norėtųsi. Viename tyrime buvo išbandyta 18 pirmaujančių modelių ir nustatyta, kad ilgėjant pateikiamam tekstui DI modelių darbo kokybė gerokai prastėja, nors paprastai manoma, kad modeliai visą kontekstą apdoroja vienodai gerai. Tyrėjai šį reiškinį vadina konteksto irimu - modelio tikslumo bei logikos supratimo prastėjimu. Šis reiškinys neprasideda staiga - kokybė prastėja palaipsniui, kontekstui pildantis, ir gerokai anksčiau, nei riba pasiekiama.
Panaši informacija padėtį dar pablogina. Tame pačiame tyrime net vienas panašus, bet klaidingas fragmentas reikšmingai pablogino rezultatus. Ir tai ne naujiena. Dar 2023 m. tyrėjai į paprastus matematikos uždavinius įterpė kelis nesusijusius sakinius ir nustatė, kad dėl jų modelių rezultatai smarkiai suprastėjo.
Tai paaiškino, kodėl Gretos asistentas supainiojo tiekėjus. Dvi panašiai pavadintos ir panašiai suformuluotos sutartys – būtent toks informacinis triukšmas ir suklaidina modelį.
Kaip triukšmas kenkia DI atminčiai
Kita bėda - atmintis. Gretos asistentas neprisiminė pokalbių taip, kaip žmonės. Kaip ir dauguma DI atminties sistemų, jis išsaugodavo ankstesnius pokalbius, o gavęs naują klausimą ieškodavo juose tinkamiausių fragmentų ir pateikdavo juos modeliui. Modelis mato tik tai, ką randa paieška.
Pirmosiomis savaitėmis Gretos istorija buvo nedidelė, ir beveik viskas, kas svarbu, pasiekdavo modelį. Po pusmečio konkrečiam klausimui reikšmingi faktai sudarė tik mažą sukauptos informacijos dalį. Visa kita – kiti jos pačios pokalbiai: tie patys tiekėjai, tos pačios temos, panašūs žodžiai.
DI atminties sistemų bandymai rodo, kaip tai svarbu. Kai 90 proc. žmogaus istorijos su klausimu nesusiję, geriausios sistemos vis tiek teisingai atsako į daugiau nei 95 proc. klausimų, o kitų tikslumas nukrenta žemiau 70 proc. Sistemos, kurios tiesiog peržiūri naujausius pokalbius, teisingai atsako tik maždaug į pusę. Dažniausiai suklystama ne todėl, kad modelis klaidingai perskaito informaciją, o todėl, kad reikiamas fragmentas jo tiesiog nepasiekia. Lengviausiai prarandami tik kartą paminėti faktai. Be to, daugelis sistemų senąją ir naująją fakto versiją saugo greta ir palieka modeliui spėlioti, kuri iš jų galioja. Taip Greta ir gavo pasenusį terminą.
Ką Greta pakeitė
Kai Greta suprato, kur slypi problema, sprendimai pasirodė stebėtinai paprasti.
Ji suskirstė darbą į atskirus projektus – po vieną kiekvienai klientų grupei, – kad nesusiję pokalbiai nebekonkuruotų tarpusavyje. Svarbius faktus ji ėmė sakyti aiškiai, ne prabėgomis, o apie kiekvieną pasikeitimą pranešdavo tiesiai: „Naujos mokėjimo sąlygos nuo spalio pakeičia senąsias.“ Peržiūrėjo, ką asistentas buvo išsaugojęs, ir ištrynė pasenusius įrašus. Tai, kas itin svarbu, pavyzdžiui, sutarčių skaičius, įklijuodavo tiesiai į pokalbį iš pirminio dokumento, užuot pasikliovusi atmintimi.
Pokyčių ėmėsi ir įmonės IT komanda. Ji sukonfigūravo asistentą taip, kad šis ieškotų ir pagal tikslius žodžius, ir pagal prasmę, rezultatus rikiuotų pagal aktualumą, o ne pagal naujumą, ir modeliui rodytų kiekvieno išsaugoto fakto datą.
Po kelių savaičių asistento atsakymai vėl tapo tikslūs.
Svarbiau tiksli informacija nei kiekis
Gretos istorija primena paprastą tiesą, kurią lengva pamiršti vis didėjančių DI modelių laikais: daugiau informacijos dar nereiškia, kad DI taps protingesnis. Svarbu, kiek to, ką jis mato, yra svarbu ateityje, o kiek – triukšmas.
Geriausias DI darbas, kaip ir geriausias žmogaus darbas, priklauso ne nuo to, ar žinai viską, o nuo to, ar tą akimirką, kai prireikia, turi po ranka tinkamą informaciją.