Tikriausiai jau esate naudojęsi vienu iš jų: „ChatGPT", „Claude", „Gemini" – tai didieji kalbos modeliai, per itin trumpą laiką iš mažai žinomų mokslinių projektų tapę kasdieniais įrankiais. Didieji kalbos modeliai yra generatyvinio DI forma, pagrįsta giluminiu mokymusi ir specialiai pritaikyta žmogaus kalbai. Bet kaip jie veikia?
DKM nesupranta – jie prognozuoja
Svarbiausia, ką reikia žinoti apie didžiuosius kalbos modelius – jie „nemąsto", jie prognozuoja. Remiantis viskuo, kas buvo pasakyta pokalbio metu, didieji kalbos modeliai apskaičiuoja, kuris žodis (o tiksliau, kuris žetonas) labiausiai tikėtinas toliau.
Žetonas yra pagrindinis didžiųjų kalbos modelių darbo vienetas. Tai nebūtinai atskiras žodis – tai gali būti ir žodžio dalis ar skyrybos ženklas. Sakinys „man patinka kava" gali būti vertinamas kaip trys žetonai. Sudėtingesnis techninis terminas gali būti padalytas į keturis ar penkis.
Tai skamba taip paprastai, kad kyla nuostaba, kaip šie modeliai pateikia sudėtingai skambančią informaciją. Tačiau kai sistema yra mokoma šimtais milijardų žmonių tekstų (knygomis, straipsniais, kodu, pokalbiais) ir optimizuojama kuo tiksliau prognozuoti kitą žetoną, modelis išvysto išsamią vidinę kalbos veikimo, idėjų sąsajų ir žmonių komunikacijos sistemą.
Kodėl konteksto langas yra svarbus
Kiekvienas didysis kalbos modelis turi konteksto langą – didžiausią informacijos kiekį, kurį jis gali „turėti omenyje" vienu metu, matuojamą žetonais. Galvokite apie tai kaip apie darbinę atmintį. Viskas, kas patenka į konteksto langą, yra prieinama modeliui generuojant atsakymą. Viskas, kas lieka už jo ribų – neįtraukiama.
Tai turi praktinių pasekmių. Labai ilgas dokumentas, viršijantis konteksto lango dydį, negali būti apdorotas vienu kartu. Pakankamai ilgas pokalbis galiausiai „išstums" ankstesnius pranešimus už lango ribų, ir modelis juos praktiškai „užmirš". Konteksto lango dydis yra vienas iš praktiškai reikšmingiausių skirtumų tarp modelių.
Kodėl DKM haliucinuoja
Haliucinacija – dažnai minimas didžiųjų kalbos modelių apribojimas. Žmonės apibūdina tai kaip modelio „išsigalvojimą" ar „melavimą". Tačiau paaiškinimas yra kiek paprastesnis.
Modelis visada daro tą patį: prognozuoja labiausiai tikėtiną kitą žetoną. Kai jis neturi patikimos informacijos, nes to nebuvo mokymo duomenyse arba klausimas yra dviprasmiškas, jis nesustoja ir nesako „nežinau". Jis toliau prognozuoja, generuodamas tekstą, kuris skamba įtikinamai, bet gali būti faktiškai neteisingas.
Tai struktūrinė šių modelių veikimo savybė, o ne klaida, kurią galima paprasčiausiai ištaisyti. Dėl to didžiųjų kalbos modelių išvesties patikrinimas yra svarbus, ypač kai kalbama apie faktinius duomenis.
Ką daro derinimas
Bendraisiais tekstiniais duomenimis apmokytas bazinis didysis kalbos modelis yra pajėgus, bet nespecializuotas. Derinimas – tai procesas, kai bazinis modelis papildomai mokomas konkretesniu duomenų rinkiniu, pavyzdžiui, vidiniais įmonės dokumentais, konkrečios srities terminija ar pageidaujamo stiliaus ir formato pavyzdžiais.
Rezultatas – modelis, kuris konkrečiame kontekste elgiasi kitaip, nereikalaujant viso modelio apmokymo iš naujo. Modelių derinimas – tai būdas pritaikyti bendrosios paskirties didįjį kalbos modelį savo poreikiams.
Ką tai reiškia praktiškai
Kitą kartą, kai didysis kalbos modelis užtikrintai pateiks atsakymą, kuris pasirodys klaidingas, arba suformuluos mintį netikėtai žmogišku būdu, žinosite kodėl. Jis prognozuoja labiausiai tikėtiną žodžių seką, bet daro tai taip gerai, kad lengva pamiršti – jis negali „mąstyti".
Visus šiame straipsnyje vartojamus DI terminus ir dar daugiau rasite DI žodyne →