Rankraščio statusas
Pateiktas darbas pažymėtas „Anonymous ACL submission“ (anoniminis ACL pateiktas rankraštis). Autoriai nenurodyti, o priėmimo ar recenzavimo statusas nepatvirtintas. Originalus 13 puslapių PDF yra anglų kalba.
Tyrimo apžvalga
Tyrime Hindsight, Mem0, Honcho, OpenViking ir Graphiti lyginamos su hibridiniu RAG, viso konteksto ir atminties nenaudojančiu baziniais metodais. Vertinama 1 000 klausimų, sudarytų iš 200 pokalbių iš LongMemEval, LoCoMo, Multi-Session Chat ir Enron rinkinių, sugrupuotų į 139 atminties erdves. Modelis, vektorizavimo modelis, atsakymo instrukcija ir vertintojas nekinta, o nesusijusi istorija sudaro 0 %, 50 % ir 90 % įkeltų teksto vienetų (tokenų).
Pagrindinės išvados
- Esant 8 000 tokenų konteksto biudžetui ir 90 % triukšmo, hibridinis RAG pasiekia 96,8 % tikslumą, o geriausiai šiomis sąlygomis pasirodžiusi atminties sistema Hindsight – 89,9 %.
- RAG ir keturių visais triukšmo lygiais vertintų sistemų atveju atsakymo modelis gautus įrodymus teisingai perskaito 94,5–98,8 % atvejų. Dauguma klaidų atsiranda, kai paieška nepateikia reikiamų įrodymų.
- Šiuose bandymuose konteksto biudžeto užpildymas pagal aktualumą surikiuotu tekstu yra patikimesnis nei fiksuoto elementų skaičiaus grąžinimas ar vietos rezervavimas naujausiems prisiminimams.
- Nurodyta RAG bandymo, esant 90 % triukšmo, kaina yra 1,70 JAV dolerio. Keturių šiuo lygiu vertintų informacijos išskyrimo sistemų atminties kūrimas sudaro 86–98 % viso bandymo sąnaudų; jos priklauso nuo sesijų skaičiaus, o ne vien nuo tokenų kiekio.
Kaip interpretuoti rezultatus
Rezultatai apibūdina šį vertinimą, o ne bendrą atminties sistemų reitingą. Naudota viena atsitiktinė sėkla, viena modelio konfigūracija ir numatytieji sistemų nustatymai be derinimo. Klausimus ir dalį triukšmo generavo modeliai, žmogaus peržiūra neatlikta, o triukšmas nėra priešiškai parinktas. Honcho rezultatą esant 90 % triukšmo iš dalies veikia nebaigtas atminties kūrimas pasiekus trijų valandų laukimo ribą. Graphiti esant 90 % triukšmo nevertinta. Tokios naudos kaip kompaktiška, peržiūrima ir redaguojama atmintis nematuotos.
Praktinė reikšmė
Atsakant į klausimus apie augančią pokalbių istoriją, darbas siūlo tikrinti, ar paieška iš tikrųjų pateikia reikiamus įrodymus, kiek konteksto sistema grąžina ir ar atminties kūrimas baigtas prieš vertinimą. Tikslumą ir sąnaudas verta matuoti numatytoje darbo eigoje, o ne spręsti apie juos vien iš bandymų su mažai triukšmo turinčia istorija.