Svarbiausių savaitės technologijų naujienų rinkimas, apibendrinimas ir pateikimas be žmogaus įsitraukimo.
Problema: kaip būti informuotam, nesusipainiojant naujienų srautuose
Technologijos vystosi sparčiai, tačiau bandymas neatsilikti mums kainuoja. Vidutinis protinį darbą dirbantis darbuotojas 28% savo darbo savaitės skiria peržiūrint ir tvarkant savo el. paštą – tai daugiau nei 11 valandų per savaitę vien tik laiškų tvarkymui. Tuo tarpu kasdien internete pasirodo maždaug 2 milijonai naujų straipsnių.
Technologijas kuriančiai komandai būti informuotai yra būtinybė. Tačiau daugumos žmonių naudojamas būdas yra neveiksmingas. Vienas per pietus atidaro „Hacker News“. Kitas tarp susitikimų peržiūri „Ars Technica“. Trečias prenumeruoja naujienlaiškį, kurį skaito nereguliariai. Rezultatas – fragmentuota informacija: kiekvienas matė skirtingus dalykus, niekas neturi visapusiško vaizdo, ir nėra bendro supratimo apie tai, kas įvyko šią savaitę.
Alternatyva – kasdien sistemingai skaityti daugybę šaltinių – taip pat nėra realistiška. Informacijos kiekis per didelis, vertingos informacijos ir triukšmo santykis per mažas, o laiko sąnaudos per didelės tiems, kurie iš tiesų dirba savo darbą.
Norėjome sistemos, kuri išspręstų abi problemas iš karto: išsami įvairių šaltinių apžvalga, apibendrinta į vieną apžvalgą, kurią visa komanda gali perskaityti per kelias minutes.
Ką mes sukūrėme
Kiekvieną sekmadienio rytą, dar prieš komandos nariams įjungiant savo nešiojamuosius kompiuterius, „Weekly Tech Briefing System“ jau surenka straipsnius iš keturių skirtingų naujienų šaltinių, išgrynina visą turinį, pasitelkdama dirbtinį intelektą sukuria struktūrizuotą HTML ataskaitą ir išsiunčia ją el. paštu. Niekas jos nerengia. Niekas jos neredaguoja. Ji tiesiog atkeliauja, paruošta skaityti.
Sistema atlieka tris skirtingas užduotis:
1. Renka straipsnius iš keturių nepriklausomų šaltinių
Duomenų srautas sąmoningai gaunamas iš įvairių šaltinių, kurių kiekvienas apima skirtingą technologijų srities segmentą:
| Šaltinis | Kokią informaciją apima | Rinkimo metodas | | --------------------------------------------- | ------------------------------------------------------------- | ------------------------------------- | | NewsAPI | Platus technologijų naujienų spektras iš pagrindinių leidinių | API paieška su aktualumo reitingavimu | | Hacker News | Programuotojams skirti straipsniai ir techninės diskusijos | RSS srautas | | Ars Technica | Išsamios technologijų ir IT ataskaitos | RSS srautas | | MarkTechPost | DI ir mašininio mokymosi tyrimų apžvalgos | RSS srautas |
Iš kiekvieno šaltinio sistema paima populiariausius straipsnius per pastarąsias septynias dienas. Laikotarpis apskaičiuojamas dinamiškai, remiantis numatytu paleidimo laiku, todėl apžvalga visada apima tiksliai vienos savaitės turinį be spragų ir be sutapimų.
2. Išskiria ir apdoroja visą straipsnio turinį
Antraščių ir metaduomenų nepakanka, kad būtų galima sukurti informatyvias santraukas. Sistema žengia dar vienu žingsniu toliau: kiekvienam straipsniui ji atsisiunčia visą HTML puslapį iš šaltinio URL ir išskiria faktinį teksto turinį.
Informacijos išgavimas sukurtas taip, kad galėtų susidoroti su tikrojo interneto nenuoseklumu. Ji pašalina skriptus, stilius ir reklamą, tada ieško turinio semantinėse HTML žymėse, prisitaikydama, kai svetainės naudoja nestandartines struktūras. Kiekvieno straipsnio turinys užfiksuojamas kartu su jo pavadinimu ir šaltinio nuoroda, paruoštas santraukai.
3. Sukuria vieną struktūrizuotą savaitinę apžvalgą
Kai visi straipsniai iš visų keturių šaltinių surenkami ir sujungiami, visas rinkinys vienu iškvietimu perduodamas DI modeliui. Modelis sukuria suformatuotą HTML apžvalgą su griežta struktūra: vieno sakinio įvadas, kiekvieno straipsnio pavadinimas, nuoroda į originalą, dviejų sakinių santrauka ir dvi pagrindinės išvados, po kurių pridedama bendra, vieno sakinio visų straipsnių išvada.
Formato apribojimas yra sąmoningas. Dvi frazės ir du punktiniai sąrašai kiekvienam straipsniui leidžia apžvalgą greitai peržiūrėti. Įtraukiant nuorodą į originalų straipsnį, kiekvienas, norintis gilintis, gali ją paspausti. Rezultatas – apžvalga, kuri tausoja skaitytojo laiką, bet apima visą savaitės naujienų spektrą.
Užbaigtas HTML failas automatiškai išsiunčiamas komandai el. paštu.
Kaip veikia sistema
Darbo eiga vykdoma kaip 25 mazgų sistema platformoje „n8n“. Skirtingai nuo mūsų įvykių valdomų sistemų, kurios reaguoja į gaunamus trigerius, ši veikia pagal tvarkaraštį – vykdoma kiekvieną sekmadienio rytą ir apima praėjusias septynias dienas.
Tvarkaraščio ir datos skaičiavimas - kas savaitę suveikia tvarkaraščio trigeris. Kodavimo mazgas apskaičiuoja tikslų praėjusios savaitės datų intervalą, užtikrindamas, kad kiekvienoje apžvalgoje būtų pateiktas būtent septynių dienų turinys, nepriklausomai nuo to, kada darbo eiga faktiškai vykdoma.
Lygiagretus šaltinių rinkimas - srautas susiskirsto į keturis lygiagrečius kelius, po vieną kiekvienam naujienų šaltiniui. NewsAPI užklausiama per jos paieškos galinį tašką, taikant aktualumo reitingavimą ir kalbos filtravimą. „Hacker News“, „Ars Technica“ ir „MarkTechPost“ surenkami per jų RSS srautus. Kiekvienas šaltinis grąžina konfigūruojamą straipsnių skaičių, šiuo metu nustatytą penkiems straipsniams iš kiekvieno šaltinio, taip gaunant iki dvidešimties straipsnių vienam apžvalginiam pranešimui.
Turinio išgavimas - šaltinių, kurie grąžina tik metaduomenis atveju („NewsAPI“, „Hacker News“), procesas apibėga kiekvieną straipsnį, atsisiunčia visą HTML puslapį ir išgauna skaitomą teksto turinį. RSS šaltiniai, kurių srautuose yra turinys („Ars Technica“, „MarkTechPost“), praleidžia atsisiuntimo etapą ir pereina tiesiai prie formatavimo. Turinys apribojamas iki 5 000 simbolių vienam straipsniui, siekiant suderinti išsamumą su apdorojimo sąnaudomis.
Šaltinių sujungimas - keturios lygiagrečios šakos susilieja į vieną sujungimo mazgą, sujungdamos visus straipsnius į vieną suvienodintą masyvą. Kiekvienas įrašas turi savo pavadinimą, išgautą turinį ir šaltinio nuorodą.
DI apžvalgos generavimas - sujungtas straipsnių rinkinys perduodamas GPT-4o su griežtai apribotu užklausos tekstu. Modelis sukuria išsamią HTML apžvalgą pagal nustatytą struktūrą, užtikrinančią, kad būtų įtraukti visi straipsniai, o kiekviena santrauka būtų glausta. Griežtos formatavimo taisyklės neleidžia modeliui įterpti redakcinių komentarų ar išplėsti turinio daugiau, nei reikia skaitytojui.
Siuntimas el. paštu - sugeneruotas HTML failas siunčiamas per SMTP į platinimo sąrašą įtrauktiems darbuotojams. Apžvalga gaunama jau suformatuota ir paruošta skaityti – nereikia jokio papildomo apdorojimo ar rankinio formatavimo.
Rezultatai
Nuo įdiegimo, apžvalga siunčiama kiekvieną sekmadienį, nepraleidžiant nė vienos savaitės.
Anksčiau: Komandos nariai savarankiškai tikrindavo skirtingus naujienų šaltinius skirtingu laiku per savaitę. Kai kuriuos straipsnius matė visi, daugumos niekas nematė, ir nebuvo bendro supratimo apie tai, kas vyksta platesniame technologijų kontekste. Informuotumas priklausė nuo individualios drausmės ir turimo laiko – abu šie veiksniai buvo nepatikimi.
Dabar: Kiekvieną sekmadienio rytą visa komanda gauna tą pačią atrinktą apžvalgą, apimančią keturis pagrindinius šaltinius. Iki pirmadienio pirmojo susitikimo visi turi bendrą pagrindą: tuos pačius straipsnius, tas pačias santraukas, tas pačias išvadas.
Ką tai pakeitė mūsų praktikoje:
- Bendras kontekstas pakeitė fragmentišką naršymą - komanda aptaria tuos pačius įvykius, nes visi skaito tą pačią apžvalgą.
- Nereikia nuolatinio darbo - niekas nerengia, neredaguoja ir nesiunčia apžvalgos. Ji gaunama automatiškai, kiekvieną savaitę, be išimčių.
- Platus apžvalgos turinys be laiko sąnaudų - dvidešimt straipsnių iš keturių šaltinių, apibendrinti į apžvalgą, kurią perskaityti užtrunka penkias minutes. Tokiam darbui atlikti rankiniu būdu prireiktų valandų.
- Kiekviena santrauka turi nuorodą į originalą - kai straipsnis sudomina, šaltinis yra vos už vieno paspaudimo. Apžvalga yra pradžios taškas, o ne aklavietė.
Kas planuojama toliau
Kassavaitinis pastovumas ir keturių šaltinių konfigūracija yra tvirtas pagrindas. Yra keletas natūralių plėtros krypčių:
- Šaltinių plėtra - konkrečioms sritims skirtų naujienų srautų, akademinių publikacijų stebėjimo sistemų ar konkurentų tinklaraščių stebėjimo įtraukimas, siekiant išplėsti aprėptį atsižvelgiant į tai, ką komanda laiko vertingiausia.
- Individualizuotos apžvalgos - skirtingų apžvalgų variantų kūrimas skirtingas pareigas užimantiems darbuotojams: gilesnis DI tyrimų akcentas inžinierių komandai, į rinką orientuota versija verslo komandai.
- Pateikimas per „Slack“ ir „Teams“ - apžvalgos skelbimas komandos kanaluose, be elektroninio pašto, kad žmonės galėtų susipažinti su informacija ten, kur jie jau dirba.
- Tendencijų nustatymas per kelias savaites - gretimų apžvalgų palyginimas, siekiant išryškinti pasikartojančias temas ir atsirandančius modelius, kurių nepastebėtumėte per vienos savaitės apžvalgą.
- Skubių naujienų žymėjimas - straipsnių, signalizuojančių apie konkurencines grėsmes, reguliavimo pokyčius ar naujausius įvykius, reikalaujančius nedelsiamo dėmesio, o ne savaitinės apžvalgos, žymėjimas.
Išvada
Informacijos perteklius nėra turinio problema, o turinio atrankos problema. Žaliavų yra gausu. Komandoms trūksta patikimo, nuoseklaus proceso, kuris tą žaliavą paverstų kuo nors naudingu, nesunaudojant to laiko, kurį jis turėtų sutaupyti.
„Weekly Tech Briefing System“ išsprendžia šią problemą, kiekvieną savaitę vykdydama tą patį procesą: surinkti informaciją iš įvairių šaltinių, išgauti esmę, apibendrinti laikantis griežtų apribojimų ir pateikti laiku. Niekam nereikia prisiminti nieko patikrinti. Nė vienas straipsnis nepraslysta pro akis dėl to, kad kažkas buvo užsiėmęs. Komanda yra informuota savaime, be jokių pastangų.