Amikor megnyitod a ChatGPT-t, és beírsz egy kérdést, másodpercek alatt kapsz egy kerek, értelmes választ. Mintha egy hús-vér ember ülne a túloldalon, aki mindenhez (is) ért. Pedig nem. Egy „nagy nyelvi modell” (angolul Large Language Model, röviden LLM) dolgozik a háttérben.
De mi is ez valójában? Hogyan lett a sci-fi filmek ígéretéből mindennapi valóság? Emeljük fel a motorháztetőt, és nézzük meg, mi ketyeg alatta!
1. Egy gép, ami csak a következő szót találja ki
Bármilyen hihetetlenül is hangzik, egy LLM alapvetően egyetlen dolgot csinál: megpróbálja kitalálni, mi a következő szó. Ezt hívják a mérnökök autoregresszív generálásnak.
Képzeld el az okostelefonod billentyűzetét. Amikor elkezded írni, hogy „Szia, hol…“, a telefon felajánlja, hogy „vagy?”. Egy nagy nyelvi modell pontosan ugyanezt az elvet követi, csak felfoghatatlanul nagyobb léptékben és elképesztő precizitással.
Ha megadod neki, hogy „Magyarország fővárosa…“, a modell a háttérben kiszámolja, hogy statisztikailag a „Budapest” szó következik a legnagyobb eséllyel. Aztán hozzáteszi ezt a szót a mondathoz. A kibővített mondatot („Magyarország fővárosa Budapest,“) újra megvizsgálja, és kitalálja az ezután következő szót. Szóról szóra, lépésről lépésre építi fel a választ.
A gép tehát nem „gondolkodik” úgy, ahogy mi. Valószínűségeket számol villámgyorsan.
2. Mit tanul és miből? (A minőség mindennél fontosabb)
Hogyan tudja egy gép ilyen pontosan, hogy mi a megfelelő következő szó? Úgy, hogy rengeteget olvasott. Konkrétan az internet szinte teljes egészét.
Ezek a modellek a weben található szövegekből, digitalizált könyvekből, Wikipédia-cikkekből, Reddit-fórumokból és több millió sornyi programkódból tanulnak. Szó szerint bedarálják a világ tudását.
De van egy hatalmas bökkenő: a szemétből szemét lesz. Az informatikában ezt hívják „garbage in, garbage out” elvnek.
Ha egy modellt telepakolnak helyesírási hibákkal teli, agresszív vagy téves információkat tartalmazó fórumbejegyzésekkel, akkor a modell is ilyen stílusban és ilyen „tényekkel” fog válaszolni.
Éppen ezért a tanulóanyag minősége ma már kulcskérdés. A fejlesztők rengeteg időt töltenek azzal, hogy „kigyomlálják” és szűrjék az adatokat. Minél jobb a tankönyv, annál okosabb lesz a diák.
3. Méret és képesség: miért „nagy” az LLM?
A modellek kapcsán gyakran hallani a „paraméterszám” kifejezést. De mi az a paraméter?
Képzeld el úgy, mint az agyunkban lévő szinapszisokat, amik az idegsejteket kötik össze. Egy paraméter egy apró számérték a modell mesterséges neurális hálózatában. Ez határozza meg, hogyan kapcsolódnak egymáshoz a szavak és a fogalmak. Minél több a paraméter, a modell annál bonyolultabb összefüggéseket képes megérteni.
Amikor a kutatók elkezdték növelni a modellek méretét, valami varázslatos dolog történt. A modell nemcsak lineárisan lett jobb. Olyan új képességek jelentek meg (ezeket hívják emergens képességeknek), amikre senki sem számított. Egy bizonyos méret és paraméterszám felett a modell hirtelen tudott verset írni, logikai rejtvényeket megoldani vagy programozni – anélkül, hogy ezekre a konkrét feladatokra valaha is kifejezetten betanították volna. Kiderült: az intelligencia látszata skálázható.
4. A GPT-sorozat idővonala: hogyan jutottunk idáig?
Hogy megértsük a jelent, érdemes végignézni az OpenAI (a ChatGPT fejlesztője) történetét. Ez a sikersztori nem jöhetett volna létre három kulcsfigura nélkül:
- Ilya Sutskever: az OpenAI volt vezető kutatója, a modern mesterséges intelligencia egyik legnagyobb víziósa. Ő volt az, aki szentül hitt abban, hogy ha a neurális hálózatokat brutálisan nagyra növelik, akkor azok működni fognak.
- Alec Radford: egy zseniális, csendes mérnök, aki a GPT-modellek korai, gyakorlati megvalósítását vezette. Ő volt az, aki kódszintén tette működőképessé Sutskever elméleteit.
- Sam Altman: az OpenAI csúcsvezetője, aki felismerte a potenciált, és biztosította azt a hatalmas pénzügyi hátteret (beleértve a dollármilliárdos Microsoft-partnerséget), amivel ezt az elképesztő számítási kapacitást ki tudták fizetni.
Lássuk, mit tanultunk a GPT-generációk során:
- GPT-1 (2018): az első szárnypróbálgatás. Képes volt egyszerűbb szövegeket folytatni, de még sokat hibázott. Izgalmas elméleti kísérlet volt.
- GPT-2 (2019): már sokkal okosabb (és folyékonyabb) volt. Az OpenAI annyira megijedt a képességeitől – például attól, hogy tökéletes álhíreket tudott generálni –, hogy először nem is merték teljes egészében nyilvánosan kiadni.
- GPT-3 (2020): az igazi áttörés. 175 milliárd paraméterrel dolgozott. Itt derült ki, hogy ha mutatsz neki néhány példát a feladatodra, utána szinte bármilyen szöveges feladványt meg tud oldani.
- A ChatGPT és a GPT-4 (2022-től napjainkig): a GPT-3 önmagában még nyers volt. A ChatGPT azért robbantott ekkorát, mert a modellt betanították arra, hogy emberi visszajelzések alapján párbeszédet folytasson. A GPT-4 pedig ezt az egészet sokkal kevesebb hibával és kőkemény logikai képességekkel fejelte meg.
5. Hol megy félre a dolog? (A modellek határai)
Bár egy nagy nyelvi modell lenyűgöző, messze nem tévedhetetlen. Három fő problémával mindig számolnod kell:
- Hallucináció: ez a legveszélyesebb. Mivel a gép „csak” a következő valószínű szót találja ki, időnként olyan dolgokat állít halálos magabiztossággal, amik egyáltalán nem igazak. Ha nem tudja a választ, simán kitalál egyet. Szemrebbenés nélkül hivatkozik nem létező könyvekre, vagy talál ki fiktív történelmi eseményeket.
- Kontextusablak: a modellnek van egy memóriakorlátja az adott beszélgetésen belül. Bár ma már egész könyveket be lehet másolni neki, egy ponton túl „elfelejti” a beszélgetés elejét. Olyan, mint egy zseniális aranyhal: hiába okos most, ha hirtelen megtelik a memóriája, elveszíti a fonalat.
- Tudás-határidő: egy LLM alapjáraton csak addig a pontig ismeri a világot, amíg a tanulóadatai tartanak. Ha a betanítása 2023 végén lezárult, nem fogja tudni, mi történt tegnap. (Bár ma már sok modell képes az interneten keresni a válaszadás előtt, a beépített „alaptudásuk” továbbra is fagyasztott.)
6. Mire figyelj használat közben? (mit NE bízz rá)
Egy LLM fantasztikus társ a gondolkodásban, ötletelésben, de borzalmas „mindentudó lexikon”. Íme néhány konkrét eset, amikor ne bízz meg benne vakon:
- Pontos számok és komplex matek: mivel betűket és szavakat jósol, nem pedig klasszikus számológépként működik, a sima modellek gyakran elrontják a bonyolultabb matematikát. Sose bízd rá az adóbevallásod kiszámítását!
- Jogi és orvosi tények: a hallucináció miatt pillanatok alatt kitalál egy logikusan hangzó, de teljesen fiktív paragrafust vagy diagnózist. Egy bíróságon vagy a gyógyszertárban elvérezne vele a hited.
- Gyorsan változó információk: ne tőle kérdezd meg a pontos vonatmenetrendet vagy a mai részvényárfolyamokat.
Összegzés
Egy nagy nyelvi modell nem fekete mágia. Egy brutális számítási kapacitással megtámogatott, elképesztően kifinomult statisztikai gép, amely feltérképezte az emberi nyelv mintázatait. Ha okosan használod – ötletelésre, e-mailek vázlatának megírására, programkódok hibakeresésére vagy hosszú szövegek összefoglalására –, igazi szuperképességet ad a kezedbe. Csak sose felejtsd el: a végső felelősség és a tényellenőrzés mindig a tiéd marad.
Kapcsolódó olvasnivalók
- Tanulj ChatGPT-vel — hogyan építsd be az MI-t a tanulásba
- Prompt-injection: hogyan törik fel a hackerek az MI-t? — amikor az LLM-et manipulálják
- Az elszabadult MI-ügynökök tanulságai — amikor az autonóm MI hibázik
Kapcsolódó személyiségek
Ez a cikk az alábbi MI-legendák munkáit tárgyalja — a profiljaikért kattints:
- Ilya Sutskever — a GPT-korszak fő építésze
- Alec Radford — a GPT-1 és a Whisper megalkotója
- Sam Altman — az OpenAI vezetője