| Abstrakt: | Táto práca skúma rozšírenie adaptácie Extreme Gradient Boosting Low-Rank Adap-
tation (XGBLoRA) pre veľké jazykové modely (LLM) do viacjazyčných kontextov s
osobitným zameraním na nedostatočne zastúpené jazyky. XGBLoRA, pôvodne navr-
hnutá na zlepšenie výpočtovej efektivity pri zachovaní výkonu, spája princípy Low-
Rank Adaptation (LoRA) s Gradient Boosting. Metóda umožňuje parameterovo efek-
tívne dolaďovanie a má potenciál znížiť výpočtovú stopu i rozšíriť adaptabilitu modelov
naprieč jazykmi.
V rámci práce bola XGBLoRA nanovo implementovaná a prispôsobená na multilin-
gválne prostredie. Navrhujú sa dve praktické modifikácie — zvýšenie ranku adaptérov
nad pôvodne odporúčanú hodnotu r = 1 a SVD-inicializácia — ktoré zohľadňujú špe-
cifiká jazykovej adaptácie. Experimentálna časť pokrýva anglický benchmark GLUE
a slovenský dataset otázka-odpoveď SKQuAD; testované boli modely RoBERTa-base,
GPT-Neo-125M a BERT-base-uncased.
Výsledky ukazujú, že XGBLoRA systémovo prekonáva klasickú LoRA pri rovnakom
alebo menšom počte trénovaných parametrov: na GLUE zvyšuje priemernú presnosť
z 79,7% na 81,3% (+1,6 p. b.) a na SKQuAD zvyšuje F1 skóre modelu GPT-Neo z
37,2% na 39,6% (+2,4 p. b.). Pri BERT-base bolo dosiahnuté F1 = 54,4%, čo prekonáva
LoRA o približne 3 p. b. a zmenšuje odstup od plného doladenia na 8 p. b. Analýza
chýb potvrdzuje, že postupné zvyšovanie ranku v štýle boostingu umožňuje modelu
korekovať rozdielne typy chýb bez výrazného rizika pretrénovania.
Prínosom práce je (i) otvorená implementácia XGBLoRA kompatibilná s Hugging-
Face PEFT, (ii) systematické porovnanie rôznych PEFT stratégií pri adaptácii na
slovenčinu a angličtinu a (iii) odporúčania pre voľbu ranku, počtu iterácií a inicializá-
cie adaptérov. Výsledky demonštrujú, že XGBLoRA predstavuje praktický kompromis
medzi kvalitou a výpočtovými nárokmi a že výrazne zlepšuje prenos LLM do jazykov
s obmedzenými zdrojmi.
|
|---|