Zer da kuantifikazioa?
Kuantifikazioa optimizazio-teknika bat da, non neurona-sareko pisuak eta aktibazioak altu precisioko puntu-flotante zenbakietatik (adib. float32) txikiagoko precisioko formatuetara aldatzen dira (adib. int8, int4). Honek memoriaren beharrak gutxitzen ditu eta inferentzia azkartzen du nabarmen.
Kuantifikazio-metodoak
Entrenamenduaren ondorengo kuantifikazioa (PTQ) entrenamenduaren ondoren aplikatzen da eta erraza da inplementatzea, baina kalitate-galera egin dezake. Kuantifikazioa kontuan hartzen duen entrenamendua (QAT) kuantifikazioaren efektuak entrenamenduan kontuan hartzen ditu eta emaitza hobeak lortzen ditu normalean. GPTQ eta AWQ bezalako ikuspegi modernoek 4 biteko handien hizkuntza-modeloen kuantifikazio agresiboa ahalbidetzen dute kalitate-galerarik minimoarekin.
Praktikoa garrantzia
Kuantifikazioa funtsezkoa da IA handien modeloak hardware mugatuetan eraginkortasunez inplementatzeko. LLM kuantifikatua 4 aldiz gutxiagoko memoriarekin exekuta daiteke, kontsumoko hardwarean, ertzeko gailuetan eta hodei-instentzia merkeagoetan inplementatzeko aukera ematen du.