Kas yra požymių inžinerija?
Požymių inžinerija (Feature Engineering) yra įvesties kintamųjų (požymių) parinkimo, transformavimo ir kūrimo iš neapdorotų duomenų procesas, skirtas maksimizuoti mašininio mokymosi modelių prognozinį veikimą. Ji plačiai laikoma vienu labiausiai poveikį darančių žingsnių dirbtinio intelekto kūrimo gyvavimo cikle — požymių kokybė ir aktualumas dažnai svarbiau nei algoritmo pasirinkimas. Požymių inžinerija reikalauja tiek srities ekspertizės prasmingiems signalams identifikuoti, tiek techninių įgūdžių transformacijoms, iš kurių modeliai gali efektyviai mokytis, įgyvendinti.
Dažnos technikos
Skaitinės transformacijos apima mastelio keitimą, normalizavimą, logaritmines transformacijas ir polinominius požymius. Kategorinis kodavimas apima vieno karštojo kodavimą, tikslinio kodavimą ir įterpinimais pagrįstus metodus. Laiko požymiai ištraukia savaitės dieną, sezoniškumą ir slenkančius agregatus iš laiko žymų. Teksto požymiai naudoja TF-IDF, žodžių įterpinimus ir temų modelius. Sąveikos požymiai fiksuoja ryšius tarp kintamųjų, kurių individualūs požymiai negali pavaizduoti. Dimensijų mažinimo technikos, tokios kaip PCA, suspaudžia daugiadimensines požymių erdves. Automatizuoti požymių inžinerijos įrankiai gali sistemingai generuoti ir vertinti kandidatinius požymius, papildydami rankinį, sritimi pagrįstą požymių kūrimą.
Požymių saugyklos įmonės dirbtiniam intelektui
Įmonės mastu požymių inžinerija tampa bendra organizacine galimybe per požymių saugyklas. Požymių saugykla teikia centralizuotą kuruotų, versijuotų požymių saugyklą, kuri gali būti pakartotinai naudojama keliuose modeliuose ir komandose. Ji užtikrina nuoseklumą tarp mokymo ir išvadų požymių, pašalindama dažną gamybinių klaidų šaltinį. Požymių saugyklos skaičiuoja ir teikia požymius su mažu vėlinimu realaus laiko programoms, kartu palaikydamos istorines požymių reikšmes tiksliam modelio mokymui. Ši bendra infrastruktūra užkerta kelią pasikartojančioms inžinerinėms pastangoms ir pagreitina naujų modelių kūrimą visoje organizacijoje.