Kaj je Computer Use?
Computer Use je zmožnost modelov UI, da neposredno upravljajo računalniški vmesnik: premikanje kazalca, klikanje gumbov, vnašanje besedila, navigacija po spletnih straneh in namiznih aplikacijah. Model "vidi" zaslon (posnetek zaslona) in ukrepa kot človek.
Kako to deluje?
Multimodalni model analizira posnetek zaslona, prepozna elemente vmesnika (gumbe, polja, menije), načrtuje zaporedje dejanj in izda ukaze. Med vsakim korakom analizira novo stanje zaslona in prilagodi načrt.
Uporabe pri avtomatizaciji
Computer Use omogoča avtomatizacijo procesov v zastarelih sistemih brez API-jev: vnos podatkov v stare aplikacije, navigacijo po portalih dobaviteljev, izpolnjevanje administrativnih obrazcev. To je "zadnji kilometer" avtomatizacije — kjer tradicionalna integracija API ni mogoča ali ni ekonomična.