Co je Computer Use?
Computer Use je schopnost AI modelů přímo ovládat počítačové rozhraní: pohybovat kurzorem, klikat na tlačítka, psát text, navigovat na webových stránkách a v desktopových aplikacích. Model „vidí" obrazovku (snímek) a provádí akce jako člověk.
Jak to funguje?
Multimodální model analyzuje snímek obrazovky, rozpozná prvky rozhraní (tlačítka, pole, nabídky), naplánuje sekvenci akcí a vydá příkazy. Mezi každým krokem analyzuje nový stav obrazovky a přizpůsobuje plán.
Využití pro automatizaci
Computer Use umožňuje automatizaci procesů ve starších systémech bez API: zadávání dat do starých aplikací, navigaci na portálech dodavatelů, vyplňování administrativních formulářů. Je to „poslední míle" automatizace — tam, kde tradiční API integrace je nemožná nebo neekonomická.