Čo je Computer Use?
Computer Use je schopnosť AI modelov priamo ovládať počítačové rozhranie: pohybovať kurzorom, klikať na tlačidlá, písať text, navigovať na webových stránkach a v desktopových aplikáciách. Model „vidí" obrazovku (snímku) a vykonáva akcie ako človek.
Ako to funguje?
Multimodálny model analyzuje snímku obrazovky, rozpozná prvky rozhrania (tlačidlá, polia, ponuky), naplánuje sekvenciu akcií a vydá príkazy. Medzi každým krokom analyzuje nový stav obrazovky a prispôsobuje plán.
Využitie na automatizáciu
Computer Use umožňuje automatizáciu procesov v starších systémoch bez API: zadávanie dát do starých aplikácií, navigáciu na portáloch dodávateľov, vyplňovanie administratívnych formulárov. Je to „posledná míľa" automatizácie — tam, kde tradičná API integrácia je nemožná alebo neekonomická.