Kas yra Computer Use?
Computer Use — tai DI modelių gebėjimas tiesiogiai valdyti kompiuterio sąsają: judinti žymeklį, spausti mygtukus, įvesti tekstą, naršyti interneto svetainėse ir darbalaukio programose. Modelis "mato" ekraną (ekrano nuotrauką) ir atlieka veiksmus kaip žmogus.
Kaip tai veikia?
Multimodalinis modelis analizuoja ekrano nuotrauką, atpažįsta sąsajos elementus (mygtukus, laukus, meniu), planuoja veiksmų seką ir duoda komandas. Tarp kiekvieno žingsnio analizuoja naują ekrano būseną ir koreguoja planą.
Automatizavimo taikymai
Computer Use leidžia automatizuoti procesus pasenusiose sistemose be API: duomenų įvedimą senose programose, navigaciją tiekėjų portaluose, administracinių formų pildymą. Tai automatizavimo "paskutinė mylia" — ten, kur tradicinė API integracija neįmanoma arba neekonomiska.