Was ist Computer Use?
Computer Use ist die Fähigkeit von KI-Modellen, die Computer-Oberfläche direkt zu steuern: den Cursor bewegen, Schaltflächen anklicken, Text eingeben, Websites und Desktop-Anwendungen navigieren. Das Modell „sieht“ den Bildschirm (Screenshot) und führt Aktionen wie ein Mensch aus.
Wie funktioniert es?
Ein multimodales Modell analysiert einen Screenshot, erkennt Oberflächenelemente (Schaltflächen, Felder, Menüs), plant eine Aktionssequenz und gibt Befehle aus. Zwischen jedem Schritt analysiert es den neuen Bildschirmzustand und passt den Plan an.
Automatisierungsanwendungen
Computer Use ermöglicht die Prozessautomatisierung in Legacy-Systemen ohne APIs: Dateneingabe in alten Anwendungen, Navigation in Lieferantenportalen, Ausfüllen von Verwaltungsformularen. Es ist die „letzte Meile“ der Automatisierung — dort, wo traditionelle API-Integration unmöglich oder unwirtschaftlich ist.