Geprüfter Vertrag
Die aktuelle offizielle Modellseite nennt den API-Modellnamen gpt-6-astra und Computer Use. Kontozugriff, Region und Limits bleiben projektspezifisch. Die Computer-Use-Anleitung unterstützt strukturierte Aktionen über tools: [{"type":"computer"}]. Für Astra empfiehlt sie allgemein Codeausführung; dieser Hardwarecontroller nutzt bewusst das weiterhin unterstützte strukturierte Tool, um die lokale Ausgabe auf einen kleinen Aktionssatz zu begrenzen. Modellseite, Computer-Use-Anleitung
Veraltete Beispiele mit computer-use-preview, computer_use_preview, einem einzelnen action oder Pflicht-Displayparametern nicht in diese Implementierung mischen. Hier wird der geöffnete aktuelle Vertrag verwendet: computer_call.actions ist eine geordnete Liste; die Antwort enthält pro Call einen computer_call_output mit gleicher call_id. Der Screenshot-Output hat type: computer_screenshot, eine PNG-Data-URL und detail: original. Ein zunächst angeforderter screenshot benötigt keine HID-Eingabe.
Die vollständige Implementierung ist client.py, der ausführende Loop agent.py. Sie sprechen direkt HTTPS zur Responses API über httpx, damit der verifizierte JSON-Vertrag unabhängig von einem möglicherweise älteren SDK ist. TLS-Prüfung bleibt aktiv; Keys werden nur im Authorization-Header des Pi verwendet.
Gespräch und tatsächliches Gerät
Responses-Gespräch und externe Maschine sind zwei getrennte Zustände. Dieser Host nutzt store:false und spielt den kompletten Verlauf in richtiger Reihenfolge erneut ein: Originalauftrag, Screenshot, alle API-Outputitems einschließlich undurchsichtiger Reasoningitems und zugehörige Computer-Tooloutputs. Er schneidet keine Reasoningitems heraus und interpretiert keine intern verschlüsselten Inhalte. Nach Hostneustart existiert das Gespräch nicht mehr im RAM; der Ziel-PC kann dagegen schon verändert sein. Gesprächszustand, Reasoning in zustandslosen Aufrufen
Mehrere Calls werden serialisiert ausgeführt und vollständig beantwortet. Innerhalb eines Calls wird nach jeder Eingabe ein frisches Bild aufgenommen; am Ende liefert dessen Output den beobachteten Zustand. Das Prompt bittet bevorzugt um nur eine Eingabe pro Call. Lokale Limits erlauben höchstens acht Aktionen pro Call und vier Calls pro Modellantwort; ungewöhnliche oder unvollständige Antworttypen führen zum Stopp. Das Modell darf keinen generierten Code auf dem Pi oder Ziel ausführen.
API-Sicherheitschecks
Eventuelle pending_safety_checks werden im Leitstand angezeigt. Erst nach einer gesonderten Benutzerentscheidung gelangen sie als acknowledged_safety_checks in den passenden Tooloutput. Danach benötigen die eigentlichen HID-Aktionen weiterhin ihre individuelle Freigabe. Ablehnung, abgelaufene Freigabe, unvollständige Response, Schemaänderung, API-Fehler oder unbekannter Ausgang stoppen die Sitzung. Kein pauschales „acknowledge all“ und keine automatischen API-/HID-Wiederholungen.
Zugriff prüfen
- Eigenen projektbezogenen API-Key lokal konfigurieren.
- Im Leitstand „API-Verbindung prüfen“: Lesezugriff auf
/v1/models/gpt-6-astra. Dieser Test sendet keinen Zielscreen und beweist noch keine Computer-Tool-Zulassung. - Nach ausdrücklicher Screenshotfreigabe einen begrenzten echten Auftrag starten, z. B. „Beschreibe das aktuelle Fenster und verändere nichts“. Die erste Anfrage verwendet bereits das Computer-Tool. Eventuellen Screenshot-Call ohne HID beantworten.
- Einen einzigen harmlosen manuellen Eingabetest getrennt abnehmen; danach erst einen kurzen vollständigen Computer-Use-Auftrag in einer Testdatei ausführen.
Im Entwicklungsstand wurde kein echter API-Aufruf mit Zielbildern ausgeführt. Vertrag und Gesprächsfortsetzung sind mit lokalen HTTP-Ersatzantworten getestet. Der Demo-Agent ist ein festes Skript und kein OpenAI-Modell.
Latenz und Kosten
Die Capture-Karte liefert 60 fps an den Host; der Agent sendet nur ausgewählte aktuelle PNGs. Ein kompletter Modellturn ist kein Echtzeitregelkreis. Kosten hängen von Bild-/Textinput, Reasoning, Verlauf und Output ab. Der Host begrenzt Aufrufe, Sitzung, Aktionen und die vom API-Usagefeld gemeldeten Tokens. Das Tokenlimit wird nach einer Antwort geprüft und kann durch den letzten Aufruf überschritten werden; es ist kein harter Eurobetrag. Ein projektseitiges Ausgabenlimit ergänzen. Es werden keine Preise pro Klick oder feste API-Latenzen zugesagt.
store:false vermeidet den üblichen gespeicherten Responses-Anwendungszustand. Es ersetzt keine vertragliche ZDR-/Datenresidenzkonfiguration und keine Entscheidung darüber, ob vertrauliche Bildinhalte übertragen werden dürfen. Lokal gespeicherte Aktionen können eingegebenen Text enthalten, auch bei ausgeschaltetem PNG-/Responsearchiv. OpenAI Datenkontrollen
Excel-Ablauf als Abnahme
Auftrag: „Öffne Excel, öffne die Datei Monatsbericht.xlsx, trage in B7 den Wert 250 ein und speichere die Datei.“ Astra entscheidet selbst über sichtbare Navigation und nächste Eingabe. Der Pi kann die Excel-Datei nicht direkt lesen, öffnen oder verändern; er sieht nur HDMI und sendet USB-Tasten. Prüfen: korrekte Datei, sichtbares B7, Wert als Zahl, erfolgreicher Speichervorgang und erneutes Öffnen der Testkopie. Modelltext „fertig“ ist noch kein Beleg für gespeicherte Daten.