根據交互的模式，任務執行方法可分為基于 API 和基于用戶界面（UI）的方法，GUI 有望在 Transformer 加持下成為主流。API 方式在運行時需要利用模型和內置的示例等方式來選擇合適的 API 進行交互。但是 API 交互方式依賴公開可用的 API，存在應用程序支持不夠全面、同時存在人類可以輕松執行但是 API 難以實現的任務、拓展性和自動化能力較弱等不足。UI 界面方式在 Transformer 架構下較好克服了任務和UI 元素之間的隱含關系，大幅提升了 GUI Agent 的可行性。