Ferret-UI 對復雜任務的處理流程：首先從檢測輸出中歸一化邊界框坐標，然后將檢測、提示和可選的單次示例發送到 GPT-4。對于詳細的描述和函數推理，將生成的響應與預先選擇的提示配對，以訓練 Ferret-UI。對于對話任務，直接將 GPT-4 輸出轉換為多回合對話。