2023 年 3 月，谷歌和柏林工業大學共同發布可以用于機器人的多模態視覺語言模型PaLM-E，用視覺數據來增強其語言處理能力，可以指導機器人完成復雜的任務。PaLM-E主要基于谷歌現有的 PaLM 大語言模型，并且加入了感知信息的能力，能讓機器人真正“理解”任務，將看到的圖像轉化成可以理解的語言文本，從而做到在面對零樣本新任務時的“舉一反三”。PaLM-E 無需對相關數據進行預處理或注釋。