5620 億參數的多模態視覺語言模型 PaLM-E，是 PaLM-540B 語言模型與 ViT-22B 視覺模型的結合。與傳統的語言模型相比，PaLM-E 具有更高的效率和靈活性，可以根據輸入的復雜度和任務的需求動態地激活不同的模塊。同時，PaLM-E 可以通過文本、圖像和視頻等多種類型的輸入來理解和控制機器人等實體化系統，從而實現具象化的能力。PaLM-E 的發布代表著人機交互領域的一次重大飛躍，在工業、商業、辦公等領域的機器人應用上有著巨大的想象力。