Gemini 1.5引入MoE，最新的 1.5 pro以更少計算量比肩 1.0 Ultra。Gemini 1.5 Pro是Gemini家族的最新模型，于 2024年 2月 15日發布，是一種高效的多模態混合專家模型，能夠從數百萬個上下文標記中回憶并推理出精細的信息，其中包括多個長文檔和幾小時的視頻和音頻。該模型在跨模態的長期上下文檢索任務上實現了近乎完美的召回率，并在長文檔問答、長視頻問答和長上下文自動語音識別方面提高了現有最佳表現。該模型基于谷歌對 Transformer和MoE的最新研究，與之前的版本相比，其性能在多個維度都有顯著的改進，1.5 Pro使用更少的計算實現了與 1.0 Ultra相當的性能。