Minimax-01使用的線性注意力機制將計算復雜度降低至O(N) Minimax-01將線性注意力機制由實驗引入到商業實踐中。線性注意力機制降低了計算復雜度,且能夠節約顯存。傳統的 Softmax 注意力就像每個人都要和房間里的其他人握手(N*N),而線性注意力就像每個人只和一個人握手然后把信息傳遞下去(N),當房間里人很多時,后者效率會高很多。 行業數據 下載Excel 下載圖片 原圖定位