浙江大學&阿里巴巴：2023大模型時代：智能設計的機遇與挑戰報告（27頁）.pdf

《浙江大學&阿里巴巴：2023大模型時代：智能設計的機遇與挑戰報告（27頁）.pdf》由會員分享，可在線閱讀，更多相關《浙江大學&阿里巴巴：2023大模型時代：智能設計的機遇與挑戰報告（27頁）.pdf（27頁珍藏版）》請在三個皮匠報告上搜索。

1、大模型時代：智能設計的機遇與挑戰大模型時代：智能設計的機遇與挑戰報告2023.06.01設計范式的遷移大模型時代到來設計能力的躍升鏈接能力整合能力拓展能力設計實踐的重塑職業技能設計品質行業機會2目錄目錄人工智能作為新一輪產業變革的核心驅動力，將進一步釋放歷次科技革命和產業變革積蓄的巨大能量。國務院，新一代人工智能發展規劃設計范式的遷移設計范式的遷移大模型時代到來3設計范式的遷移設計范式的遷移 4經驗觀察手工技藝經典設計01注重實用性和美感注重實用性和美感以設計師自身感受為基礎，發揮個體設計才華，結果受設計師的經驗、審美等因素影響。在數千年經驗的沉淀與工業革命的推動下，設計師開始為更廣泛的消費者

2、設計產品。設計原則理論方法設計思維02注重用戶需求滿足注重用戶需求滿足以用戶需求為導向，強調以人為中心的設計，解決定義不清晰的復雜設計問題。在商業模式的發展和個體消費需求的增長趨勢下，設計師從同理心出發解決設計問題。智能算法工具軟件計算設計03注重個性化與批量化生成注重個性化與批量化生成以計算機為媒介，利用數字化和信息化技術提升效率，支持設計結果的重用與擴展。在摩爾定律和數據型科學范式的影響下，設計師用智能算法和工具軟件解決設計問題。來源：John Maeda，Design In Tech Report 2017經驗觀察/手工技藝設計原則/理論方法智能算法/工具軟件設計知識空間設計領域的理論和

3、實踐的總體，包括設計的規律、技法、原則、方法和工具等。人類知識空間設計范式的遷移 5人類世界的信息和智慧的總體，涵蓋人類對宇宙、自然、社會與人類自身的全部認知。模型知識空間設計領域知識的子集，特指利用大模型封裝的設計理論和實踐經驗等知識。個人知識空間個人在學習、生活、工作中所獲取的知識，受個人經歷等因素的影響。人類知識空間人類世界的信息和智慧的總體，涵蓋人類對宇宙、自然、社會與人類自身的全部認知。設計知識空間設計領域的理論和實踐的總體，包括設計的規律、技法、原則、方法和工具等。智能設計04在大模型的推動下，設計師使用模型調用設計理論和實踐經驗等知識，在人機協作中完成設計任務。設計范式的遷移 6

4、設計范式的遷移 7設計范式的遷移經驗觀察手工技藝經典設計在數千年經驗的沉淀與工業革命的推動下，設計師開始為更廣泛的消費者設計產品。01設計原則理論方法設計思維在商業模式的發展和個體消費需求的增長趨勢下，設計師從同理心出發解決設計問題。02智能算法工具軟件計算設計在摩爾定律和數據型科學范式的影響下，設計師用智能算法和工具軟件解決設計問題。03智能設計04在大模型的推動下，設計師使用模型調用設計理論和實踐經驗等知識，在人機協作中完成設計任務。模型知識來源：John Maeda，Design In Tech Report 2017設計能力的躍升 8設計能力的躍升設計能力的躍升鏈接能力/整合能力/拓展

5、能力在21世紀，我們將見證的不僅僅是100年的發展，而更像是20,000年的進步。We wont experience 100 years of progress in the 21stcenturyit will be more like 20,000 years of progress.雷庫茲韋爾：加速回報定律，2001Ray Kurzweil,The Law of Accelerating Returns,2001全人類知識空間設計知識空間鏈接設計師與模型知識大模型能為設計師提供更全面和準確的知識支持，幫助設計師使用理論和實踐經驗，加速設計流程，提高設計質量。鏈接設計師與非設計師大模型能

6、將設計知識轉換成圖像等更形象的媒介，幫助跨職能人員之間的設計理解，促進團隊的協作溝通。鏈接能力 9設計能力的躍升鏈接能力設計師需要學習大量抽象的設計知識，并不斷在實踐中轉化為設計能力，進而運用在設計任務中。/設計師與模型知識/鏈接大模型將抽象的知識以文本、圖像、視頻等形象化方式呈現，支持設計師在設計任務中快速使用。鏈接能力 10來源：Codex Community;Kaedim3d設計博主 Codex Community 運用人工智能內容生成（AIGC）工具推進鞋類網頁設計的創意迭代。該博主采用 ChatGPT 編寫創意方案，并將該創意方案作為文字提示輸入到 Midjourney 中，進而獲得

7、多樣化的鞋類設計網頁，快速完成創意設計。#行業實踐加速創意迭代Kaedim 平臺支持由圖片引導的快速和高清化 3D 模型生成。該功能使設計師能夠更加迅速地將創意轉化為 3D 模型，從而進行實時的視覺評估與改進。這種工作流顯著提升了設計的迭代速度，能幫助設計師更快地實現設計目標。加速工作流推進#解決方案/設計師與非設計師/鏈接由于設計師與非設計人員對設計概念、設計語言以及設計實踐的理解不同，彼此間的溝通與協作非常困難。借助大模型形象化的生成能力，不同領域的抽象知識得以形象化呈現，實現設計師與非設計人員間的高效鏈接。鏈接能力 11麥肯錫的研究報告顯示，協作性更強的跨職能團隊將為公司帶來更高的業績提

8、升，推動業務的可持續發展。通過積極擁抱 AIGC，原有設計團隊可以充分利用智能設計工具和外部設計供應鏈，從單一的設計職能團隊轉變為綜合能力更強的復合型團隊，從而促進業務創新。#行業實踐推動團隊轉型升級Dora AI 是一個無代碼網站構建平臺，借助 AI 生成技術，平臺可以通過文本快速生成可編輯、可交互的網站，也可以方便地創建網頁交互動畫。這能夠降低跨職能設計團隊成員間的溝通成本，加快網頁設計迭代和反饋的循環，提升設計師與前端開發人員間的協作效率。賦能跨職能團隊協作#解決方案來源：Dora AI;McKinsey,Redesigning the design department,2022全人類

9、知識空間設計知識空間整合跨學科設計知識大模型可以整合跨學科的設計知識，為設計師提供更全面和深入的支持，幫助他們在設計中更高效地運用跨領域知識。整合跨領域設計流程大模型能夠根據設計師所提供的需求與約束，整合跨領域的設計流程，幫助設計師生成兼具創意和實用性的設計方案。整合能力 12設計能力的躍升整合能力/跨學科設計知識/整合不同學科的知識以各自獨立的形式存在，難以作為統一的設計資產得到有機整合，難以被設計師靈活地使用。大模型具備了整合跨領域知識的能力，幫助設計師在各類設計任務中更高效、更全面地查詢、使用跨學科知識。整合能力 13來源：Opus.ai;AndoAndo 是 Figma 中的一款插件，

10、被譽為設計師的 AICopilot。該插件能夠協助設計師整合現有的設計需求、參考圖像與元素形狀等設計資產，啟發設計師關于界面設計的創意，支持設計師通過文本描述設計目標得到設計參考。Opus.ai 是一款通過自然語言構建 3D 可交互場景的工具。該工具可以整合創建 3D 場景所需的模型、紋理等資產，并以用戶輸入的文本需求為驅動，逐步完善 3D 游戲場景。在設計過程中，用戶提供的設計資產越豐富，輸入的文本描述越精準，最終得到的場景細節也越完善。大模型的出現為推動跨學科知識融合提供了新的機遇。例如在仿生設計中，大模型可以整合生物學、工程學與設計學的知識，得到融合了蝴蝶元素的機械式座椅。#解決方案整合

11、跨模態設計資產#行業實踐推動跨領域知識融合/跨領域設計流程/整合UI設計、產品設計、建筑設計等垂直領域的概念設計流程大相徑庭?？珙I域設計需要掌握不同的設計流程。在大模型時代下，跨領域設計流程逐漸整合為“想法表達-模型生成-手工微調-成品導出”的過程。整合能力 14來源：造物云;Meta AI ResearchImageBind 是由 Meta 的研究人員推出的一項技術，能夠統籌多種模態的設計任務。該 技術整合了文本、圖片、音頻、深度圖、熱力圖和 IMU 數據等六種不同的設計資源，以應對如“音樂+圖像-視頻”的跨模態設計任務。在該模型的支持下，面向不同形式任務的設計流程可實現共融共通。造物云在生

12、成式大模型的助力下，將商品攝影、宣傳視頻、營銷文案中的設計元素統一成了人、貨、場三大類別，發布了 AIGC+3D 融合的設計輔助創作平臺。該平臺可以幫助品牌、電商、設計公司低成本、高質量地創作海量商品營銷內容，實現從“內容即服務”到“模型即服務”的模式創新。統一跨應用設計元素#行業實踐統籌跨模態設計任務#學術前沿全人類知識空間設計知識空間拓展大模型的知識界限大模型本身具備巨大的潛力，設計師可以通過特定領域的設計數據對大模型進行微調以拓展模型的知識界限。拓展設計師的能力邊界大模型在設計師不擅長的領域為其提供知識支持，拓展其能力邊界，在協作中幫助設計師創造更出色和復雜的設計作品。拓展能力 15設計

13、能力的躍升拓展能力/大模型的知識界限/拓展模型的能力受限于所用的訓練數據和方法，拓展模型適配于其他領域的數據標注和訓練成本十分高昂。只需給予簡單的提示，大模型就能迅速地理解并將已有預訓練知識快速遷移到對應的領域中。拓展能力 16來源：Alibaba Design;網易嚴選創新設計中心網易嚴選的設計師利用 Midjourney 平臺，以文本關鍵詞的引導方式，將文生圖模型運用到了多種下游設計任務中。網易嚴選在實際設計業務中的應用探索包括生成品牌調性圖、商品氛圍圖、材質特寫圖、商用版權圖、產品設計圖以及服飾模特換裝圖等。天貓設計師基于 LoRA 模型，利用極少的舞臺空間設計圖對圖像生成大模型進行微調

14、，使其具備了設計舞臺空間的能力。在拓展模型知識界限的基礎上，通過輸入不同需求的文本描述，設計師就能利用大模型對不同的舞臺風格進行概念設計。針對特定對象的知識遷移#行業實踐針對下游任務的模型適配#行業實踐不同領域間存在知識壁壘，導致設計師難以利用不同領域的知識，解決不熟悉領域的設計問題。模型能夠整合海量多領域的知識，拓展設計師的能力邊界，支持跨領域復雜設計問題的解決。拓展能力 17/設計師的能力邊界/拓展來源：Figma插件parallax;Adobe Firefly;騰訊CDC體驗設計由 Denis 等人制作的 Figma 插件 parallax，能夠利用 AI 技術以 3D 視角排列平面設計

15、圖中各個圖層內的設計元素，讓設計師輕松地得到視差動畫效果，并進一步將其換為 HTML、SVG、GIF 和 WebM 等不同格式的設計產出。設計結果的多模態轉換#解決方案Adobe 在多個軟件中加入了 AIGC 工具，實現了在設計實踐中對平面設計師的全面賦能。全新的能力包括一鍵內容刪除和填充、一鍵更換場景、圖像邊界拓展、快速渲染 3D 白模、基于文本生成矢量花型圖片等。設計實踐的多維度賦能#解決方案騰訊 CDC 體驗設計團隊利用 ChatGPT，分析總結受眾的需求關鍵詞，并在 Stable Diffusion 等方法支持下生成運營效果圖像。在大模型工具的賦能下，設計師能更高效高質地串聯內容策略定

16、制、文本描述生成、圖文內容應用等設計流程。設計流程的多鏈路串聯#行業實踐我們總是高估未來兩年的技術改變，但低估未來十年的技術影響。We always overestimate the change that will occur in the next twoyears but underestimate the next ten.比爾蓋茨Bill Gates設計實踐的重塑設計實踐的重塑職業技能/設計品質/行業機會設計實踐的重塑 18智能水平提升，機械勞動取代挑戰：職業技能AI技術的發展，極大地提升了機器在重復性、基礎性設計工作中的效率。這使得設計師與AI間傳統的“工具關系”被打破，許多與底層

17、技法相關的“機械勞動”將逐漸被機器取代。職業技能 19來源：知衣科技;Alibaba Design 西湖心辰和知衣科技聯合推出了一款面向服裝設計行業的 AI 大模型 Fashion Diffusion。只需用戶選擇款式、顏色、材質等選項，即可在10秒內生成服裝在模特身上的實穿效果圖。通過對服裝行業專業數據的學習，Fashion Diffusion 大模型極大改變了傳統的服裝設計流程。ControlNet 等技術的出現，賦予了 AIGC 工具根據 N 種條件對1張圖像進行細粒度受控變換的能力。以建筑外觀設計為例，設計師能夠利用ControlNet，通過線稿草圖對建筑結構進行控制，并快速得到多種風

18、格渲染變換后的外觀效果圖。這種大模型的可控生成能力極大優化了設計建模、渲染中的機械勞動過程。服裝設計工作的優化建模渲染工作的取代#行業實踐#學術前沿打魚記是產品經理劉飛的漫畫作品。他在不使用任何額外素材的條件下，僅利用 Midjourney 通過文字描述創作完成。Nyric 是一個獨特的游戲設計平臺，允許設計師通過簡單的文本描述來創建和探索詳細而逼真的3D 世界，提供了更高的創建和定制自由度。職業技能 20/createlost city of Atlantis人機關系升級，創作門檻降低機遇：職業技能設計師與AI的關系從“工具關系”升級為“同事關系”，伴隨而來的“勸導式”的設計流程讓設計師更專

19、注于創造性內容的思考，從而在人機協作的過程中，借助大模型的計算和推理能力，創作的門檻被進一步降低。來源：SdPaint;打魚記漫畫創作;NyricSdPaint 是一款基于 Stable Diffusion 的實時繪畫工具。設計師在繪畫區域中每畫一筆，SdPaint 就能基于預輸入文本和已有的線稿內容，補全整張畫作。隨著設計師筆畫的增加，畫面的細節也將實時完善。通過與 AI 的協作，設計師最終完成整張畫作的創作。人機協作的創作賦能創意實現的門檻降低#解決方案#解決方案#行業實踐設計品質 21模型知識同化，設計風格受限挑戰：設計品質大模型是一個“收音器”，將所學的設計知識整合到模型中供設計師使用

20、；但受限于知識的有限性，模型無法做到無限制的創意賦能。隨著海量設計師利用同一模型進行設計流程的迭代，產品的設計風格可能趨于同化。來源：MidlibraryAIGC 工具雖然做到了對視覺設計、時尚設計、室內設計等跨領域設計流程的整合，降低了設計師在多個領域間遷移的難度，但也導致了設計師對各領域傳統設計技法的生疏。這會使得設計師逐漸轉向 AIGC 工具的提示詞工程師，進而約束設計領域的創新性、多樣性和靈活性，限制設計產品的獨特性，最終降低設計的品質。AIGC 工具的設計生成過程主要依賴于已知的數據，缺乏設計師天馬行空的創造力和想象力。過度依賴模型所具有的能力將導致設計實踐過程中的創意受到制約，使得

21、作品缺乏新穎性與突破性的設計元素。例如，在利用 Midjourney 等 AI 繪畫工具進行平面設計時，多樣的藝術風格會被固化為一個個關鍵詞，這些關鍵詞難以突破模型訓練時藝術風格數據的局限，作品的多樣性進而降低。包豪斯風格超現實主義新古典主義現代主義構成主義奧菲斯主義設計技法趨同#解決方案設計創意受限設計品質 22設計風格復用，用戶體驗提升機遇：設計品質大模型是一個“擴音器”，擴大設計師在實踐中所創造知識的影響力。通過設計風格提示詞復用、用戶體驗關鍵詞定制等形式，作品的“創意”將數字化為開源資產，在社區進一步的發展迭代中，推動整體設計品質的提升。來源：Civitai;KOZ設計研究所在 LoR

22、A 等小樣本微調技術的幫助下，設計師能將自己獨特的風格抽象成1個或多個可復用的提示詞，并通過這些提示詞激發模型在特定設計任務上的生成能力。在 Civitai 等平臺中，設計師們分享了大量優質的提示詞與相應的 LoRA 模型。這種設計風格的“開源化”，能夠給行業帶來更多的創新活力，推動行業整體設計品質的提升。設計師能夠基于不同特征的用戶數據引導大模型做出定制化的設計決策，從而針對性地提升不同用戶的產品體驗。例如，Netflix 根據用戶的觀影行為、風格喜好等數據為不同特點的用戶群體進行畫像，并針對性地推送不同的電影劇照。為行業帶來可復用的設計風格為大眾帶來定制化的用戶體驗#解決方案#行業實踐行業

23、機會 23技法壁壘消失，行業沖擊加劇挑戰：行業機會不斷涌現的AIGC工具降低了設計的門檻，提供了自動化、智能化的設計能力，打破了設計行業傳統的技法壁壘。這樣的趨勢將加劇行業內部的競爭，使得設計師需要不斷提高自己的專業水平和創造力，從而保持職業競爭力。來源：Galileo AI;即時AI;PLUG AIPLUG 推出了智能包裝設計服務Package Design AI。用戶只需上傳自己的圖像素材，Package Design AI就能在一小時內自動完成不少于1000組的商品包裝設計。這極大改變了包裝設計的傳統流程，影響了包裝設計師的就業。Galileo AI 是一款基于文本生成 UI 界面的 A

24、I 工具，可以根據用戶對 App 界面元素、風格主題等的需求描述，自動生成符合要求且具有一定復雜性的頁面。這改變了傳統 App 頁面設計的方式，極大地降低了 App 界面設計的技法門檻，影響了 UI 設計從業者。即時 AI 是即時設計推出的 AIGC 產品，通過用戶的自然語言表述，最快只需 30 秒即能生成可編輯的 App 界面設計初稿，從而幫助設計師甚至非設計人員完成設計任務。UI設計的行業變革#解決方案包裝設計的行業變革#行業實踐行業機會 24智能物種爆發，行業機會涌現機遇：行業機會行業被沖擊得越深，機會也將被創造得越多。大模型時代的智能化，將帶來“智能物種”的大爆發，促使所有領域的產品迭

25、代升級。因此，各行各業對設計的需求將隨之增長，行業機會大量涌現。來源：Home Design AI;小綠裙AI設計;浙大設計在大模型的支持下，面向不同領域的產品將迎來全面進化，從而具備更加強大的學習和決策能力，能更加高效、準確、創造性地解決領域中的實際問題。未來，設計、教育、科研、編程、商業等所有行業將涌現大量設計需求，為傳統工作流程帶來全新的變革。Home Design AI 是一款集成了40余種風格的家裝設計工具。用戶能夠輕松且快速地看到對已有的家裝進行風格變換后的效果。對于用戶的需求，模型只需文本和參考圖像等簡單的輸入，就可以將其映射為令人滿意的設計結果，使得人人都能成為自己的設計師。由

26、 AIGC 生成的小綠裙設計作品近日在小紅書走紅，并迅速被商家進行打版和銷售。這種由 AIGC 先出設計圖，再由用戶驅動推進制造的 C2M 模式正迅速重塑傳統的電商規則。模型推動的設計大眾化#行業實踐模型賦能的智能物種爆發#解決方案#學術前沿25挑戰智能設計智能設計行業沖擊加劇技法壁壘消失設計風格受限模型知識同化機械勞動取代智能水平提升設計風格復用用戶體驗提升人機關系升級創作門檻降低鏈接能力整合能力拓展能力機遇智能物種爆發行業機會涌現在大模型的推動下，設計師使用模型調用設計理論和實踐經驗等知識，在人機協作中完成設計任務。大模型時代：智能設計的機遇與挑戰報告未來10年的科技進步，將超過之前100年的總和。Well experience more technological progress in the coming decade than we did in the preceding 100 years put together.The top trends in tech麥肯錫,2021報告團隊浙江大學：尤偉濤、程卓藝、陸胤瑜、陳實、孫凌云阿里巴巴：楊光、楊昌源、楊智淵浙江大學國際設計研究院阿里巴巴設計浙江大學-阿里巴巴前沿技術聯合研究中心特別鳴謝中國人工智能學會-智能創意與數字藝術專委會