《浙江大學：2025當藝術遇見AI：科藝融合的新探索報告（47頁）.pdf》由會員分享，可在線閱讀，更多相關《浙江大學：2025當藝術遇見AI：科藝融合的新探索報告（47頁）.pdf（47頁珍藏版）》請在三個皮匠報告上搜索。

1、攆茶圖 局部 劉松年（南宋）絹本設色 44.2*61.9 厘米 臺北故宮博物院Where Art meets AI科藝融合的前沿探索科藝融合的前沿探索Part of the“Tea Grind”Liu Songnian（Song Dynasty）Ink and color on silk 44.2*61.9 cm Taipei Palace Museum主講人：唐 談浙江大學藝術與考古學院2025/4/21揭命紙托命紙補洞帖斷紋全色接筆揭命紙托命紙補洞帖斷紋全色接筆處理畫芯處理畫芯古畫修復流程古畫修復流程揭命紙托命紙補洞帖斷紋揭命紙托命紙補洞帖斷紋全色全色接筆接筆處理畫芯處理畫芯古畫修復流程古

2、畫修復流程江亭晚景圖董源（五代）江堤晚景大風堂臨本張大千（1946）色彩復原效果色彩復原效果菩薩焚香圖早期黑白照片菩薩焚香圖原作現狀照片菩薩焚香圖復原臨摹文晢 繪色彩復原效果色彩復原效果原始圖像收集畫作推測配色還原色彩修復圖像色彩復原流程色彩復原流程洞庭波兮山崨嶪,川可濟兮不可以涉。木蘭為舟兮桂為楫,渺余懷兮風一葉。洞庭波兮山崨嶪,川可濟兮不可以涉。木蘭為舟兮桂為楫,渺余懷兮風一葉。洞庭東山圖趙孟頫（元代）色彩推理色彩推理色彩直方圖色彩空間圖搜圖洞庭洞庭波兮波兮山山崨嶪崨嶪考證色彩推理色彩推理洞庭洞庭波波兮兮山山蜓橐，蜓橐，The waves ripple on the Dongting La

3、ke,with mountains poised like dragonflies resting on the water.川川可濟兮不可以涉?？蓾獠豢梢陨?。The river can be crossed by boats,but cannot be waded through.木蘭木蘭為舟兮桂為楫，為舟兮桂為楫，A boat made of magnolia wood,with paddles made of cassia wood.渺余懷兮風一葉。渺余懷兮風一葉。As I drift along,my thoughts are as fleeting as a leaf in the

4、 wind.意象意境意象意境色彩推理色彩推理賦詩必此詩，定非知詩人。賦詩必此詩，定非知詩人。蘇軾（北宋）書鄢陵王主簿所畫折枝二首詩畫詩畫本本一律一律，天工與清新。，天工與清新?！霸姰嬕宦伞薄霸姰嬕宦伞鼻锞諣N然圖秋菊燦然白，入門無點塵。秋菊燦然白，入門無點塵。蒼黃蒼黃能不染，骨相本來真。近海生明月，清談接晉人。漫持酤酒去，看到歲朝春。能不染，骨相本來真。近海生明月，清談接晉人。漫持酤酒去，看到歲朝春。吳昌碩（近代）“詩畫一律”“詩畫一律”蒼黃蒼黃能不染，骨相本來真。能不染，骨相本來真。蒼紅蒼紅能不染，骨相本來真。能不染，骨相本來真。0.5770.4840.4220.5150.00020.0003

5、CLIP Sim“詩畫一律”：跨模態“詩畫一律”：跨模態0.5770.5110.4220.3620.00020.125CLIP Sim既有隱逸名，何須寄籬下？慣受風雨欺，秋來摘盈把。既有隱逸名，何須寄籬下？慣受風雨欺，秋來摘盈把?！霸姰嬕宦伞保嚎缒B“詩畫一律”：跨模態秋菊燦然圖秋菊燦然白，入門無點塵。蒼黃能不染，骨相本來真。既有隱逸名，何須寄籬下？慣受風雨欺，秋來摘盈把。秋菊燦然白，入門無點塵。蒼黃能不染，骨相本來真。既有隱逸名，何須寄籬下？慣受風雨欺，秋來摘盈把?！霸姰嬕宦伞保嚎缒B“詩畫一律”：跨模態詩畫融合大模型詩畫融合大模型樹木蔥蘢爭蔭濃，江畔風吹枝葉飄。燈籠樹梢點綴處，彩旗飄揚兩舟

6、前。春雨沐草滋人生，祥龍喜兆降瑞年。山勢舒坦靜若盼，礬頭云卷煙霞間。樹木蔥蘢爭蔭濃，江畔風吹枝葉飄。燈籠樹梢點綴處，彩旗飄揚兩舟前。春雨沐草滋人生，祥龍喜兆降瑞年。山勢舒坦靜若盼，礬頭云卷煙霞間。詩畫融合大模型詩畫融合大模型模型規模參數量視覺側骨架視覺側參數量文本側骨架文本側參數量Top1召回Top5召回Top10召回CN-CLIPRN5077MResNet5038MRBT339M3.65.817.3CN-CLIPViT-B/16188MViT-B/1686MRoBERTa-wwm-Base102M6.512.218.7CN-CLIPViT-L/14406MViT-L/14304MRoBERT

7、a-wwm-Base102M2.214.423.0CN-CLIPViT-L/14336px407MViT-L/14304MRoBERTa-wwm-Base102M4.315.125.9CN-CLIPViT-H/14958MViT-H/14632MRoBERTa-wwm-Large326M5.015.120.1詩畫融合大模型詩畫融合大模型958MViT-H/14632MRoBERTa-wwm-Large326M65.584.288.5https:/ 10）相似度分數圖像召回試驗圖像召回試驗色彩一致意境一致洞庭東山圖圖像召回試驗圖像召回試驗千里江山圖王希孟（北宋）洞庭漁隱圖吳鎮（元）圖像召回試驗圖

8、像召回試驗木蘭為舟木蘭為舟兮兮桂為楫桂為楫,渺余懷兮,渺余懷兮風一葉風一葉。洞庭東山圖趙孟頫（元）美要眇兮宜修，沛吾乘兮美要眇兮宜修，沛吾乘兮桂舟桂舟。湘君選自九歌湘夫人嫋嫋兮嫋嫋兮秋風秋風，洞庭波兮，洞庭波兮木葉木葉下。下。圖像召回試驗圖像召回試驗山居圖錢選（元）圖像召回試驗圖像召回試驗00.020.040.060.080.10.120.140.160.180.2色彩一致意境一致綜合排序（Top 10）相似度分數圖像召回試驗圖像召回試驗江堤晚景圖董源(943-962)江堤晚景大風堂臨本張大千(1946)傳統色彩修復流程傳統色彩修復流程集畫推色還原輸入輸出智能協同修復流程智能協同修復流程挑戰一

9、畫作收集數量龐大挑戰二畫作還原費時費力PColorizor:Re-coloring Ancient Chinese Paintings with Ideorealm-congruent PoemsZJU AAI LABACM Symposium on User Interface Software and Technology(CCF-A)Tan Tang1,2Yanhong Wu3Peiquan Xia1Xiaosong Wang1,2Yingcai Wu3Wange Wu11 School of Art and Archaeology,Zhejiang University,Hangzho

10、u,China2 Laboratory Of Art And Archaeology Image,Zhejiang University,Hangzhou,China3 State Key Lab of CAD&CG,Zhejiang University,Hangzhou,Chinahttps:/tantang.org/pcolorizer-public輸入圖像局限三幻覺局限一：知識庫局限二交互古畫鑒賞的初步探索古畫鑒賞的初步探索舉杯玩月圖馬遠（宋）古畫鑒賞的初步探索能識別題材：山水能識別畫面內容：山峰、雨霧、亭臺樓閣、人物能識別印章廢話廢話廢話古畫鑒賞的初步探索表示不確定需要更多信息但能猜

11、出宋代或元代分析過程不直觀，不客觀古畫鑒賞的初步探索其實是兼工帶寫其實是淡彩特征提取基本正確輸入：中國古畫有一些【基本特征】：【材料】指作畫媒介的材料，包含【紙本】【絹本】【金箋】【綾本】【版畫】等，其中大多數是【紙本】或【絹本】；【形制】表示畫的形狀，包含【立軸】【冊頁】【長卷】【扇面】【橫幅】【鏡片】等；【題材】為畫作的主題，是中國古畫分類的一大依據，包括【山水】【人物】【花鳥】；【技法】則分為【工筆】【寫意】【兼工帶寫】；【設色】表示畫作的色彩使用，包含【設色】【水墨】【墨書】【淺設色】【淡彩】【重彩】【白描】【吳妝】【青綠】【螺青】【淺絳】等?，F在，不給上面這幅畫作（記作“畫作A”）和

12、其他畫作的另外信息，請從畫面和你已經知道的知識，分析出畫作A的這5個基本特征【材料】【形制】【題材】【技法】【設色】分別是什么。古畫鑒賞的初步探索接下來，我會給你若干個標注了【基本特征】的例子。在我舉例時，請回復“繼續”，當我給出指令【請鑒定】時，請你根據前面的例子，以這樣的格式分析畫作的特征：“畫作n：材料：絹本形制：立軸題材：山水技法：兼工帶寫設色：淡彩”泛舟圖朝代：宋畫家：馬遠材料：絹本形制：冊頁題材：山水技法：寫意設色：螺青古畫鑒賞的初步探索材料：絹本 形制：立軸 題材：山水技法：兼工帶寫設色：水墨 螺青山居圖馬遠（宋）古畫鑒賞的初步探索梅石溪頹圖馬遠（宋）材料：絹本 形制：立軸 冊頁

13、題材：花鳥技法：寫意 兼工帶寫設色：水墨加彩 水墨古畫鑒賞的初步探索無法判斷畫家數據增強的大模型推理初始的GPT模型對于鑒賞的準確度并不高，尤其是可視化解讀方面，展示了分析過程中的困難?；咎卣骺梢暬屪x熱力圖分析作者信息搜索了解畫作基本構成元素了解畫作創作背景數據增強的大模型推理prompt引導下的 prompt引導下的 基本特征可視化釋讀基本特征可視化釋讀prompt引導（告知gpt分析的角度）在prompt引導下，GPT的“基本特征可視化釋讀”能力有所改善。迭代數據增強的大模型推理微調后的直接 微調后的直接 基本特征識別在提示后，GPT還能在不經過圖表輔助的情況下完成“畫作基本特征識別”

14、其鑒賞能力在一定程度上有所提升基本特征可視化釋讀熱力圖分析圖表輔助下的 畫作基本特征識別&迭代數據增強的大模型推理利用切片識別畫作基本特征利用“切片分析”來探究畫作的各個部分的特征與風格，鑒定成功案例比率稍有提升。微調后的微調后的畫作基本特征Prompt引導后的Prompt引導后的畫作基本特征GPT能夠完成畫作的鑒定集成集成集成細節分析與應用數據增強的大模型推理最后，在“綜合鑒賞與作者研究”階段，我們通過“總體分析”來綜合考量畫作的各個方面，深入研究作者的生平和創作風格，以獲得對古畫更深層次的理解。利用切片識別畫作基本特征通過prompt讓GPT對古畫進行總體分析，GPT給出了自己對古畫的理解

15、但是直接利用GPT做古畫鑒賞需要prompt引導，微調，切片，可視化等一系列手段，十分繁瑣。因此，我們開發了ArtEyer。綜合鑒賞ArtEyerEnriching GPT-based Agents with Contextual Data Visualizations for Fine Art AuthenticationArtEyer通過多個大模型代理的協同工作，為古畫提供圖文并茂的鑒賞意見，使非專業用戶也具備古畫鑒賞的能力。ArtEyer海量畫作數據作者畫作總覽策略1:總體特征不合作者偏好ArtEyer策略2:題跋印章空間位置不正確ArtEyer策略3:書畫技法不符合作者ArtEyer策

16、略4:人造物（衣、食、住、行）的時代錯誤ArtEyer:Enriching GPT-based Agents with Contextual Data Visualizations for Fine Art AuthenticationZJU AAI LABVisual Informatics1 Laboratory Of Art And Archaeology Image,Zhejiang University,Hangzhou,China2 State Key Lab of CAD&CG,Zhejiang University,Hangzhou,China3 School of Art and Archaeology,Zhejiang University,Hangzhou,Chinahttps:/doi.org/10.1016/j.visinf.2024.11.001Tan Tang1,3Yanhong Wu2Junming Gao1Yanjie Zhang3Yingcai Wu2Kejia Ruan1Shuainan Ye2Xiaojiao Chen1,3