1、 Table_yemei1 觀點聚焦 Investment Focus Table_yejiao1 本研究報告由海通國際分銷,海通國際是由海通國際研究有限公司,海通證券印度私人有限公司,海通國際株式會社和海通國際證券集團其他各成員單位的證券研究團隊所組成的全球品牌,海通國際證券集團各成員分別在其許可的司法管轄區內從事證券活動。關于海通國際的分析師證明,重要披露聲明和免責聲明,請參閱附錄。(Please see appendix for English translation of the disclaimer)研究報告 Research Report 19 Jan 20238 中國計算機和軟件
2、中國計算機和軟件 China Computer&Software 小樣本學習:類人智能算法的初級形態,加速垂直場景下的 AI 普惠化 Few-shot learning:The Primary Form of Human-like Intelligence Algorithms,Accelerate AI Inclusive in Vertical Scenarios Table_Info 股票名稱 評級 股票名稱 評級 ??低?Outperform 廣電運通 Outperform 恒生電子 Outperform 寒武紀 Outperform 用友網絡 Outperform 衛寧健康 Out
3、perform 寶信軟件 Outperform 太極股份 Outperform 科大訊飛 Outperform 航天信息 Outperform 廣聯達 Outperform 新點軟件 Outperform 中科創達 Outperform 道通科技 Outperform 國聯股份 Outperform 航天宏圖 Outperform 奇安信 Outperform 稅友股份 Outperform 視源股份 Outperform 易華錄 Outperform 大華股份 Outperform 中望軟件 Outperform 中科曙光 Outperform 中科星圖 Outperform 浪潮信息 Ou
4、tperform 新大陸 Outperform 啟明星辰 Outperform 安恒信息 Outperform 四維圖新 Outperform 概倫電子 Outperform 景嘉微 Outperform 拉卡拉 Outperform 資料來源:Factset,HTI Related Reports 計算機行業跟蹤周報 293 期:各行業信息化持續推進(Computer Industry Weekly Report(293):Various Industries Continue to Promote Informatization)(9 Jan 2023)計算機行業 2023 年 1 月研究
5、觀點:2022 年全球軟件股行情回顧:全球軟件股股價回調的一年(Computer Industry January 2023 Research Opinion:2022 Global Software Stock Market Review:A Year of Global Software Stock Price Pullbacks)(3 Jan 2023)(Please see APPENDIX 1 for English summary)類人智能學習是類人智能學習是 AI 界始終追逐的終極目標。界始終追逐的終極目標。自 2006 年以來,深度學習的出現極大的推動了人工智能的研究進展,人類
6、似乎找到了解決“抽象概念”的方法。人工智能借助深度學習的力量,已可以在多個應用場景落地,特別是互聯網領域。但就總體發展而言,目前的人工智能距離類人類智能還有很長的路要走。類人智能學習是 AI界始終追逐的終極目標。類人智能的小樣本學習。類人智能的小樣本學習。如果用形象的比喻來說,深度學習(DL)是解決計算機“運籌帷幄”的問題(大量數據形成規律和抽象概念),而小樣本學習是解決計算機“照貓畫虎”的問題(少量數據形成決策)。深度學習更擅長分析規律和預測趨勢,而小樣本學習則具備舉一反三的能力。小樣本學習相當符合人類的思維推理模式,是實現類人人工智能的必由之路。小樣本小樣本研究研究領域的領域的發展發展現狀
7、現狀。2011 年至 2015 年,由于小樣本理論不完整,相關論文較少。自 2015 年以來,隨著深度學習的興起,小樣本學習進入深度學習階段,相關研究論文的數量呈線性大幅增長。國家間,在小樣本學習研究領域的競爭也十分激烈,美國和中國是最大的兩個研究產出國,而美國的私營部門在小樣本學習的投入領先于其他國家。小樣本學習可以解決小樣本學習可以解決 AI 商業落地難題商業落地難題。2015 年是小樣本學習研究進展的分水嶺,開始真正進入深度學習階段,進而帶動 AI 產業的實質性應用落地。小樣本學習算法的性價比最優,不需要大量數據的標注準備,極大降低了數據標注、算力以及 AI 交付的工程化成本,對 AI
8、應用普惠化起到了至關重要的作用。工業視覺檢測是小樣本學習的典型應用場景。工業視覺檢測是小樣本學習的典型應用場景。小樣本學習相關的任務中,計算機視覺是最活躍的研究領域,而 AI 視覺檢測是小樣本學習在工業領域的突出應用。建議關注:建議關注:作為小樣本學習領域的典型代表,我們建議重點關注:創新奇智(2121.HK),阿丘科技(未上市)。當下,小樣本學習領域已成為一個熱點和重點研究方向。AI 的發展從來都是量變到質變的不斷積累,比如深度學習框架的出現極大推進了人工智能的進展,又比如 ChatGPT 在 NLP 領域語義理解能力的實質性突破。我們認為,小樣本學習這種類人智能算法在與深度學習的結合下,將
9、在各個應用領域不斷創造實用價值。鑒于目前計算機視覺是小樣本學習最為活躍的領域且發展較成熟,應重點關注在計算機視覺方面有實際應用落地能力的公司。風險:風險:小樣本學習的研究進展緩慢,實際應用落地進展不及預期。Table_Author Liang Song 557085100115Jan-22Apr-22Jul-22Oct-22Jan-23HAI China Computer&SoftwareMSCI China 19 Jan 2023 2 Table_header2 中國計算機和軟件中國計算機和軟件 1.引子引子 計算機之父圖靈在 1950 年的論文中提出了圖靈試驗的設想,進行人機對話,這是人工
10、智能的起端。如果從近半個多世紀的發展歷程來看,人工智能的研究其實并不順利,而一些歷史階段可以用十分緩慢來形容。自 2006 年以來,深度學習的出現使人類期望的人工智能變得不再遙不可及,人類似乎找到了解決“抽象概念”的方法。隨著 Google、Facebook、Amazon 等商業巨頭的加入,極大加速了深度學習的進程,在信息搜索、圖像識別、語音識別、氣候預測、地理數據等各個領域,尤其是 to C 的互聯網領域,深度學習已得到廣泛應用。但就目前的總體發展而言,深度學習雖然在商業人工智能領域取得了顯著的進步,但距離類人類智能還有很長的路要走。1.1 深度學習深度學習 2006 年,機器學習領域的泰斗
11、,加拿大多倫多大學的 Hinton 教授,在Science上的一篇著名論文開啟了深度學習的浪潮。谷歌的 DeepMind 就是深度學習(Deep learning)和強化學習(Reinforcement learning)的結合體。DeepMind開發的 AlphaGo,通過將強化學習和深度卷積神經網絡的有機結合,在圍棋領域已達到了超人類的水平。圍棋的大數據從 2000 年開始積累,人類在網上對弈的棋局,通過機器觀摩和訓練數以千萬計的棋譜,逐漸形成圍棋人工智能。深度學習是一種數據建模的隱含分布的多層表達機器學習算法。簡單來說,就是自動提取分類中所需要的多層次(高、低)的特征集。因此,深度學習能
12、夠更好的表達數據的特征。同時,由于模型的層次、參數很多,深度學習能夠對大規模數據進行學習表達,比如在圖像、語音等特征不明顯的領域,可以在大規模訓練數據的基礎上取得很好的學習效果。深度強化學習也可以理解為是一個連續決策的過程,僅提供一個回報函數來決定當前狀態會產生什么樣的結果,從數學本質上來說是一個馬爾科夫決策過程(MDP),即某一狀態信息包含了所有相關的歷史信息,只要當前狀態可知,所有的歷史信息都不再需要,當前狀態就可以決定未來,該狀態具有馬爾科夫性,該決策過程可稱為馬爾科夫決策過程。在強化學習中,馬爾科夫決策過程是對完整可觀測的環境進行描述,也就是說觀測到的狀態內容完整地決定了決策所需要的特
13、征。幾乎所有的強化學習問題都可以轉化為 MDP 問題,其最終目的是讓決策過程中整體的回報函數期望值最優。深度學習可以借助類人腦網狀結構的神經網絡,解決很多實際問題。例如:圖像搜索,人臉識別,實時翻譯和語言識別等等。而強化學習則進一步推動深度學習,比如游戲,可以通過強化學習,自我競賽,實現自我進化。近幾年,大型語言模型取得了巨大進步。2019 年,OpenAI 的 GPT2 成為第一個擁有超過 10 億個參數的模型;2020 年,GPT3 風靡 AI 社區,它擁有 1750 億個參數;2021 年,谷歌 Switch Transformer 模型(1.6 萬億參數)和北京智源研究院“悟道”(1.
14、75 萬億參數)模型打破萬億參數規模。未來,大型語言模型的規??隙ㄟ€將繼續增長,比如:OpenAI的 GPT4(ChatGPT 是 GPT3.5)。隨著算力和數據資源的增長,深度學習發展出“越大越好”的原則。于是,財力雄厚的 AI 大廠斥巨資研發超大模型,特別是在 NLP 領域。但是,構建越來越大的模型也隨之帶來挑戰,前 Google 大腦主導者和前百度首席 AI 科學家吳恩達提出了四大障礙:3WpXfZkZfUoPzRsQ7NbPbRsQoOtRnOfQrRrQfQnPoO6MmNsONZmQoQwMmNtM 19 Jan 2023 3 Table_header2 中國計算機和軟件中國計算機
15、和軟件 (1)數據:大模型需要大數據,但有時候高質量的有效數據難以獲得,且成本高昂。行業越來越意識到數據質量至關重要,但尚未就編譯大規模、高質量數據集的有效方法達成共識。數據、算法、算力,被稱為 AI 的三駕馬車。其中,數據對于算法模型的效果至關重要:以深度學習為核心的 AI,為了避免發生過擬合或欠擬合的情況,需要使用大量數據進行模型訓練,從而使模型達到最佳的擬合度。通過大量數據訓練的算法,從理論上來說沒有問題,但當 AI 走向落地場景,情況就變得復雜。機器訓練的高成本,目前已是業界共識,據公開信息的統計,在整個人工智能項目開發過程中80%的工作量都是準備訓練數據。除了模型訓練的高成本,找到大
16、量可用于標注的訓練數據的成本也相當高。由于信息安全、工作量等原因,很多定制化的人工智能項目,往往難以獲得大量有效的標注數據,很多垂直應用場景根本就不存在大量有效數據,而沒有大量的數據就無法進行有效的機器學習。因此,降低數據準備對人工智能普惠化的商業落地至關重要。比如眾多的碎片化場景,采集到的數據是否有效,無效的數據會形成噪聲干擾,需要額外進行處理。沒有足夠量的數據,就難以訓練出好的算法模型,解決各種垂直場景問題變得很困難。(2)速度:處理龐大的模型對硬件的要求越來越高。為了減少處理延遲,Switch Transformer 背后的 Google 團隊開發了一種方法,可以為每個 Token 處理
17、選定模型層子集。模型預測速度比參數數量只有其 1/30 的模型快 66%。微軟開發了 DeepSpeed庫,可并行處理數據、單層和層組,并通過在 CPU 和 GPU 之間劃分任務來減少冗余處理。(3)能源:訓練龐大的網絡會消耗大量的電能。2019 年的一項研究發現,在 8 個Nvidia P100 GPU 上訓練一個 2 億參數 Transformer 模型,幾乎和一輛普通汽車跑五年的碳排放量一樣多。開發新一代的 AI 芯片至關重要,如 Cerebras 的 WSE-2 和谷歌最新的 TPU,可能有助于減少碳排放。(4)交付:龐大的模型集中部署可能會導致延遲,而小規模部署,能力又較弱。所以,2
18、022 年大語言模型仍然以千億參數模型為主,超過萬億的參數模型需要解決部署問題。1.2.類人智能學習類人智能學習 深度學習確實對人工智能起到了巨大的推動作用,但同時,其也存在著天生的缺陷。一直以來,人工智能都依賴大量的數據進行模型訓練,但這帶來了過度收集個人數據、數據標注工作量大,數據領域存在“數據孤島”等問題。深度學習是基于大數據,通過多層網絡實現對“抽象概念”的理解,數據越多其效果相應就越好。而對于人類來說,推理是一項天生技能,只需要從少量數據樣本中學習,利用特征+推理的方法往往就可以進行有效的判別,這就是人類舉一反三的能力,即便沒有過去的知識積累,專業知識欠缺,也有“照貓畫虎”的可能性。
19、從這個角度來說,以深度學習為核心的人工智能還遠遠不及人類,人類面對陌生環境依然能夠通過學習做出適應變化。因此,“類人智能學習”首先要解決深度學習的這種弊端,即不依賴大數據也能進行自我學習。吳恩達認為:高質量數據當然是越多越好,但是在農業、制造、醫療等領域的諸多應用場景中,沒有大量數據可用,小數據學習方法論將成為 AI 的下一個發展趨勢。比如單樣本學習(One-shot Learning)、小樣本學習(Few-shot Learning)、自我監督式學習(Self-supervised Learning)、后設增強式學習(Meta RL)等。他在Landing AI 的團隊,也有不少關于小數據的
20、研究,包括正在研發的 Meta RL 農業和制造業應用。另外,目前的 AI 已經改變了軟件互聯網產業,但應用于其他行業仍有許多工作要做。在消費互聯網中,一個單一的人工智能系統可以為數十億用戶提供服 19 Jan 2023 4 Table_header2 中國計算機和軟件中國計算機和軟件 務,但在制造業中,每個制造工廠可能都需要自己的 AI 模型。小數據的人工智能是一項迅速崛起的技術,它將是實現人工智能普惠化的關鍵。蒙特利爾大學教授,圖靈獎獲得者 Yoshua Bengio 認為:在過去的幾十年里,人工智能取得了驚人的進步,但在商業方面,離人類智能還很遠。我們需要更好地理解這個差距,并設計出新一
21、代的人工智能系統來彌補這個差距。我們工作旨在改進人與機器之間的交互,這種交互能夠以人類容易理解和接受的方式解釋他們正在做什么。因此,必須破解機器學習的“黑匣子”,將其改變為更具結構化,類似于人類有意識的方式來構思和交流。這就像人類的直覺,人類可以做出涉及直覺的決定,它可能是一種高級推理,但就目前的機器學習狀態,這種能力仍然遙不可及。Meta AI 研究中心主任 Joelle Pineau 認為:元宇宙亟需小樣本學習和持續學習 AI技術,因為它將使人工智能能夠快速適應新任務,滿足快速迭代的新需求。例如來自 OpenAI 和 Meta、WebGPT 和 BlenderBot 2.0 的最新語言模型
22、,它們可以在網上檢索對他們提出的問題的最新答案。目前大多數 AI 算法仍然專注于被動數據,數據量相對較大、穩定,同質化嚴重,這種算法可能適用于互聯網時代的人工智能模型,但我們希望將人工智能的能力帶入元宇宙,就需要支持快速變化社交屬性的新算法。香港科技大學計算機科學及工程學系教授楊強曾強調:擁有大數據的人是少數,且數據標注成本巨大,這種情況下,擁有數據越多的人,就能做出越好的人工智能產品,能夠提供更好的服務,并持續吸引更多的用戶貢獻數據。如此循環,會形成“數據寡頭“,進而成為”人工智能寡頭“。另外,從技術上來講,深度學習必須具備大數據,而經過學習訓練后的知識又很難遷移到新的領域,這將導致計算機的
23、學習效率不高。小樣本學習提供了一種緩解問題的方案,可以讓創新型公司在數據較少的領域也能提供人工智能的創新服務。清華大學的鄧志東認為:深度卷積神經網絡,嚴重依賴于大數據(必須是完備的大數據,包括極端與緊急情況下的大數據,否則就不能達到人類水平的泛化能力)。而人類則是可以進行推理的,只需要從小數據、小樣本中學習,然后用特征+推理的方法就可以進行可靠的判別,也就是人類具有舉一反三的能力。比如說辨別飛機。人工智能要識別出飛機,就必須對各種型號、各種位姿、各種光照、各種背景、各種遮擋等各種情況下全世界的所有飛機照片進行監督訓練,才能依靠分級分層特征的自動提取精確地識別出飛機。但是對人類來說,只需要預先看
24、少量的照片或實物,就可以很容易地推斷出其他飛機,并不需要太多數據。這就是人類獨有的能力,即基于特征提取+推理的小樣本、小數據的學習能力。(以上為公開信息,HTI 整理)前述多位 AI 領域大咖在談到類人類智能和 AI 普惠化的主題時都提到了“小樣本學習”?!靶颖緦W習”其實并不是什么新概念,甚至比神經網絡的出現還要早。比如:小樣本學習里的一種學習方法-貝葉斯學習(Bayesian Program Learning,BPL),是利用參數的先驗分布,由小樣本信息求得后驗分布,并計算出總體分布。這種方法使用概率表示所有形式的不確定性來實現學習和推理過程。BPL 方法通過了視覺圖靈測試,可以觀察到每個
25、訓練樣本的假設預測概率的增加或減少,其核心目的就是解決“一眼識別”的問題。小樣本學習的決策有可能是錯誤的,特別是在沒有形成先驗概率之前,學習方法的不斷優化是解決目標數據集偏差的唯一途徑。劍橋大學教授 Zoubin Ghahramani 認為 BPL 對人工智能、認知科學和機器學習是一個重大貢獻。而 Geoffrey Hinton 肯定了 BPL 模型通過視覺圖靈測試的意義,并認為 BPL 這類小樣本學習方法改變了計算機不能從單一樣例中形成概念的傳統理念。CVPR 會議是計算機視覺領域的頂級年度峰會,計算機視覺關注目標檢測與分類、遷移與小樣本學習和人體識別。在 2020 年的會議上公布的數據顯示
26、:2020 年 19 Jan 2023 5 Table_header2 中國計算機和軟件中國計算機和軟件 所提交的論文中,與小樣本學習相關的目標檢測與識別相關的論文數量明顯多于其他領域,理論研究成果突顯。圖圖 1:CVPR 2020 年論文數量統計年論文數量統計 資料來源:德勤,GitHub,HTI 1.3.小樣本學習可以解決小樣本學習可以解決 AI 商業落地難題商業落地難題 根據 2020 年 Gartner 人工智能調查報告,只有 53%的 AI 算法原型最終被落地部署,這些算法需要不斷迭代。2020 年,工信部賽迪研究院副總工程師、人工智能產業創新聯盟秘書長安暉公布過一個數據,全球近 9
27、0%的人工智能公司仍處于虧損狀態,中國 AI 產業鏈中 90%以上的企業也處在虧損階段。使用小樣本學習可以在人工智能項目落地過程中徹底解決對大量訓練數據的依賴,而由于減少了數據標注的工作量,模型訓練的成本和周期也在降低。目前越來越多的主流人工智能公司開始對小樣本學習方向發力,比如 1STEP.AI 已經可以在SMP 小樣本學習的比賽中,對小于十個樣本的情況下,做到文本意圖識別 83.4%的準確率。衡量一家人工智能公司是否具有落地能力,主要看這家公司是否滿足用戶需求、算法、算力和數據能否解決用戶的痛點。使用小樣本學習不僅能解決數據問題,同時可以降低訓練對算力的要求,人工智能公司可以把全部精力放在
28、研究算法來解決用戶痛點上,簡化了人工智能落地的復雜度。目前,基于小數據算法應用于長尾的應用場景已是國內平臺公司和創新型公司不斷深入的新興領域。比如:在城市治理方面,商湯在共享單車違停、亂丟垃圾檢測以及遛狗合規性洞察等小眾、長尾需求等方面的嘗試;早在 2020 年,商湯已開始聚焦長尾應用,在世界人工智能大會上商湯用了很大篇幅介紹其 AI 長尾應用。另一家典型的小數據算法公司創新奇智,近幾年在智能制造、AI 質檢等制造業領域,實現了 AI 場景化落地的突飛猛進。19 Jan 2023 6 Table_header2 中國計算機和軟件中國計算機和軟件 圖圖 2:機器學習成本序列:機器學習成本序列 資
29、料來源:Jiebo Luo,University of Rochester;HTI 從上圖中可以看出,小樣本學習的性價比最優,是垂直領域 AI 商業落地的關鍵因素。(無監督學習其實是一種數據挖掘統計分析方法,比如聚類算法。)1.4.深度學習與小樣本學習的核心區別深度學習與小樣本學習的核心區別 如果用形象的比喻來說,深度學習(DL)是解決計算機“運籌帷幄”的問題(大數據形成規律和抽象概念),而小樣本學習是解決計算機“照貓畫虎”的問題(少量數據形成決策)。深度學習更擅長分析規律和預測趨勢,而小樣本學習則具備舉一反三的能力。清華大學的鄧志東認為基于大數據的卷積神經網絡雖然博大精深,但也有明顯的缺陷。
30、首先首先,現在的深度卷積神經網絡,只能夠做分割與識別,如果有垂直細分領域的完備大數據的話,它甚至可以達到或超越人類的水平。但它目前的語義理解能力有限(語義理解目前更多是在 NLP 領域),只是把對象看成是一個向量?!氨热缫粋€杯子,深度卷積神經網絡目前無法實現語義的理解,它僅僅是把杯子看成是一個向量或一個符號,所以它沒有太大的感知可靠性。同樣的,現在的語音識別雖然已取得巨大進步,但還做不到人類的水平,原因是深度卷積神經網絡還不具備類人的語義理解能力,它只能看清、聽清,還不能看懂、聽懂。(ChatGPT 的出現有可能標志著機器學習在 NLP 領域的語義理解能力的突破)其次其次,還是眾所周知的數據來
31、源問題。只要有完備的大數據,弱人工智能在特定的應用場景有可能達到甚至超過人類的水平,但要取得完備的大數據,對很多開放的應用場景,并不存在。這也大大制約了大數據人工智能的應用和相關行業的發展。另外,拿到大數據之后,還要對它進行清洗、脫敏和標注,這同時也是一項巨大的工程,并需要行業專家的高度參與。最后最后,深度卷積神經網絡是一個全局逼近網絡。也就是說,當輸入任何一個樣本時,它的所有連接權都會通過反向傳播發生改變。換句話說,網絡任何一個連接權發生變化,都會造成模型的輸出發生變化。形象的比喻就是:結識新朋友,忘了老朋友。而人類不是這樣的,人類神經元的突觸變化是局部的,不會因為感知一個新的樣本輸入,而改
32、變對一個事物或目標的原有感覺。在這一點上,人類做到了結識新朋友,不忘老朋友。另外,深度卷積神經網絡還有其他一些問題,比如黑箱問題。不管是連接權、網絡結構、超參數等,物理意義不大,是不可解釋的。鄧志東提出,發展基于人類“特征提取+推理”的小樣本、小數據學習方法是 AI 真正實現類人化的關鍵環節??偨Y:總結:深度學習是機器學習發展中一個很重要的里程碑,在很多任務上深度學習都取得了巨大的成功。而小樣本學習擬合人類智能,在數據量較少而清晰的情況 19 Jan 2023 7 Table_header2 中國計算機和軟件中國計算機和軟件 下,可以更好的發揮其特長。深度學習和小樣本學習在不同的任務上各有特點
33、,類人智能學習和深度強化學習應該是一個融合的方向,因為這樣更符合人類學習和決策的過程,從而真正提升人工智能的整體水平。圖圖 3:機器學習演進:機器學習演進 資料來源:Weiran Huang,華為諾亞方舟實驗室高級研究員;清華大學交叉信息研究院;HTI 2.什么是小樣本學習(什么是小樣本學習(Few-Shot Learning,FSL)?)?首先來看機器學習的定義,根據香港科技大學和第四范式的研究人員在 2020 年發布的一篇論文,機器學習的定義是:一個計算機程序可以從經驗 E 中學習一些類別的任務 T 以及由 P 來度量性能,通過度量 P 的任務 T 上來提高 E。進一步,小樣本學習的定義:
34、是指一種機器學習方法(由 E、T 和 P 規定),其中 E 只包含帶有監督信息的有限樣例,而 T 是新的目標生成任務。簡單來說就是,一個任務(T)是在僅有少量樣本的情況下生成一個新特征樣本,計算機程序使用 E 進行學習,E 包含帶有監督信息和預訓練概念,比如部分先驗經驗。這個新生成的特征樣本以視覺圖靈測試(P)的通過率進行評估辨別圖像是由人類還是機器生成的,以此判斷小樣本學習的擬人化特征的準確性。簡單來說,小樣本學習其實就是研究如何用較少的樣本數據訓練出一個性能較好的模型的方法論集合,是一種研究方向,廣義上包括多種學習方法。人類可以將其他領域所積累的知識應用到對新領域理解的過程中,在很少的樣本
35、中獲得某個新領域的知識,這個過程比起機器學習需要依賴成千上萬的數據作為訓練數據來說快捷很多(當然如果完全從零開始學習一個新知識,學習速度也是緩慢的)。小樣本學習與人類學習新領域的方式相當接近。它細分了很多種方法,但都是通過對其他各個領域知識的積累,在新的領域中尋找與所積累的知識的共性,從而快速的對新領域知識進行學習。機器學習就是從數據中學習,從而使完成任務的表現越來越好。小樣本學習是具有有限監督數據的機器學習。類似的,其他的機器學習定義也都是在機器學習定義的基礎上加上不同的限制條件衍生出來。例如,弱監督學習是強調在不完整、不準確、有噪聲、數量少的數據上學習;又比如半監督學習是強調在少量標注數據
36、和大量非標注數據上學習,遷移學習是把充足數據上學習的知識遷移到數據匱乏的任務上??偨Y來說,小樣本學習本質上其實也是在追求未來的通用 AGI。目前,機器學習是建立在統計相關性之上,需要大量數據才能學習到較為可靠的模型。人類的小樣本辨別屬性來源于認知,小樣本學習也許可以從根本入手,包括數據的結構性&非結構性、邏輯的因果性、視覺的不變性等。理想的學習,是希望能夠降低模型的期望風險。也就是在未來不管有什么樣的樣本,都能夠很好的預測出來。但模型的聯合分布,一般是未知的,所以需要預測估算。在機器學習里面一般是優化經驗風險,但公式里面的經驗風險是通過訓練集里面有多少樣本來獲得的,如果訓練樣本只有很少的標注數
37、據,經驗值 E 將很小,最終得出的結論可能相當不可靠。最小化的風險經驗估值是小樣本學習的難點,需要探索各種小樣本學習算法加以解決,真正的類人小樣本學習能力,還需依靠整個 AI 領域的根本性突破。19 Jan 2023 8 Table_header2 中國計算機和軟件中國計算機和軟件 3.小樣本學習的歷史演進小樣本學習的歷史演進 根據一篇名為“Learning from Very Few Samples:A Survey”的論文(作者:Jiang Lu,Pinghua Gong,Jieping Ye,Fellow,IEEE,Jianwei Zhang,Member,IEEE 和 Changshu
38、i Zhang,Fellow,IEEE),我們對小樣本學習的演進過程進行總結。機器學習的一般機制是使用在先前準備的訓練樣本上學習的統計模型對未來數據進行預測。在大多數情況下,模型的泛化能力由足夠數量的訓練樣本保證。然而,在許多現實應用中,由于只允許訪問很少的可訓練數據,比如識別幾種不常見的動物,而由于它們的稀有性,可能只有幾張帶注釋的圖片。這些需要從很少的例子中學習的問題首先引起了 E.G.Miller 等人的注意。2000 年,他假設了數字變換的共享密度,并提出了一種聚類算法,使測試數字圖像與特定類別的聚類數字圖像相一致。此后,越來越多的人開始致力于 FSL 的研究。FSL 研究的發展過程大
39、致可分為兩個階段,非深度階段(2000 年至 2015 年)和深度階段(2015 年至現在)。分水嶺是 G.Koch 等人在 2015 年引入深度學習和 FSL問題的首次結合。在此之前,針對 FSL 問題提出的所有解決方案都是基于非深度學習方法。大多數著名的早期非深層 FSL 方法都基于生成模型,尋求在給定監督(比如一個類)的情況下估計聯合分布 P(X;Y)或條件分布 P(XjY),在相當少的觀察訓練樣本上,從貝葉斯決策的角度對測試樣本進行預測?;谏赡P偷?FSL 方法中的幾個里程碑,包括 E.G.Miller 等人的聚類算法,L.Fei Fei 等人的變分貝葉斯框架(VBF)以及 B.M
40、.Lake 等人的貝葉斯程序學習(BPL)。聚類算法是研究如何從很少的樣本中學習的最早創始人;VBF 是闡明“one-shot learning”這一術語的第一個論文;而 BPL 則是利用人類的合成能力,概念認知中的因果關系和想象。在非深度階段,FSL 研究進展緩慢。隨著深度學習的蓬勃發展,特別是 CNN(卷積神經網絡)在視覺任務上取得的巨大成功,許多 FSL 研究者開始將目光從非深度模型轉向深度模型。2015 年,G.Koch 等人率先將深度學習納入 FSL 問題的解決方案中,提出了基于孿生卷積網絡CNN(Siamese CNN),對成對的樣例進行無相關類別的相似性度量學習(Metric l
41、earning),這標志著 FSL 新時代的開始,即深度階段。之后,FSL 方法充分利用了深度神經網絡在特征表示和端到端模型優化方面的優勢,從各個不同角度解決 FSL問題,包括數據增強、度量學習和元學習等,將 FSL 研究推向快速發展的新時期。在深度階段盡管也提出過一些基于生成模型的方法,比如神經統計學和順序生成模型,但基于分類模型的 FSL方法主導了 FSL研究的發展。近年來,涌現了大量基于元學習的 FSL 方法,如 O.Vinyals 等人的匹配網絡、C.Finn 等人的 MAML、S.Ravi 和H.Larochelle 的元學習 LSTM、a.Santoro 等人的 MANN、T.Mu
42、nkhdalai 和 H.Yu 的MetaNet、J.Snell 等人的原型網、F.Song 和 H.Li 等人的 LGM Nets 等等,元學習策略已成為 FSL的主流。在這個時期,各種先進的 FSL方法已被直接應用或改進,以解決計算機視覺、自然語言處理、音頻和語音、數據分析、機器人等領域的各種應用,而廣義 FSL 和多模態 FSL 也已經出現。簡單來說,FSL 的演變歷史見證了從非深度階段到深度階段的轉變,生成模型和分類模型之間主流方法的交替,以及經典元學習思想的復興。目前,與 FSL 相關的研究成果經常出現在許多頂會中,吸引了機器學習領域的廣泛關注。19 Jan 2023 9 Table
43、_header2 中國計算機和軟件中國計算機和軟件 圖圖 4:小樣本:小樣本學習的歷史演進學習的歷史演進 資料來源:論文“Learning from Very Few Samples:A Survey”,HTI 4.小樣本學習方法研究小樣本學習方法研究 根據一篇 2022 年 5 月發表的名為“A Comprehensive Survey of Few-shot Learning:Evolution,Applications,Challenges,and Opportunities”的 論 文(以 下 簡 稱“A Comprehensive Survey”)(作者:Yisheng Song,T
44、ing Wang,Subrota K Mondal,Jyoti Prakash Sahoo),FSL 學習方法可大致分為單模態學習和多模態學習學習,單模態學習可以進一步分為數據增強、遷移學習和元學習,主要側重于將有限的信息轉換為更高級別的功能向量或元知識。多模式學習更接近人類智能的真實世界,依靠有限的樣本,實現跨域智能識別。FSL 的關鍵在于樣本有限不能反映實際的數據分布,需要生成基于特定概率模型的附加數據或者使用來自擴展數據的大量未標記數據來擴展輔助數據集?,F有的工作重點是探索特征差異和特征提取,并通過人工制定的規則或自動學習的數據處理方式來實現 FSL 學習過程。整體分類法以金字塔的形式呈
45、現,底層代表了“云-邊緣-終端”的邊緣計算場景,在此基礎上,根據所需知識的整合程度,將 FSL 分為四個層次。19 Jan 2023 10 Table_header2 中國計算機和軟件中國計算機和軟件 圖圖 5:小樣本學習的分類層次:小樣本學習的分類層次 資料來源:論文“A Comprehensive Survey”,HTI 4.1 數據增強數據增強 在實際的 FSL 任務中,支持和查詢數據集通常由于隱私、收集成本和標簽成本而受到限制。為了解決這個問題,數據增強被認為是最直接的方法,以增加 FSL 中的樣本豐富度。然而,FSL 數據增強的核心問題是增強的數據集如何評估真實數據的分布?;跀祿?/p>
46、強技術是否可以重復用于其他任務中。FSL 數據增強可分為人工制定規則和自動學習數據處理。4.1.1 人工定制規則人工定制規則 人工定制的規則需要專家的專業知識。具有代表性的成果是 Bouthillier 等人提出的在隨機矩形區域中隨機丟棄像素,來生成模擬噪聲的矩形塊。類似操作還包括FSL 中的隨機擦除和填充等。然而,簡單地依靠單一樣本的簡單變換不能防止過擬合的風險。數據級增強數據級增強 數據級增強主要是對輸入數據的轉換,目的是通過對數據進行輕微的修改來擴大現有數據,以實現模型輸入的多樣性。隨機擦除和隨機裁剪是經典的算法,通過模擬不同缺損程度的圖像,從而提高模型的泛化性。這種方法往往需要大規模的
47、數據集作為支持。在 FSL 中,要實現這一點并不容易。相反,CSEI 不需要額外的數據集,具體的操作是擦除來自度量函數的支持集中的大部分區分區域,并使用恢復操作將其替換為圖像填充。FTT 通過對一些瞬時轉換的屬性進行線性插值來豐富數據集,如不同的天氣和照明。Z Chen 等人提出了一種端到端分割圖像的方法,即使圖像經歷各種扭曲,仍能保留重要的語義信息。圖像扭曲和 GNN(圖形神經網絡)之間最顯著的區別是,圖像扭曲只是將兩個圖像線性地縫合在一起。該方法能夠在不損 19 Jan 2023 11 Table_header2 中國計算機和軟件中國計算機和軟件 失分類的情況下實現最大的變形。此外,通過使
48、用現實世界中大量的未標記數據集進行補充,這也是一個數據增強的方向。最后,當源集和目標集都只有有限數量的樣本時,AdarGCN 實現從互聯網資源中抓取數據,并自動去除無關的噪聲,以實現可控的數據增強。綜上所述,數據級的數據增強側重于通過像素轉換和像素生成來增加樣本的數量?;跀祿壍闹饕獢祿鰪姺椒ㄈ缦拢簣D圖 6:數據級增:數據級增強方法強方法 資料來源:論文“A Comprehensive Survey”,HTI 注:基于數據水平的 FSL 數據擴充主要包括互聯網數據采集、環境變異、差異遷移和隨機裁剪填充等。特征級增強特征級增強 在 FSL 中,特征級增強比數據級增強更有效。特征級增強主要是將
49、像素信息映射到一個高維的潛在空間中。它比單純的原始像素攜帶更有效的信息。Gao 等人首先探索了少樣本數據背后的潛在分布,并提出了一種對抗性協方差增強網絡來克服FSL 的局限性。Chu 等人試圖計算每個補丁的特征表示,而不是整個圖像。每個小補丁由 RNN 連接,圖像的特征進一步融合,該啟發式算法遠遠優于簡單的注意力模型。Zhang 等人從另一個角度解釋部分特征學習,提出使用預先訓練好的模型將視覺特征分解為三個部分,然后選擇原始、前景和背景圖像重新拼接成新的視覺特征。類似地,Laso 探索了高維空間中不同數據集之間的特征差異,通過集合的交叉和互補來組合不同的標簽,可以使圖像在特征級別上同時包含來自
50、多個類的關鍵信息。將這部分圖像作為支持集進行訓練,可以顯著提高小樣本的分類性能。圖圖 7:基于特征層級的增強方法:基于特征層級的增強方法 資料來源:論文“A Comprehensive Survey”,HTI 注:基于特征級的數據增強主要分為全局特征和局部特征。全局特征聚焦于整個圖像,包括前景和背景。而局部特征是有選擇性地關注于前景中的主題部分。19 Jan 2023 12 Table_header2 中國計算機和軟件中國計算機和軟件 4.1.2 自動學習數據處理自動學習數據處理 2018 年,隨著元學習的成熟,數據增強進入了自動增強的領域。通過元學習與其他數據增強方法的結合,出現了大量優秀的
51、研究成果。Hu 等人受到 DARTS 算法的啟發,將數據增強抽象為多個子策略,每個子策略根據不同的 FSL 任務有一定的選擇概率。除了基于概率的方法外,另一種方法是基于生成的方法。Li 等人提出了對抗性特征虛擬網絡-AFHN。虛擬的多樣性和辨別特征是基于少量的標記樣本。Chen等人試圖訓練一個元學習 learner,并生成一個網絡,通過融合一對圖像來端到端學習圖像之間的異同。MetaGAN 在此基礎上引入了一個基于任務條件的對抗性生成器,幫助 FSL 任務在不同類之間形成可擴展的決策邊界。此外,探索支持數據集中類之間和類內部的可遷移差異也有意義,而自動編碼器用于遷移學習的差異性判別,這與基于度
52、量的視覺相似度計算不同。圖圖 8:自動學習數據處理的主要方法:自動學習數據處理的主要方法 資料來源:論文“A Comprehensive Survey”,HTI 注:學習式數據處理的目的是在多個任務空間中學習一個策略生成器,從而自動匹配不同的任務。與人工定制規則相比,它最大的好處是可以被復用。為了最大限度地評估 FSL 任務中真實數據的分布,數據增強已經從人工制定規則演進到自動學習的數據處理階段,分水嶺是 2018 年元學習的成熟。4.2 遷移學習遷移學習 遷移學習是為特定的問題構建了數據到標簽的映射,同樣是為了解決 FSL 中只有少數甚至沒有標記樣本的問題。通過特征重用來解決 FSL 數據缺
53、失問題是遷移學習的核心思想?;驹硎窃趶V泛的數據集上進行預訓練,然后在有限的支持集上進行微調。當源域和目標域存在較大差距時,知識轉移的效率比較低,這種跨域設置為 FSL 帶來了新的挑戰。在 FSL 中,遷移學習可以大致分為預訓練階段和微調階段,被稱為基線階段(base-line)。19 Jan 2023 13 Table_header2 中國計算機和軟件中國計算機和軟件 圖圖 9:遷移學習的預訓練和微調架構:遷移學習的預訓練和微調架構 資料來源:論文“A Comprehensive Survey”,HTI 4.2.1 預訓練和微調預訓練和微調 在預訓練模型出現之前,自然語言處理領域進展緩慢。
54、隨著計算能力的提高和預訓練模型的提出,2012 年至 2018 年期間,在計算機視覺和自然語言處理領域出現了大量優秀的研究成果,如 MobileNet、ResNet、ELMO、GPT 和 BERT 等等。如何利用優秀的模型獲得特征將在很大程度上減輕 FSL 數據的壓力,特別是對于少樣本圖像分類。作為預訓練模型,需要使用外部大規模標簽數據集從類似的任務中提取先驗知識。最常見的做法是設計一個沒有分類器層的主干模型,其中包括卷積神經網絡或自動編碼器。模型的輸入是一組圖像,輸出是嵌入在高維空間的特征向量。高維特征向量獲得了關于目標圖像的足夠的有效語義信息。預訓練后則是微調,預訓練的大部分參數被凍結,在
55、測試階段只更新分類層參數。許多研究成果表明,與基線模型相比,微調可以將 5way-1shot 任務(5 個類別,每個類別 1 個樣例)的準確率提高 2%-7%。預訓練和微調有助于提高 FSL 的準確性,這些結論在自然語言處理中也很類似。微調可以嵌入到最先進的元學習或半監督學習框架中,以優化模型參數,目前已被廣泛應用于植物病蟲害鑒定、道路檢測和自動問答等應用任務中。4.2.2 跨域小樣本學習跨域小樣本學習 遷移學習還有一個跨域學習的問題。在許多實際應用中,為特定任務收集各種形式的數據集并不現實,在不同領域間 FSL 的適用性成為挑戰。長期以來,FSL 常用的基準數據集存在標準化數據集結構和自然場
56、景相似性的問題,導致模型在標準數據集上表現良好,但在現實任務中效果很差。谷歌于 2020 年首次發布了 FSL 跨域數據集,其中有 10 個公開圖像數據集,包括 ImageNet、CUB-200-2011 等。但這些數據集仍然只專注于自然場景,無法被廣泛地視為跨領域的小樣本基準數據集,直到出現 BSCD-FSL 數據集。目前,跨域 FSL 側重于通過遷移學習來區分與領域無關的特征和領域自適應技術。領域自適應的目標是將知識從源域轉移到目標域,目標域的類別集相同,但與源域的數據分布不同。近年來,許多研究工作都使用自適應網絡將其特征與一個新的域校準,或從多個主干模型中選擇與域無關的特征。19 Jan
57、 2023 14 Table_header2 中國計算機和軟件中國計算機和軟件 4.3 元學習元學習 元學習是推導出獨立于特定問題的任務到目標的模型映射。元學習從數據和任務的雙重采樣中學習歷史先驗知識,然后提取元知識以應用于未來的任務。元學習獨立于特定的問題,在任務空間中探索最優的初始化參數,拋棄了傳統監督學習下與任務無關的特征表達。到目前為止,大多數元學習模型都采用傳統梯度下降的參數進行更新。當然,也有基于強化學習和度量方法的非梯度下降方法。在 FSL 中,元學習可以用于自動化模型參數學習、度量函數和信息傳遞。4.3.1 模型參數學習模型參數學習 大多數深度學習框架使用不同的參數初始化方法,
58、比如均勻分布、正態分布等。這種隨機初始化的最大問題是很容易落入局部最優。元學習的目標是訓練一個超參數生成器(超參數是在開始學習之前設置的參數,而不是通過訓練得到的數據。通常情況下,需要對超參數進行優化,以提高學習的性能和效果),經典的方法是 MAML、Reptile 以及它們的派生變體。MAML 通過計算每個任務的優化方向來確定全局優化方向。與 MAML 相比,Reptile 可以一次更新更少的參數。元學習被證明比使用標準的 FSL 基準數據集的遷移學習表現得更好。然而,元學習對網絡結構更為敏感,需要對超參數進行微調。目前,MAML 已被廣泛應用于各種任務中,并產生了各種變體來解決各種問題。比
59、如 MAML+,FOMAML,Meta-SGD、TAML、iMAML、iTMAML 等。學習優化器是模型參數學習的另一個重要方向。LSTM 作為基本優化器,接受在t 和 t-1 時間元網絡隱含狀態的差異,而原生網絡的輸出是對模型的權重和偏差的更新。2016 年,Xu 等人提出了 BPTT 監督 LSTM 培訓,這是在有監督學習的上下文中執行的。在無監督和主動學習的設置下,研究者致力于強化學習、貝葉斯推理和進化算法,試圖通過啟發式算法自動找到優化策略。傳統的神經架構搜索(NAS)也結合了元學習的思想,并在 FSL 下對其進行了相應的調整。最近的大量研究表明,單樣本 NAS 和傳統 NAS 之間存
60、在性能差異。單樣本 NAS 使用權重共享網絡只對超級網絡進行一次訓練,然后進行一輪推理以獲得準確的預測,大大減少了實驗所需的計算量。Zhao 等人提出的基于小樣本 NAS,其核心思想是將超級網絡劃分為多個子網,以搜索空間的不同區域。隨著超級網絡數量的增加,小樣本 NAS 的精度可以大大提高。MetaNAS 是另一種完全集成元學習和傳統 NAS 的方法。MetaNAS 能夠在元學習的思想下實現更好的初始化參數,更好的適應下游學習任務。4.3.2 度量學習算法(度量學習算法(Metric Algorithm)度量學習不同于經典的元學習,度量學習不再將模型劃分為訓練和測試階段。度量學習是基于一個原型
61、網絡,經過改進,獲得了分類任務基準數據集。Siamese神經網絡是度量學習中一個相對較早的模型,可以簡單地看作是一個二元分類問題。模型的輸入由一組正負樣本對組成,模型需要在推理階段評估圖像的相似性。Triple loss 是在 FSL 度量學習中處理多對輸入的另一種方法。與 Siamese 神經網絡相反,Triple loss 需要正樣本、負樣本和錨定樣本同時可用。與 Siamese 神經網絡相比,原型網絡實現了分類的真正意義,最顯著的區別是,該模型允許使用更多的數據作為輸入,通過特征平均,找到最具代表性的樣本作為原型。然而,簡單的特征平均很容易受到噪聲的干擾。在此基礎上,許多研究已經探索了如
62、何使原型之間的距離越來越大,最具代表性的研究成果之一是提出正負邊緣(Positive and Negative Margins)的建議,它進一步減少了過擬合,增強了基于模型鑒別能力的泛化。19 Jan 2023 15 Table_header2 中國計算機和軟件中國計算機和軟件 圖圖 10:一個典型的度量學習框架:一個典型的度量學習框架 資料來源:論文“A Comprehensive Survey”,HTI 注:該框架對嵌入模型和原型模型進行端到端學習,利用學習到的嵌入特征計算查詢圖像與原型之間的距離,使不同類之間的距離更遠,使相同類之間的距離更近。匹配網絡(Matching Networks
63、),是一個更通用的網絡框架,它將小樣本數據集和未標記數據映射到嵌入空間中的向量。匹配網絡結合了最近鄰算法(nearest neighbour algorithm)的參數模型和非參數模型的最佳特征,通過學習嵌入表達來模擬樣本的距離分布。如何在有限的時間內學習高質量的嵌入表達,對于提高模型的精度具有重要意義?;谇度氡磉_的處理在 FSL 中起著至關重要的作用。關系網絡(Relational network),與上述模型的不同之處在于,其相似性是通過神經網絡計算的。與 Siamese 神經網絡和原型網絡相比,關系網絡可以被視為提供了一個可學習的非線性分類器來確定關系。該分類器可以是一個預先訓練過的神
64、經網絡或嵌入式模塊的特征提取器。關系網絡最重要的貢獻是脫離了單一的線性度量函數,并探索了使用另一種模型來產生相似性。4.4 信息傳遞學習信息傳遞學習 研究證明,圖神經網絡(GNNs)近年來在基于關系的任務上表現良好,其基于類的信息傳輸可以很好地幫助 FSL 學習識別新的類,同時避免這些類被專有特性所主導。早期的圖神經網絡通過在支持集和查詢集之間創建完整的連接來模擬不同節點之間的權值的傳播。節點可以用編碼或嵌入向量來表示,節點之間可以通過邊界來連接??紤]到圖神經網絡算法的復雜性,目前大多數圖神經網絡的層數都較淺。為了更好地適應 FSL,圖神經網絡用節點和邊界被單獨設計。下圖從探索小樣本分布的角度
65、,展示了圖神經網絡 FSL 的代表性算法。圖圖 11:DPGN 信息傳遞學習示意圖信息傳遞學習示意圖 資料來源:論文“A Comprehensive Survey”,HTI 19 Jan 2023 16 Table_header2 中國計算機和軟件中國計算機和軟件 DPGN(Distribution Propagation Graph Network)關注 GNN 中樣本之間的關系和樣本分布之間的關系。其中,點圖用來描述樣本,分布圖用來描述分布。這兩個GNN 通過傳遞信息,融合了樣例級和分布級的關系。另外,還有 EGNN、Meta-GCN、GERN、HGNN 和 Frog-GNN 等相關算法。
66、目前,圖神經網絡被廣泛應用于小樣本圖像分類、語義分割和實例分割等任務中。在 FSL 中,元學習主要探索從任務到目標模型的映射。它訓練了一個超調優設備,當它根據不同的任務收斂時,可以給出一組很好的超參數。然而,元學習并不是普遍適用于所有情況。當前的元學習理念需要有足夠的歷史任務,如果在某些問題上沒有足夠的任務,元學習可能無法解決問題。同樣地,如果源和目標之間的域差距太大,結果也會變差。4.5 多模態學習多模態學習 多模態是指不同類型的數據資源,比如文字、影像、音訊、影片等。在過去,AI 模型幾乎只能處理單一模態任務,比如只限于文字或視覺。但 2021 年出現不少多模態 AI 成果,比如 Open
67、AI 發表的 CLIP 和 DALL E 模型,能同時處理文字和影像,靠輸入文字就能產生圖片;還有 DeepMind 的 Perceiver IO。雖然這些新的多模態系統大多處于實驗階段,但也已經在實際應用中取得突破。例如開源社區將 CLIP 與生成對抗網絡(GAN)相結合,開發數字藝術作品。藝術家 Martin OLeary 使用 Samuel Coleridge 的史詩作品忽必烈大汗為輸入,生成了充滿迷幻色彩的“Sinuous Rills”。谷歌也表示,將為其搜索引擎添加多模態功能,它的多任務統一模型可以處理文本、音頻、圖像和視頻內容,用戶可以通過 75 種語言中的任何一種語言使用。(源自
68、公開信息)到目前為止,FSL 在單模領域已取得重大進展。在單模態學習中,模型主要負責將信息表示為特征向量,可以由計算機處理或進一步抽象為更高層次的語義向量。FSL 中的多模態學習是指通過利用多種模態之間的互補性和消除模態之間的冗余來學習更好的特征表達。通過融合多模態信息,可以提高模型對小樣本數據的感知能力。下圖為多模態條件下 FSL 的主要路徑。多模態的 FSL 主要是解決如何在特征表達的條件下,通過融合、校準和翻譯來對其他模態信息進行建模,以彌補對有效信息本身的缺乏。圖圖 12:多模態學習架構:多模態學習架構 資料來源:論文“A Comprehensive Survey”,HTI 19 Ja
69、n 2023 17 Table_header2 中國計算機和軟件中國計算機和軟件 多模態嵌入多模態嵌入 最近的研究表明,FSL 對某些任務的視覺特征有明顯的局限性。語義空間作為輔助信息,可以為視覺特征提供有效的上下文,來幫助 FSL。實驗表明,兩種或兩種以上模式的自適應組合比單模態 FSL 要好得多,通過整合多個視覺特征,為每個類別構建了弱語義監督。還有人使用變分自動編碼器(VAEs),基于潛在的視覺特征來建模語義特征,并通過添加類標簽、屬性和自然語言描述以及知識推理,進一步擴展了語義信息。通過嵌入損失函數(loss functions),將附加的語義信息與視覺特征校準,從而大大降低了知識遷移
70、的成本。從圖像中生成語義信息從圖像中生成語義信息 使用多模態 FSL 的另一個相關領域是文本到圖像的生成。在小樣本視覺分類任務中,基于視覺和語義的方法,使用文本描述來生成額外的訓練圖像,具有很好的研究潛力。比如:(1)利用生成對抗網絡(GAN)作為數據生成器對模型進行訓練,基于語義信息生成相應的視覺特征,通過結合原始視覺特征獲得增強的視覺特征;(2)分別探索生成圖像和特征向量,在零樣本學習領域取得了進展,將文本到圖像的生成遷移到目標檢測任務中,可以與當前的 FSL 集成,在上下文聯合學習階段實現一個更通用的模型;(3)通過連接兩個 CGAN(有條件約束的 GAN),來提高生成圖像的分辨率。多模
71、態 FSL 仍處于發展階段,目前還存在諸多挑戰,比如:如何組合來自異構域的數據,如何處理在不同模態組合過程中發生的不同級別的噪聲等等。在多模態FSL 中,一個好的特征表達應該能夠基于觀察到的模態信息填充缺失的模態。以上是 FSL 領域目前主要的學習算法,這些算法主要集中在圖像分類、字符識別、目標檢測、語義分割、圖像檢索、手勢識別、視頻目標檢測等應用領域。4.6 FSL 與與 AutoML 的結合的結合 AutoML 是一套主動學習算法框架,通過主動學習(Active Learning)技術,改變了監督學習的被動接受人工標注樣本的模式。在傳統 AI 算法開發流程中,從業務和問題定義,到數據采集和
72、標注、存儲管理、數據分析和可視化,再到模型結構設計、優化、最后到應用開發,流程復雜,且成本較高。涵蓋算法研發全流程的AutoML 可以從特征工程、模型構建、超參選擇,優化方法四方面實現自動化,其優勢在于:可減少算法生產成本,提高效率,并降低了算法生產門檻。在業界,已經有許多較為成熟的 AutoML 平臺,國外如 FeatureLab(自動特征工程)、Google Cloud Vertex AI NAS;國內則有第四范式的 AI Prophet AutoML 等,包括創新奇智的Orion 平臺也涵蓋了 AutoML 功能。小樣本學習是為了解決碎片化場景無法獲取大量數據訓練模型的問題,而AutoM
73、L 是在傳統算法模式下,通過主動學習來提高算法生產效率,解放人力成本。換句話說,小樣本學習解決小數據智能分析問題,AutoML 則是提高算法生產效率的方法,兩者互相結合,通過“特征提取+自動標注”的 FSL+AutoML 可有效實現小樣本、低成本和算法精度之間的平衡,改變了以往的算法生產模式,將算法生產帶入平民化和低成本時代。(以上內容來自中科智云,HTI 整理)19 Jan 2023 18 Table_header2 中國計算機和軟件中國計算機和軟件 5.小樣本小樣本研究研究領域的領域的發展發展現狀現狀 5.1 研究產出和發展方向研究產出和發展方向 近十年來,FSL 的研究得到了廣泛的關注,
74、并取得了重大研究進展,例如阿里巴巴提出的 KGBert 首次在 FSL 領域超越人類。論文“A Comprehensive Survey of Few-shot Learning:Evolution,Applications,Challenges,and Opportunities”,統計了近十年來與 FSL 相關的論文數量,2011 年至 2015 年,由于 FSL 理論仍然不完整,相關論文較少。自 2015 年以來,隨著深度學習的興起,FSL 相關研究論文的數量呈線性大幅增長。2020 年,相關論文的數量已達到 239 篇,引用次數達到了 2731 次,2021 年有所下降。圖圖 13:頂
75、會上發表的:頂會上發表的 FSL 相關論文數量相關論文數量 資料來源:論文“A Comprehensive Survey”,HTI 目前,與 FSL 相關的任務中,計算機視覺是最活躍的研究領域,包括圖像分類、對象檢測、語義分割和實例分割。下圖展現了小樣本學習領域的主要進展和研究方向。19 Jan 2023 19 Table_header2 中國計算機和軟件中國計算機和軟件 圖圖 14:小樣本學習領域的主要進展和研究方向:小樣本學習領域的主要進展和研究方向 資料來源:論文“A Comprehensive Survey”,HTI 在 FSL 數據集方面,經過 10 年的發展,FSL 基準數據集已完
76、成從單個域、單個數據集到跨域、多個數據集的演進。根據統計,2017-2021 年間,898 篇論文使用了 CUB-200-2011 數據集,占比 46.6%;587 篇論文使用了 Mini-ImageNet 數據集,占比 30.5%;335 篇論文使用了 Omniglot 數據集,占比 17.4%;44 篇論文使用了PASCAL-5i數據集,46篇論文使用了元數據集。從數量上來說、CUB-200-2011、Mini-ImageNet 和 Omniglot 基準數據集占據主導地位。圖圖 15:FSL 基準數據集使用情況基準數據集使用情況 資料來源:論文“A Comprehensive Surve
77、y”,HTI 19 Jan 2023 20 Table_header2 中國計算機和軟件中國計算機和軟件 另外,CSET 在 2021 年 9 月發布了一份報告(Small Datas Big AI Potential)。報告借鑒了其原始數據集,包括合并的學術文獻庫,涵蓋了全球 90%以上的學術產出,以展現小數據學習方法的研究進展、國家競爭力和資金投入情況。該報告將小數據學習方法分為了 5 大類:(1)遷移學習(Transfer Learning);(2)數據標注(Data labeling);(3)人工數據生成(Artificial data);(4)貝葉斯方法(Bayesian,代表元學習
78、的一種);(5)強化學習(Reinforcement Learning)。遷遷移學習移學習,前述已做說明,這里略過。數據數據標注,標注,這里提到的數據標注是指從有限的標記數據到大量的未標記數據,通過一系列方法來理解可用的未標記數據,如自動標記(自動生成標簽)或主動學習(active learning)。人工數據生成人工數據生成旨在判斷可用數據的基本結構并從中進行推理,來創建新的數據點或相關技術,最大限度地從少量數據中提取更多信息。從簡單的修改到更復雜的方法(如:在圖像分類數據集中裁剪或旋轉圖像等)。貝葉斯方法貝葉斯方法是機器學習和概率統計的一大類方法。簡單來說,貝葉斯方法提供了一種計算假設概率
79、的方法,基于假設的先驗概率、給定假設下觀察不同數據的概率以及觀察到的數據本身,并將未知參數的先驗信息與樣本信息相結合,再根據貝葉斯公式,得出后驗信息,然后根據后驗信息去推斷未知參數。貝葉斯方法更適合于數據有限的某些情況,側重于對其預測的不確定性進行校準評估,這在數據可用性有限的情況下很有幫助。貝葉斯方法是一個龐大的家族,不僅擅長處理小數據集,一些相關研究也使用大型數據集。強化學習強化學習是機器學習的范式和方法論之一,用于描述和解決計算機系統與環境的交互過程,通過學習策略(制定規則)以達成回報最大化或實現特定目標。強化學習的常見模型是標準的馬爾可夫決策過程(Markov Decision Pro
80、cess,MDP)。強化學習通常用于訓練游戲系統、機器人和自動駕駛車輛。盡管強化學習經常需要大數據,但該報告還是將它包含在內,原因是它使用的數據通常是在模擬環境中訓練生成的,而不是事先收集和標記的。下圖顯示了這些不同領域如何相互連接。每個點代表一個研究集群(即一組論文)。一個研究集群與另一個研究群組的線的粗細代表了兩個研究集群之間引用鏈接的強度。沒有連線表示沒有引用鏈接??梢钥闯?,雖然集群與同一類別中的其他集群聯系最緊密,但不同類別的集群之間也存在大量關聯。圖圖 16:小數據研究集群的網絡圖譜:小數據研究集群的網絡圖譜 資料來源:CSET,HTI 19 Jan 2023 21 Table_he
81、ader2 中國計算機和軟件中國計算機和軟件 就研究文獻數量而言,五類“小數據”方法在過去十年中有著截然不同的軌跡。強化學習和貝葉斯方法是兩個最大的類別。貝葉斯論文數量在過去十年中穩步增長,強化學習從 2015 年開始增長,隨后在 2017 年至 2019 年期間增長尤為迅速,這可能是由于深度強化學習的革命性進展。遷移學習在 2010 年時很少,但到了 2020年已有較大幅度增長。相比之下,在過去十年中,人工數據生成和數據標記研究的論文數量一直很低。圖圖 17:各小數據學習分類的研究趨勢:各小數據學習分類的研究趨勢 資料來源:CSET,HTI 5.2 國家國家研究產出研究產出競爭力競爭力 CS
82、ET 的報告根據發表的論文數量和引用數量等衡量標準,對各國在每一類別中的相對地位進行了統計,以了解國家間在小數據方法中的潛力。下圖顯示了在小數據發表文獻方面排名前 10 的國家的統計數據。與人工智能的總體發展趨勢一致,中國和美國是小數據相關研究的前兩大生產國,英國緊隨其后。中國在數據標注和遷移學習方法方面領先,而美國在貝葉斯方法、強化學習和人工數據生成方面領先。19 Jan 2023 22 Table_header2 中國計算機和軟件中國計算機和軟件 圖圖 18:前:前 10 個國家在小樣本學習領域的產出統計個國家在小樣本學習領域的產出統計 資料來源:CSET,HTI 下圖展示了按國家劃分的三
83、年增長預測。相對于美國和世界其他地區,中國在遷移學習方法的增長率我們預計會高出許多。這一預測可能意味著中國在遷移學習方面將取得更大的進步。圖圖 19:分地區各研究方向的發展預測:分地區各研究方向的發展預測 資料來源:CSET,HTI 下圖顯示了私營部門對小數據研究的資金投入情況。與政府實體相比,美國的私營部門似乎傾向于為小數據研究投入更多的資金,而不是一般的人工智能研究,并且明顯高于其他國家。19 Jan 2023 23 Table_header2 中國計算機和軟件中國計算機和軟件 圖圖 20:各各地區地區私營部門對小數據私營部門對小數據研究研究的投入情況的投入情況 資料來源:CSET,HTI
84、 根據以上 CSET 的報告,我們可以得出以下觀點:(1)美國和中國在小數據方法方面競爭激烈,美國在兩種最大的方法(強化學習和貝葉斯方法)中遙遙領先,但中國在遷移學習方面處于領先地位,并不斷增強。(2)相對于整個人工智能領域的投資模式,美國的私營部門在小數據研究方面更具投資興趣,遠高于其他國家。6.小樣本學習的應用小樣本學習的應用 目前,在各個應用領域都出現了小樣本學習的身影。最早出現的計算機視覺,如圖片分類、物體識別、圖片切割。后來是 NLP 領域,比如一些經典的關系抽取、NER 任務。如何通過微調或者構建一些模板,把只有少量標注數據的任務調到一些新任務上,是最近 NLP 領域的研究重點。除
85、了 NLP 領域,還有知識圖譜,比如處理出現的新實體、新關系,都可以通過小樣本學習的方法來完成。另外,還有新藥研發和機器人學。PaddleFSL 的小樣本學習。的小樣本學習。PaddleFSL 是一個基于飛槳的小樣本學習工具包。在這個工具包里,提供了簡單、易用、穩定的經典小樣本學習方法,并支持拓展新的小樣本學習方法。PaddleFSL 支持圖片分類、關系抽取、通用自然語言處理等一系列的任務,并包含這三個任務所涉及到的一些經典數據集。目前已經包含 CV 和 NLP 小樣本的經典應用,并且依托飛槳的生態,不斷擴展到新的領域。阿里云在阿里云在 NLP 領域的小樣本學習。領域的小樣本學習。中文語言權威
86、評測基準 CLUE 公開了中文小樣本學習評測榜單最新成果,阿里云平臺在大模型和無參數限度模型雙賽道總成績第一名。中文語言權威評測基準 CLUE 自成立以來公布了多項 NLP評測基準,在學術界、工業界產生了深遠影響。其中,FewCLUE 是 CLUE 最新推出的一項中文小樣本學習評測基準,用來評估機器學習模型是否可能通過少樣本的學習來把握特定的自然語言,解決現實問題。比如智能客服場景中的用戶用意辨認,僅需人工標注幾十條樣本,就能讓用意辨認的準確率達到 90%。阿里云提出了一套大模型+小樣本的結合計劃,在大規模通用預訓練基礎之上,聯合基于常識的預訓練和 Fuzzy-PET 少樣本學 19 Jan
87、2023 24 Table_header2 中國計算機和軟件中國計算機和軟件 習,具備解決問題的優異成果,甚至在特定小樣本學習任務的精準度上超越了人類。美團的小樣本美團的小樣本應用場景。應用場景。美團的各個業務中都有豐富的 NLP 場景,這些場景中模型的構建需要很多的標注資源,成本很高。美團利用小樣本學習在數據資源稀少的情況下訓練出好的模型,并建設小樣本學習平臺,將小樣本學習能力集成到公司統一的 BERT 平臺上,開放給公司各業務方靈活使用。比如醫美業務方面:典型的文本分類任務,小樣本學習利用 2,989 條訓練數據準確率達 89.24%;二分類任務,小樣本學習利用 384 條訓練數據準確率達
88、 87%;句間關系任務,小樣本學習用 2909 條訓練數據準確率達 91.88%;醫美業務如果出現虛假點評,會對體驗有較大傷害,美團通過 Active Learning 選取標注數據,數據增強、半監督學習和集成學習+自訓練優化模型,僅標注 1757 條數據,在檢測感知虛假評價的準確率上可以達到 95.88%。Facebook 的小樣本學習技術突破。的小樣本學習技術突破。公司部署了一種 FSL(Few-Shot Learner)新型 AI 平臺,能夠在數星期之內(以前是數個月之內),針對新的或者不斷變化的、有害的內容采取行動。它可以從各種數據中學習,比如圖像和文本。Facebook 表示,它的多
89、模態言論檢測器能夠標記并刪除社交網絡中 97%的辱罵和有害內容,該系統能夠根據文本、圖像和視頻在內的 10 種數據類型將圖像-文本配對分類為良性或有害。Few-Shot Learner 是一個大規模、多模態、多語言、零樣本或小樣本的模型,可以理解聯合策略和內容,可以在不調整模型的情況下,對完整性問題進行概括。該模型可以使用簡單的策略語句,包括基于通用語言以及違反策略和邊界內容語言進行預訓練。比如新的模型對現有的分類器進行了改進,可以準確標記出接近煽動暴力的內容(如:“那家伙需要所有的牙齒嗎?”)。傳統的方法可能會漏掉這類煽動性帖子,因為沒有太多標記的樣本引用牙齒來暗示暴力。公司的 FSL 技術
90、與目前已有的一些最先進的小樣本學習方法進行了比較,經過評測,該技術比各種最先進的小樣本學習方法高出 55%(平均為 12%)。6.1 小樣本學習在計算機視覺領域的小樣本學習在計算機視覺領域的實踐實踐成果成果 在工業應用領域,小樣本學習因其可以大大降低數據采集和標定成本,在諸多視覺任務中已經得到研究人員的持續關注,其中包括:圖像分類、圖像檢索、目標跟蹤、短文本情感分析、語言模型、網絡結構搜索等問題。由于視覺數據的直觀性和可理解性,計算機視覺一直是機器學習算法的主要測試平臺。從最早的聚類模型到當前的元學習方法,視覺任務總被作為 FSL方法的試金石,尤其是 FSL的圖像分類任務。小樣本學習在計算機視
91、覺領域已得到廣泛應用。具體來說,它可以用來幫助計算機在少量的訓練數據下學習識別圖像中的物體,如人臉、動物和汽車等。它還可以用來學習從圖像中提取特征,并用這些特征來做出決策。小樣本學習也可以用來幫助分類圖像,例如將圖像分為“貓”和“非貓”兩類。此外,還可以用來圖像分割,即將一張圖像劃分為多個不同的區域等。論 文“A Comprehensive Survey of Few-shot Learning:Evolution,Applications,Challenges,and Opportunities”,梳理了在過去五年里,計算機視覺應用領域的 FSL 成果,分為圖像分類、目標檢測、語義分割和實例
92、分割四個小樣本學習的應用任務。在 FSL 計算機視覺分類任務中,解決小樣本圖像分類任務主要通過數據增強、遷移學習、元學習和多模態融合學習來完成。文獻研究了從 2016 年到目前的所有小樣本圖像分類模型,并計算了 miagenet 基準數據集上所有模型的最佳性能。小樣本目標檢測(FSOD)是從多個樣本中檢測稀有物體的任務。FSL 在圖像分類方面取得了很大進展,但在目標檢測方面還較少。目前,小樣本目標檢測的發展 19 Jan 2023 25 Table_header2 中國計算機和軟件中國計算機和軟件 可分為三個主要陣營:數據增強、遷移學習和元學習。其中,注意力機制在小樣本目標檢測中起著關鍵作用(
93、創新奇智發表過雙注意力機制的論文,并獲得了商業落地驗證)。2017 年,首次提出了小樣本語義分割,已被廣泛應用于醫療圖像和無人駕駛汽車等場景中。與傳統的語義分割不同,小樣本語義分割在支持數據集中具有較少的像素標注信息。小樣本語義分割可以分為監督語義分割、無監督語義分割和視頻語義分割。在機器學習階段,最經典的方法是使用概率映射作為先驗知識進行推導。在深度學習階段,出現了大量的有效分割算法,但這些模型往往需要大量的手工示例注釋。最近,出現了一種更簡潔的范式,對小樣本語義分割進行了顯著的改進,即分類器是元學習,而特征編碼解碼器仍然使用傳統的分割模型進行訓練。與語義分割相比,實例分割涉及識別圖像中的每
94、個像素并分別對其進行標記。近年來,很少有研究處理實例樣本的研究。目前的工作仍然集中于如何使用一些有效的工具來改進 R-CNN。最近的研究,提出了一種增量的小樣本實例分割算法,極大地提高了基準數據集的性能。從統計數據來看,在計算機視覺的 4 個應用領域中,小樣本學習在 FSL 基準數據集上的性能(精準度)逐年提升,并達到較高水平。圖圖 21:小樣本學習在計算機視覺領域的性能提升:小樣本學習在計算機視覺領域的性能提升 資料來源:論文“A Comprehensive Survey”,HTI 注:(1)5way-1shot:5 個類的訓練集,每個類只有一個樣例;(2)AP(Average Precis
95、ion),即平均精度,是目標檢測中的一個常用指標。其定義為 PR 曲線(準確率-召回率曲線)的曲線下面積(積分)。簡單來講,一個越好的分類器,AP 值越高;(3)MEAN IOU:是語義分割任務中的評價指標。IOU(Intersection over Union),就是兩個集合的交集與兩個集合的并集之比,是一種測量在特定數據集中檢測物體準確度的一個標準,數值越大,準確度越高;(4)MAP50:M 是 Mean 的意思,是指所有類別的 AP值的平均值,50 的含義是 IOU 閾值 為 0.5;2017-2021年在圖像分類任務中度量學習年在圖像分類任務中度量學習的性能的性能表現表現2017-20
96、21年目標檢測任務中度量學習年目標檢測任務中度量學習的的性能性能表現表現2018-2021年語義分割任務中度量學習年語義分割任務中度量學習的的性能性能表現表現2017-2021年實例分割任務中度量學習的性能表現年實例分割任務中度量學習的性能表現 19 Jan 2023 26 Table_header2 中國計算機和軟件中國計算機和軟件 目前,AI 實際上已經從理論研究向場景應用轉變,實際場景的應用落地才是行業最為關注的。在產業數字化轉型中,各種碎片化場景,對算法的精度要求越來越高。多樣化場景中,需要不同的數據樣本,訓練出不同的模型,通用算法并不適用,精度會大打折扣。解決實際場景落地問題,需要把
97、具體場景需求拆解,映射到現有的算法模型之中,從業務和問題定義開始,到模型調優,最后到算法交付??傊?,凡是大數據獲取困難、獲取周期長或獲取成本高的場景,都可能是小樣本學習的適用范疇。但不論是小樣本學習還是傳統機器學習,只有結合具體的應用場景且學習性能不斷優化,能夠解決數字化轉型過程中的各種痛點,AI 才真正具有價值。圖圖 22:小樣本學習的應用領域小樣本學習的應用領域 資料來源:Mobidev,HTI 7.小樣本學習在工業制造領域的應用小樣本學習在工業制造領域的應用 從行業應用分布來看,AI 在傳統市場的應用規模較大。根據德勤的 AI 研究報告,2030 年,制造業、通信/傳媒及服務和自然資源與
98、材料將分別以 16%,16%,14%占據前三名。其中,龐大的制造業企業正加速數字化轉型,推動智能管理、智能工廠、智能物流等全方位智能化。因此,制造業是其中增速最快的領域,也是小樣本學習應用最活躍的領域。在工業界,隔行如隔山,整個市場需求都是碎片化且難以獲得海量訓練數據的,小樣本學習算法已成為眾多創新型公司追逐的方向。之前,小樣本學習大多集中在圖片分類任務上,而物體檢測的起步相對較晚。相對于圖片分類,小樣本物體 19 Jan 2023 27 Table_header2 中國計算機和軟件中國計算機和軟件 檢測在工業領域的實際應用中則更加重要和實用。例如,根據 industryweek 的數據,在汽
99、車制造業中,由于精益 6-sigma 管理技術的廣泛應用,大多數零件制造商和一級供應商都盡量保證每百萬批次的產品中最多出現 4 個不合格產品。由于制造商缺少不合格產品的樣本數據,從而很難訓練出性能良好的用于產品質檢的視覺檢測模型。事實上,許多制造商已經開始將 AI 解決方案集成到生產線上,但數據稀缺成了最大的挑戰。與可獲取海量用戶數據的面向消費者的互聯網公司不同,在制造業中收集大規模的訓練集幾乎是不可能的事。另外,工業的細分領域眾多,各領域在生產流程及工藝、生產線配置、原材料及產品類型均具有較大差異性。因此,只基于深度學習的 AI 算法難以在工業領域中得到實際應用,與樣本量要求較低的小樣本學習
100、算法相結合成為了推進工業領域智能化轉型的核心驅動力,比如目前需求很大的工業視覺檢測。根據德勤的報告,目前智能制造正處于成長期,行業滲透度不足,但市場規模大,市場具備高增長潛力。圖圖 23:智能制造的發展潛力:智能制造的發展潛力 資料來源:德勤、HTI 7.1 AI 視覺檢測是小樣本視覺檢測是小樣本學習學習在工業領域的突出應用在工業領域的突出應用 AI視覺檢測是小樣本學習在工業領域目前最成熟的應用方向之一。圍繞產品品控難題,質檢工序正經歷著人工檢測,到傳統自動光學檢測,再到AI視覺檢測的跳躍式發展。AI視覺檢測成功解決了人工檢測成本高、穩定性差,自動光學檢測檢出率不達標等諸多難題。AI視覺檢測在
101、3C、汽車、新能源、醫藥行業等廣泛領域具備明確的需求,市場潛力大。目前,小樣本學習算法在處理少類別任務時表現良好,但在多類別任務時仍存在過擬合問題,所以說,小樣本學習算法的成熟將成為人工智能技術在工業領域加速滲透的關鍵。19 Jan 2023 28 Table_header2 中國計算機和軟件中國計算機和軟件 圖圖 24:工業小樣本學習算法框架:工業小樣本學習算法框架 資料來源:頭豹研究院,HTI 7.1.1.AI 視覺檢測的功能視覺檢測的功能 AI 視覺檢測主要有四大功能:識別、定位、測量、檢測。其中,識別功能是基礎,利用機器視覺算法可實現對同生產線不同物料或產品的快速辨別。相較于人工分揀,
102、智能分揀可實現 24 小時連續運行,誤差率僅為 3%。定位功能是實現裝配、搬運等生產環節智能化轉型的關鍵,工業機器人及其他智能生產設備已成為智能工廠核心組成要素。測量功能是基于機器視覺技術的智能測量解決方案,可實現測量數據感知、處理與錄入全環節自動運行,有效優化生產效率,減少人為誤差。智能檢測系統在效率、誤差率等層面具備優勢,人工替代率達 70%。智能檢測系統的應用可將產品瑕疵檢測率提升至 99%。圖圖 25:AI 視覺檢測的四大功能視覺檢測的四大功能 資料來源:頭豹研究院,HTI 7.1.2.視覺檢測的發展路徑視覺檢測的發展路徑 工業機器視覺檢測,通過攝取圖像,模擬人類的視覺功能,提取信息,
103、并加以處理,最終用于檢測、測量、判斷和控制等工序。眾所周知,在工業生產中,傳統的檢測技術需要眾多的檢測工人,不僅影響生產效率,而且帶 19 Jan 2023 29 Table_header2 中國計算機和軟件中國計算機和軟件 來不可靠因素。工業視覺檢測領域首先是以傳統的自動光學檢測 AOI 形態進入質檢領域,它以檢測的安全性、可靠性及自動化程度高等優點而得到廣泛的應用。但 AOI 發展至今,在諸多缺陷檢測等復雜場景中,由于缺陷種類繁雜,特征提取不全,適配算法延展性差,產線更新頻繁,算法遷移不靈活等多種因素,傳統 AOI 系統已難以滿足產線發展的需求。因此,以深度學習+小樣本學習為代表的 AI
104、工業質檢算法平臺正在逐步取代傳統的視覺檢測方案。AI 工業質檢平臺經歷兩個階段:經典機器學習算法階段和深度學習檢測算法階段。經典機器學習檢測算法經典機器學習檢測算法是通過人工分析圖片的特征,通過缺陷圖像算法提取特征,并將特征進行參數化輸入到機器學習分類器中進行檢測,待分類器訓練好之后,通過特征的數值來區分物體,即得出檢測結果。人工分析在經典機器學習檢測算法中起著重要的作用。深度學習檢測算法深度學習檢測算法減少了對特征觀察的人為主觀依賴,采集圖片,標注圖片,進行網絡訓練,查看訓練結果,調節參數和網絡結構,再次訓練,得到最好的結果。深度學習在標注和訓練時,網絡會自動提取和篩選特征,規劃分割閾值,只
105、在調整參數和網絡結構時需要專業工程師,特別是與小樣本學習算法相結合,深度學習視覺算法可以通過調整數據超參數等持續優化關鍵指標(如漏檢率、誤檢率等),來解決準確性問題。在多層神經網絡模型的深度學習中,對于圖像的特征識別,底層的特征(如像素特征)簡單,上層特征復雜,高層神經元的決策可以更加抽象。在工業場景需求分散的情況下,根據底層提取的特征,高層神經網絡在不同場景間可以進行算法遷移,實現有效的算法復用,節約二次開發成本,可進一步降低 AI 視覺算法商業落地的難度。7.1.3.行業需求驅動長期發展行業需求驅動長期發展 從國外歷史經驗來看,在制造環節引入人工智能替代人工,首先解決的是品質問題。工業質檢
106、主要涉及產品外觀缺陷、尺寸、平整度、距離、校準、焊接、彎曲度等方面的檢測。AI 工業質檢結合機器視覺和神經網絡(小樣本學習),實現從人工到 AI 自動學習的跨越。產線上的檢測工位在引入 AI視覺檢測系統后,一方面對于人眼無法準確識別的細微缺陷可以有效檢出,同時能夠有效克服人工目視檢測不穩定的問題。AI 工業質檢根據成像環境和缺陷的微小變化自動調整閾值和算法,提高制造業的質檢效率,并隨著小樣本學習技術的不斷成熟,算力成本的下降,有效降低成本,實現降本增效,回報周期逐步清晰。19 Jan 2023 30 Table_header2 中國計算機和軟件中國計算機和軟件 表表 1:工業質檢的具體需求:工
107、業質檢的具體需求 資料來源:彬復研究、頭豹研究院,HTI 7.1.4.中國中國 AI 視覺檢測市場規模視覺檢測市場規模 人工智能與制造業相關技術結合,可優化制造業各流程環節的效率,通過工業物聯網采集各種生產資料,再借助深度學習算法處理后提供建議并自主優化。相較于互聯網、金融等行業,人工智能在制造業領域的應用潛力被明顯低估。我國制造業正加速智能化進程,未來巨大的市場潛力將逐步被釋放。根據德勤 2021 年初的報告,預計到 2025 年,中國制造業人工智能市場規模達到 133 億元,預測期(2018-2025 年)復合年增長率為 49.4%。另,根據頭豹研究院2021 年底的報告,2017 年到
108、2021 年,制造業人工智能解決方案市場規模的年復合增長率為 97.2%,預計 2021 年到 2026 年中國制造業人工智能解決方案市場規模的年復合增長率為 45.6%,2025 年達到 600 億規模。由于統計口徑的原因,頭豹和德勤的數據有較大差異,我們認為德勤的數據應該只包括 AI 算法軟件部分。2021 年,“十四五“智能制造發展規劃出臺,提出到 2025 年,70%的規模以上制造業企業基本實現數字化網絡化。制造業企業生產效率、產品良品率、能源資源利用率等顯著提升,智能制造能力成熟度水平明顯提升。政策和數字化轉型的不斷加強是推動中國制造業人工智能發展的核心驅動力。圖圖 26:中國制造業
109、:中國制造業 AI 市場規模(億)市場規模(億)圖圖 27:中國制造業:中國制造業 AI 解決方案市場規模(億)解決方案市場規模(億)資料來源:Bizwit,德勤,HTI 資料來源:頭豹研究院,HTI 19 Jan 2023 31 Table_header2 中國計算機和軟件中國計算機和軟件 另據 IDC 的統計,2021 年中國工業質檢解決方案(不包含硬件)整體市場規模達到了 2.1 億美元,較 2020 年增長了 48.4%。根據彬復研究的測算數據:3C 行業,全面引入 AI 視覺檢測系統的市場規??蛇_到 300-600 億元/年(邏輯:3C 行業中國的質檢人員大概 300 萬人,AI 視
110、覺檢測系統替代 50%的人工計算,替代成本節約在千億規模??紤] 300 家電子制造上市公司每年以1-2%的營業收入作為預算投入);汽車行業,單條“沖-焊-涂-總”生產線的 AI視覺檢測改造價值在 2000-3000 萬元,對應市場規模 120 億;根據我們了解的行業經驗,AI 視覺檢測解決方案中 AI 算法軟件平臺占總項目額的比例大約為 30%-40%。7.1.5.AI 視覺檢測算法視覺檢測算法構筑行業壁壘構筑行業壁壘 AI 視覺檢測算法是工業質檢的核心,重點解決應用場景的需求和痛點。通過項目示例、行業知識積累、算法學習模型迭代和客戶端部署低代碼化,可以形成 AI 視覺檢測的場景應用高壁壘,并
111、有效增強應用的可復制性。圖圖 28:AI 視覺檢測算法架構視覺檢測算法架構 資料來源:公開信息,MDPI,HTI 繪制 底 層 框 架:底 層 框 架:底 層 框 架 即 深 度 學 習 框 架,包 括 熟 知 的Pytorch、TensorFlow、Caffe 和飛槳等。目前行業通用的框架基本都是開源的,被廣泛使用。市面上也有自研的深度學習框架,但基本上沒有太多競爭力,比如國內幾大 AI 公司都曾嘗試自研深度學習框架,但使用范圍有限或者干脆直接放棄,轉而使用開源的框架。算法庫:算法庫:包括具備深度學習和小樣本學習的機器學習平臺和視覺算法庫。機器學習平臺比如創新奇智的 Orion,是典型的深度
112、學習+小樣本學習平臺,而常見的通用視覺算法庫包括:OpenCV、Halcon、DVT 和 Labview 以及各自研視覺算法庫(創新奇智自研的工業算法庫為 CVMM)。這些平臺包含常用的視覺算法包,并支持定制化二次開發。視覺算法庫是以深度學習/小樣本學習為基礎的機器學習缺陷檢測算法,算法庫的豐富性和架構的靈活性直接決定了場景的泛化能力和平臺的兼容性。7.1.6.工業工業 AI 視覺檢測算法領域的主要玩家視覺檢測算法領域的主要玩家 根據 IDC 的報告,工業質檢行業的前五大廠商分別為百度智能云、創新奇智、騰訊云、華為和阿丘科技。底層架構底層架構算法模型庫算法模型庫CV檢測應用檢測應用深度神經網絡
113、深度神經網絡+小樣本學習算法小樣本學習算法DVT自研視覺算法庫自研視覺算法庫 19 Jan 2023 32 Table_header2 中國計算機和軟件中國計算機和軟件 圖圖 29:中國:中國 AI 工業質檢解決方案市場份額工業質檢解決方案市場份額 資料來源:IDC 中國,2022,HTI 注:只包含解決方案中的 AI 算法軟件部分,不包括硬件。工業視覺檢測領域包括四類公司,分別是傳統 AOI 公司、傳統視覺硬件公司、AI 視覺檢測軟件公司和 AI 平臺創新企業。領先的 AI 質檢創企具有相似的特征:掌握應用型小樣本 AI 算法能力真正解決質檢難題;積累工程交付能力的同時,具備模型抽象能力;在
114、垂直場景不斷迭代算法平臺進行場景間的遷移。表表 2:AI 視覺檢測公司比較視覺檢測公司比較 資料來源:各公司數據,HTI 傳統傳統 AOI 公司:公司:Keyence 和 Cognex 是絕對的龍頭企業,收入規模較大,軟硬件產品都是自研產品,但其更多的是偏重傳統工業視覺算法和解決方案。傳統視覺硬件公司:傳統視覺硬件公司:如??低?,在工業智能機器人領域發展迅速,但在工業機器視覺檢測領域,由于其 AI 算法能力偏弱,所以更多的是與 AI 視覺算法公司合作。AI 視覺檢測軟件公司:視覺檢測軟件公司:是 AI 視覺檢測領域比較常見的玩家,普遍規模不大,在 AI 技術上有一定能力,選擇視覺檢測領域的痛
115、點為切入點,并有意愿從工程化項目開始,逐漸向工業 AI 標準化算法平臺轉變。這類 AI 軟件工程化 19 Jan 2023 33 Table_header2 中國計算機和軟件中國計算機和軟件 公司專注于單個或某幾類垂類應用場景,并會與百度、華為、騰訊、阿里等云廠商合作拓展細分垂直領域。典型代表有思謀科技、中科慧遠等。AI 視覺算法平臺企業:是視覺算法平臺企業:是在工業機器視覺領域具備自研垂直 AI 算法平臺的公司。這類公司一般具備工業垂直場景的行業 know-how(不同企業深度不同),持續的碎片化需求驅動公司的 AI 平臺算法模型庫不斷迭代,并逐漸形成標準化,提升泛化復用性。典型代表包括創新
116、奇智、阿丘科技、凌云光等。從 IDC 的統計數據來看,創新奇智在 AI 工業質檢領域屬于最大的獨立第三方解決方案提供商,公司自研有機器學習平臺和視覺算法模型庫,在人工智能頂會上發表的論文基本是圍繞小樣本學習在物體識別方面的研究,是專注于小樣本學習在工業領域應用落地的典型代表。公司目前覆蓋的行業包括3C、面板、鋼鐵、汽車等垂直領域的 AI 算法平臺和整體解決方案,并突出 AI工程化落地,場景包括工業質檢、自動化物流系統、庫存管理、視覺機器人等。阿丘科技與創新奇智相似,也大多聚集在成熟度高、空間大的行業,如電子制造、汽車、半導體等市場,以工業質檢的 AI 視覺解決方案為切入點,不斷積累 AI 工業
117、視覺落地的行業 know-how??偨Y:總結:由于工業領域的需求碎片化特點,創新型 AI 企業普遍深耕垂直行業,圍繞大客戶案例,輻射所在行業做深場景,并努力實現垂直行業平臺化賦能。工業 AI 解決方案落地需要具備:(1)AI 算法和模型的應用積累(行業知識庫),解決行業頭部客戶的切實痛點;(2)小樣本學習算法的迭代創新能力。(3)算法和模型的抽象標準化,最大化提高模型跨域復用性,即垂直泛化能力;(4)算法工程化落地交付能力。從目前的行業發展來看,AI 視覺檢測是創新型企業的核心切入點,通過行業解決方案的知識積累形成競爭壁壘,并逐步擴展到核心客戶的智能制造全流程的各個環節,包括工藝、流程、流通、
118、服務等等,比如創新奇智(通過收購,開始覆蓋工業自動化和 MOM 制造運營管理系統等制造業各個環節)。8.建議關注建議關注 作為小樣本學習領域的典型代表,我們建議重點關注:創新奇智(2121.HK),阿丘科技(未上市);當下,小樣本學習領域已成為一個熱點和重點研究方向,AI 的發展從來都是量變到質變,比如深度學習框架的出現極大推進了人工智能的進展,又比如 ChatGPT在 NLP 領域語義理解能力的實質性突破。我們認為,小樣本學習這種類人智能算法在與深度學習的結合下,將在各個應用領域不斷創造實用價值。鑒于目前計算機視覺是小樣本學習最為活躍的領域且發展較成熟,應重點關注在計算機視覺方面有實際應用落
119、地能力的公司。9.風險風險 小樣本學習的研究進展緩慢,實際應用落地進展不及預期。19 Jan 2023 34 Table_header2 中國計算機和軟件中國計算機和軟件 APPENDIX 1 Summary Human-like intelligence learning is the goal that the AI community has always pursued.Few-shot learning for human-like intelligence.Since 2015,with the rise of deep learning,Few-shot learning has
120、 entered the deep learning stage.Few-shot learning can solve the AI commercial landing problem.Industrial vision inspection is a typical application scenario of Few-shot learning.Suggested Focus:As a typical representative of Few-shot learning field,we suggest focusing on:AInnovation Technology(2121
121、 HK),Aqrose Technology(not listed).Risk:the research progress of Few-shot learning is slow,and the progress of practical application landing is not as expected.35 Table_APPENDIX Table_disclaimer 附錄附錄APPENDIX 重要信息披露重要信息披露 本研究報告由海通國際分銷,海通國際是由海通國際研究有限公司(HTIRL),Haitong Securities India Private Limited(H
122、SIPL),Haitong International Japan K.K.(HTIJKK)和海通國際證券有限公司(HTISCL)的證券研究團隊所組成的全球品牌,海通國際證券集團(HTISG)各成員分別在其許可的司法管轄區內從事證券活動。IMPORTANT DISCLOSURES This research report is distributed by Haitong International,a global brand name for the equity research teams of Haitong International Research Limited(“HTIRL
123、”),Haitong Securities India Private Limited(“HSIPL”),Haitong International Japan K.K.(“HTIJKK”),Haitong International Securities Company Limited(“HTISCL”),and any other members within the Haitong International Securities Group of Companies(“HTISG”),each authorized to engage in securities activities
124、in its respective jurisdiction.HTIRL分析師認證分析師認證Analyst Certification:我,Liang Song,在此保證(i)本研究報告中的意見準確反映了我們對本研究中提及的任何或所有目標公司或上市公司的個人觀點,并且(ii)我的報酬中沒有任何部分與本研究報告中表達的具體建議或觀點直接或間接相關;及就此報告中所討論目標公司的證券,我們(包括我們的家屬)在其中均不持有任何財務利益。I,Liang Song,certify that(i)the views expressed in this research report accurately r
125、eflect my personal views about any or all of the subject companies or issuers referred to in this research and(ii)no part of my compensation was,is or will be directly or indirectly related to the specific recommendations or views expressed in this research report;and that I(including members of my
126、household)have no financial interest in the security or securities of the subject companies discussed.利益沖突披露利益沖突披露Conflict of Interest Disclosures 海通國際及其某些關聯公司可從事投資銀行業務和/或對本研究中的特定股票或公司進行做市或持有自營頭寸。就本研究報告而言,以下是有關該等關系的披露事項(以下披露不能保證及時無遺漏,如需了解及時全面信息,請發郵件至ERD-D)HTI and some of its affiliates may engage in
127、 investment banking and/or serve as a market maker or hold proprietary trading positions of certain stocks or companies in this research report.As far as this research report is concerned,the following are the disclosure matters related to such relationship(As the following disclosure does not ensur
128、e timeliness and completeness,please send an email to ERD-D if timely and comprehensive information is needed).海通證券股份有限公司和/或其子公司(統稱“海通”)在過去12個月內參與了BABA.US and 002152.CH的投資銀行項目。投資銀行項目包括:1、海通擔任上市前輔導機構、保薦人或主承銷商的首次公開發行項目;2、海通作為保薦人、主承銷商或財務顧問的股權或債務再融資項目;3、海通作為主經紀商的新三板上市、目標配售和并購項目。Haitong Securities Co.,Lt
129、d.and/or its subsidiaries(collectively,the Haitong)have a role in investment banking projects of BABA.US and 002152.CH within the past 12 months.The investment banking projects include 1.IPO projects in which Haitong acted as pre-listing tutor,sponsor,or lead-underwriter;2.equity or debt refinancing
130、 projects of BABA.US and 002152.CH for which Haitong acted as sponsor,lead-underwriter or financial advisor;3.listing by introduction in the new three board,target placement,M&A projects in which Haitong acted as lead-brokerage firm.作為回報,海通擁有300496.CH一類普通股證券的1%或以上。The Haitong beneficially owns 1%or
131、more of a class of common equity securities of 300496.CH.0020.HK 及 002152.CH目前或過去12個月內是海通的投資銀行業務客戶。0020.HK and 002152.CH are/were an investment bank clients of Haitong currently or within the past 12 months.阿里巴巴(北京)軟件服務有限公司,阿里巴巴(成都)軟件技術有限公司,阿里巴巴(中國)網絡技術有限公司,杭州阿里巴巴創業投資管理有限公司,杭州阿里巴巴澤泰信息技術有限公司,600570.C
132、H,福建新大陸環??萍加邢薰?新大陸科技集團有限公司,新大陸科技集團有限公司 及 300773.CH目前或過去12個月內是海通的客戶。海通向客戶提供非投資銀行業務的證券相關業務服務。阿里巴巴(北京)軟件服務有限公司,阿里巴巴(成都)軟件技術有限公司,阿里巴巴(中國)網絡技術有限公司,杭州阿里巴巴創業投資管理有限公司,杭州阿里巴巴澤泰信息技術有限公司,600570.CH,福建新大陸環??萍加邢薰?新大陸科技集團有限公司,新大陸科技集團有限公司 and 300773.CH are/were a client of Haitong currently or within the past 12
133、months.The client has been provided for non-investment-banking securities-related services.山東易華錄信息技術有限公司 及 300773.CH目前或過去12個月內是海通的客戶。海通向客戶提供非證券業務服務。山東易華錄信息技術有限公司 and 300773.CH are/were a client of Haitong currently or within the past 12 months.The client has been provided for non-securities services
134、.海通預計將(或者有意向)在未來三個月內從0020.HK獲得投資銀行服務報酬。Haitong expects to receive,or intends to seek,compensation for investment banking services in the next three months from 0020.HK.海通在過去的12個月中從阿里巴巴(北京)軟件服務有限公司,阿里巴巴(成都)軟件技術有限公司,阿里巴巴(中國)網絡技術有限公司,杭州阿里巴巴創業投資管理有限公司,杭州阿里巴巴澤泰信息技術有限公司,600570.CH 及 山東易華錄信息技術有限公司獲得除投資銀行服務以
135、外之產品或服務的報酬。Haitong has received compensation in the past 12 months for products or services other than investment banking from 阿里巴巴(北京)軟件服務有限公司,阿里巴巴(成都)軟件技術有限公司,阿里巴巴(中國)網絡技術有限公司,杭州阿里巴巴創業投資管理有限公司,杭州阿里巴巴澤泰信息技術有限公司,600570.CH and 山東易華錄信息技術有限公司.海通擔任0700.HK有關證券的做市商或流通量提供者。Haitong acts as a market maker or
136、 liquidity provider in the securities of 0700.HK.36 評級定義評級定義(從(從2020年年7月月1日開始執行)日開始執行):海通國際(以下簡稱“HTI”)采用相對評級系統來為投資者推薦我們覆蓋的公司:優于大市、中性或弱于大市。投資者應仔細閱讀HTI的評級定義。并且HTI發布分析師觀點的完整信息,投資者應仔細閱讀全文而非僅看評級。在任何情況下,分析師的評級和研究都不能作為投資建議。投資者的買賣股票的決策應基于各自情況(比如投資者的現有持倉)以及其他因素。分析師股票評級分析師股票評級 優于大市優于大市,未來12-18個月內預期相對基準指數漲幅在10
137、%以上,基準定義如下 中性中性,未來12-18個月內預期相對基準指數變化不大,基準定義如下。根據FINRA/NYSE的評級分布規則,我們會將中性評級劃入持有這一類別。弱于大市弱于大市,未來12-18個月內預期相對基準指數跌幅在10%以上,基準定義如下 各地股票基準指數:日本 TOPIX,韓國 KOSPI,臺灣 TAIEX,印度 Nifty100,美國 SP500;其他所有中國概念股 MSCI China.Ratings Definitions(from 1 Jul 2020):Haitong International uses a relative rating system using O
138、utperform,Neutral,or Underperform for recommending the stocks we cover to investors.Investors should carefully read the definitions of all ratings used in Haitong International Research.In addition,since Haitong International Research contains more complete information concerning the analysts views,
139、investors should carefully read Haitong International Research,in its entirety,and not infer the contents from the rating alone.In any case,ratings(or research)should not be used or relied upon as investment advice.An investors decision to buy or sell a stock should depend on individual circumstance
140、s(such as the investors existing holdings)and other considerations.Analyst Stock Ratings Outperform:The stocks total return over the next 12-18 months is expected to exceed the return of its relevant broad market benchmark,as indicated below.Neutral:The stocks total return over the next 12-18 months
141、 is expected to be in line with the return of its relevant broad market benchmark,as indicated below.For purposes only of FINRA/NYSE ratings distribution rules,our Neutral rating falls into a hold rating category.Underperform:The stocks total return over the next 12-18 months is expected to be below
142、 the return of its relevant broad market benchmark,as indicated below.Benchmarks for each stocks listed region are as follows:Japan TOPIX,Korea KOSPI,Taiwan TAIEX,India Nifty100,US SP500;for all other China-concept stocks MSCI China.評級分布評級分布Rating Distribution 截至截至2022年年12月月31日海通國際股票研究評級分布日海通國際股票研究評
143、級分布 優于大市優于大市 中性中性 弱于大市弱于大市 (持有)海通國際股票研究覆蓋率 89.4%9.2%1.5%投資銀行客戶*5.2%7.3%8.3%*在每個評級類別里投資銀行客戶所占的百分比。上述分布中的買入,中性和賣出分別對應我們當前優于大市,中性和落后大市評級。只有根據FINRA/NYSE的評級分布規則,我們才將中性評級劃入持有這一類別。請注意在上表中不包含非評級的股票。此前的評級系統定義(直至此前的評級系統定義(直至2020年年6月月30日):日):買入,未來12-18個月內預期相對基準指數漲幅在10%以上,基準定義如下 中性,未來12-18個月內預期相對基準指數變化不大,基準定義如下
144、。根據FINRA/NYSE的評級分布規則,我們會將中性評級劃入持有這一類別。37 賣出,未來12-18個月內預期相對基準指數跌幅在10%以上,基準定義如下 各地股票基準指數:日本 TOPIX,韓國 KOSPI,臺灣 TAIEX,印度 Nifty100;其他所有中國概念股 MSCI China.Haitong International Equity Research Ratings Distribution,as of Dec 31,2022 Outperform Neutral Underperform (hold)HTI Equity Research Coverage 89.4%9.2%
145、1.5%IB clients*5.2%7.3%8.3%*Percentage of investment banking clients in each rating category.BUY,Neutral,and SELL in the above distribution correspond to our current ratings of Outperform,Neutral,and Underperform.For purposes only of FINRA/NYSE ratings distribution rules,our Neutral rating falls int
146、o a hold rating category.Please note that stocks with an NR designation are not included in the table above.Previous rating system definitions(until 30 Jun 2020):BUY:The stocks total return over the next 12-18 months is expected to exceed the return of its relevant broad market benchmark,as indicate
147、d below.NEUTRAL:The stocks total return over the next 12-18 months is expected to be in line with the return of its relevant broad market benchmark,as indicated below.For purposes only of FINRA/NYSE ratings distribution rules,our Neutral rating falls into a hold rating category.SELL:The stocks total
148、 return over the next 12-18 months is expected to be below the return of its relevant broad market benchmark,as indicated below.Benchmarks for each stocks listed region are as follows:Japan TOPIX,Korea KOSPI,Taiwan TAIEX,India Nifty100;for all other China-concept stocks MSCI China.海通國際非評級研究:海通國際非評級研
149、究:海通國際發布計量、篩選或短篇報告,并在報告中根據估值和其他指標對股票進行排名,或者基于可能的估值倍數提出建議價格。這種排名或建議價格并非為了進行股票評級、提出目標價格或進行基本面估值,而僅供參考使用。Haitong International Non-Rated Research:Haitong International publishes quantitative,screening or short reports which may rank stocks according to valuation and other metrics or may suggest prices
150、based on possible valuation multiples.Such rankings or suggested prices do not purport to be stock ratings or target prices or fundamental values and are for information only.海通國際海通國際A股覆蓋股覆蓋:海通國際可能會就滬港通及深港通的中國A股進行覆蓋及評級。海通證券(600837.CH),海通國際于上海的母公司,也會于中國發布中國A股的研究報告。但是,海通國際使用與海通證券不同的評級系統,所以海通國際與海通證券的中國
151、A股評級可能有所不同。Haitong International Coverage of A-Shares:Haitong International may cover and rate A-Shares that are subject to the Hong Kong Stock Connect scheme with Shanghai and Shenzhen.Haitong Securities(HS;600837 CH),the ultimate parent company of HTISG based in Shanghai,covers and publishes resea
152、rch on these same A-Shares for distribution in mainland China.However,the rating system employed by HS differs from that used by HTI and as a result there may be a difference in the HTI and HS ratings for the same A-share stocks.海通國際海通國際優質優質100 A股股(Q100)指數指數:海通國際Q100指數是一個包括100支由海通證券覆蓋的優質中國A股的計量產品。這些
153、股票是通過基于質量的篩選過程,并結合對海通證券 A股團隊自下而上的研究。海通國際每季對Q100指數成分作出復審。Haitong International Quality 100 A-share(Q100)Index:HTIs Q100 Index is a quant product that consists of 100 of the highest-quality A-shares under coverage at HS in Shanghai.These stocks are carefully selected through a quality-based screening
154、process in combination with a review of the HS A-share teams bottom-up research.The Q100 constituent companies are reviewed quarterly.MSCI ESG評級免責聲明條款:評級免責聲明條款:盡管海通國際的信息供貨商(包括但不限于MSCI ESG Research LLC及其聯屬公司(ESG方)從其認為可靠的來源獲取信息(信息),ESG方均不擔?;虮WC此處任何數據的原創性,準確性和/或完整性,并明確表示不作出任何明示或默示的擔保,包括可商售性和針對特定目的的適用性。該
155、信息只能供閣下內部使用,不得以任何形式復制或重新傳播,并不得用作任何金融工具、產品或指數的基礎或組成部分。此外,信息本質上不能用于判斷購買或出售何種證券,或何時購買或出售該證券。即使已被告知可能造成的損害,ESG方均不承擔與此處任何資料有關的任何錯誤或遺漏所引起的任何責任,也不對任何直接、間接、特殊、懲罰性、附帶性或任何其他損害賠償(包括利潤損失)承擔任何責任。MSCI ESG Disclaimer:Although Haitong Internationals information providers,including without limitation,MSCI ESG Resear
156、ch LLC and its affiliates(the“ESG Parties”),obtain information(the“Information”)from sources they consider reliable,none of the ESG Parties warrants or guarantees the originality,accuracy and/or completeness,of any data herein and expressly disclaim all express or implied warranties,including those
157、of merchantability and fitness for a particular purpose.The Information may only be used for your internal use,may not be reproduced or redisseminated in any form and may not be used as a basis for,or a component of,any financial instruments or products or indices.Further,none of the Information can
158、 in and of itself be used to determine which securities to buy or sell or when to buy or sell them.None of the ESG Parties shall have any liability for any errors or omissions in connection with any data herein,or any liability for any direct,indirect,special,punitive,consequential or any other dama
159、ges(including lost profits)even if notified of the possibility of such damages.盟浪義利(盟浪義利(FIN-ESG)數據通免責聲明條款:)數據通免責聲明條款:在使用盟浪義利(FIN-ESG)數據之前,請務必仔細閱讀本條款并同意本聲明:第一條 義利(FIN-ESG)數據系由盟浪可持續數字科技有限責任公司(以下簡稱“本公司”)基于合法取得的公開信息評估而成,本公司對信息的準確性及完整性不作任何保證。對公司的評估結果僅供參考,并不構成對任何個人或機構投資建議,也不能作為任何個人或機構購買、出售或持有相關金融產品的依據。本公
160、司不對任何個人或機構投資者因使用本數據表述的評估結果造成的任何直接或間接損失負責。第二條 盟浪并不因收到此評估數據而將收件人視為客戶,收件人使用此數據時應根據自身實際情況作出自我獨立判斷。本數據所載內容反映的是盟浪在最初發布本數據日期當日的判斷,盟浪有權在不發出通知的情況下更新、修訂與發出其他與本數據所載內容不一致或有不同結論的數據。除非另行說明,本數據(如財務業績數據等)僅代表過往表現,過往的業績表現不作為日后回報的預測。第三條 改、復制、編譯、匯編、再次編輯、改編、刪減、縮寫、節選、發行、出租、展覽、表演、放映、廣播、信息網絡傳播、攝制、增加圖標及說明等,否則因此給盟浪或其他第三方造 38
161、 成損失的,由用戶承擔相應的賠償責任,盟浪不承擔責任。第四條 如本免責聲明未約定,而盟浪網站平臺載明的其他協議內容(如盟浪網站用戶注冊協議盟浪網用戶服務(含認證)協議盟浪網隱私政策等)有約定的,則按其他協議的約定執行;若本免責聲明與其他協議約定存在沖突或不一致的,則以本免責聲明約定為準。SusallWave FIN-ESG Data Service Disclaimer:Please read these terms and conditions below carefully and confirm your agreement and acceptance with these terms
162、 before using SusallWave FIN-ESG Data Service.1.FIN-ESG Data is produced by SusallWave Digital Technology Co.,Ltd.(In short,SusallWave)s assessment based on legal publicly accessible information.SusallWave shall not be responsible for any accuracy and completeness of the information.The assessment r
163、esult is for reference only.It is not for any investment advice for any individual or institution and not for basis of purchasing,selling or holding any relative financial products.We will not be liable for any direct or indirect loss of any individual or institution as a result of using SusallWave
164、FIN-ESG Data.2.SusallWave do not consider recipients as customers for receiving these data.When using the data,recipients shall make your own independent judgment according to your practical individual status.The contents of the data reflect the judgment of us only on the release day.We have right t
165、o update and amend the data and release other data that contains inconsistent contents or different conclusions without notification.Unless expressly stated,the data(e.g.,financial performance data)represents past performance only and the past performance cannot be viewed as the prediction of future
166、 return.3.The copyright of this data belongs to SusallWave,and we reserve all rights in accordance with the law.Without the prior written permission of our company,none of individual or institution can use these data for any profitable purpose.Besides,none of individual or institution can take actio
167、ns such as amendment,replication,translation,compilation,re-editing,adaption,deletion,abbreviation,excerpts,issuance,rent,exhibition,performance,projection,broadcast,information network transmission,shooting,adding icons and instructions.If any loss of SusallWave or any third-party is caused by thos
168、e actions,users shall bear the corresponding compensation liability.SusallWave shall not be responsible for any loss.4.If any term is not contained in this disclaimer but written in other agreements on our website(e.g.User Registration Protocol of SusallWave Website,User Service(including authentica
169、tion)Agreement of SusallWave Website,Privacy Policy of Susallwave Website),it should be executed according to other agreements.If there is any difference between this disclaim and other agreements,this disclaimer shall be applied.重要免責聲明:重要免責聲明:非印度證券的研究報告非印度證券的研究報告:本報告由海通國際證券集團有限公司(“HTISGL”)的全資附屬公司海通
170、國際研究有限公司(“HTIRL”)發行,該公司是根據香港證券及期貨條例(第571章)持有第4類受規管活動(就證券提供意見)的持牌法團。該研究報告在HTISGL的全資附屬公司Haitong International(Japan)K.K.(“HTIJKK”)的協助下發行,HTIJKK是由日本關東財務局監管為投資顧問。印度證券的研究報告:印度證券的研究報告:本報告由從事證券交易、投資銀行及證券分析及受Securities and Exchange Board of India(“SEBI”)監管的Haitong Securities India Private Limited(“HTSIPL”)所
171、發行,包括制作及發布涵蓋BSE Limited(“BSE”)和National Stock Exchange of India Limited(“NSE”)上市公司(統稱為印度交易所)的研究報告。HTSIPL于2016年12月22日被收購并成為海通國際證券集團有限公司(“HTISG”)的一部分。所有研究報告均以海通國際為名作為全球品牌,經許可由海通國際證券股份有限公司及/或海通國際證券集團的其他成員在其司法管轄區發布。本文件所載信息和觀點已被編譯或源自可靠來源,但HTIRL、HTISCL或任何其他屬于海通國際證券集團有限公司(“HTISG”)的成員對其準確性、完整性和正確性不做任何明示或暗示的
172、聲明或保證。本文件中所有觀點均截至本報告日期,如有更改,恕不另行通知。本文件僅供參考使用。文件中提及的任何公司或其股票的說明并非意圖展示完整的內容,本文件并非/不應被解釋為對證券買賣的明示或暗示地出價或征價。在某些司法管轄區,本文件中提及的證券可能無法進行買賣。如果投資產品以投資者本國貨幣以外的幣種進行計價,則匯率變化可能會對投資產生不利影響。過去的表現并不一定代表將來的結果。某些特定交易,包括設計金融衍生工具的,有產生重大風險的可能性,因此并不適合所有的投資者。您還應認識到本文件中的建議并非為您量身定制。分析師并未考慮到您自身的財務情況,如您的財務狀況和風險偏好。因此您必須自行分析并在適用的
173、情況下咨詢自己的法律、稅收、會計、金融和其他方面的專業顧問,以期在投資之前評估該項建議是否適合于您。若由于使用本文件所載的材料而產生任何直接或間接的損失,HTISG及其董事、雇員或代理人對此均不承擔任何責任。除對本文內容承擔責任的分析師除外,HTISG及我們的關聯公司、高級管理人員、董事和雇員,均可不時作為主事人就本文件所述的任何證券或衍生品持有長倉或短倉以及進行買賣。HTISG的銷售員、交易員和其他專業人士均可向HTISG的相關客戶和公司提供與本文件所述意見相反的口頭或書面市場評論意見或交易策略。HTISG可做出與本文件所述建議或意見不一致的投資決策。但HTIRL沒有義務來確保本文件的收件人
174、了解到該等交易決定、思路或建議。請訪問海通國際網站 ,查閱更多有關海通國際為預防和避免利益沖突設立的組織和行政安排的內容信息。非美國分析師披露信息:非美國分析師披露信息:本項研究首頁上列明的海通國際分析師并未在FINRA進行注冊或者取得相應的資格,并且不受美國FINRA有關與本項研究目標公司進行溝通、公開露面和自營證券交易的第2241條規則之限制。IMPORTANT DISCLAIMER For research reports on non-Indian securities:The research report is issued by Haitong International Res
175、earch Limited(“HTIRL”),a wholly owned subsidiary of Haitong International Securities Group Limited(“HTISGL”)and a licensed corporation to carry on Type 4 regulated activity(advising on securities)for the purpose of the Securities and Futures Ordinance(Cap.571)of Hong Kong,with the assistance of Hait
176、ong International(Japan)K.K.(“HTIJKK”),a wholly owned subsidiary of HTISGL and which is regulated as an Investment Adviser by the Kanto Finance Bureau of Japan.For research reports on Indian securities:The research report is issued by Haitong Securities India Private Limited(“HSIPL”),an Indian compa
177、ny and a Securities and Exchange Board of India(“SEBI”)registered Stock Broker,Merchant Banker and Research Analyst that,inter alia,produces and distributes research reports covering listed entities on the BSE Limited(“BSE”)and the National Stock Exchange of India Limited(“NSE”)(collectively referre
178、d to as“Indian Exchanges”).HSIPL was acquired and became part of the Haitong International Securities Group of Companies(“HTISG”)on 22 December 2016.All the research reports are globally branded under the name Haitong International and approved for distribution by Haitong International Securities Co
179、mpany Limited(“HTISCL”)and/or any other 39 members within HTISG in their respective jurisdictions.The information and opinions contained in this research report have been compiled or arrived at from sources believed to be reliable and in good faith but no representation or warranty,express or implie
180、d,is made by HTIRL,HTISCL,HSIPL,HTIJKK or any other members within HTISG from which this research report may be received,as to their accuracy,completeness or correctness.All opinions expressed herein are as of the date of this research report and are subject to change without notice.This research re
181、port is for information purpose only.Descriptions of any companies or their securities mentioned herein are not intended to be complete and this research report is not,and should not be construed expressly or impliedly as,an offer to buy or sell securities.The securities referred to in this research
182、 report may not be eligible for purchase or sale in some jurisdictions.If an investment product is denominated in a currency other than an investors home currency,a change in exchange rates may adversely affect the investment.Past performance is not necessarily indicative of future results.Certain t
183、ransactions,including those involving derivatives,give rise to substantial risk and are not suitable for all investors.You should also bear in mind that recommendations in this research report are not tailor-made for you.The analyst has not taken into account your unique financial circumstances,such
184、 as your financial situation and risk appetite.You must,therefore,analyze and should,where applicable,consult your own legal,tax,accounting,financial and other professional advisers to evaluate whether the recommendations suits you before investment.Neither HTISG nor any of its directors,employees o
185、r agents accepts any liability whatsoever for any direct or consequential loss arising from any use of the materials contained in this research report.HTISG and our affiliates,officers,directors,and employees,excluding the analysts responsible for the content of this document,will from time to time
186、have long or short positions in,act as principal in,and buy or sell,the securities or derivatives,if any,referred to in this research report.Sales,traders,and other professionals of HTISG may provide oral or written market commentary or trading strategies to the relevant clients and the companies wi
187、thin HTISG that reflect opinions that are contrary to the opinions expressed in this research report.HTISG may make investment decisions that are inconsistent with the recommendations or views expressed in this research report.HTI is under no obligation to ensure that such other trading decisions,id
188、eas or recommendations are brought to the attention of any recipient of this research report.Please refer to HTIs website for further information on HTIs organizational and administrative arrangements set up for the prevention and avoidance of conflicts of interest with respect to Research.Non U.S.A
189、nalyst Disclosure:The HTI analyst(s)listed on the cover of this Research is(are)not registered or qualified as a research analyst with FINRA and are not subject to U.S.FINRA Rule 2241 restrictions on communications with companies that are the subject of the Research;public appearances;and trading se
190、curities by a research analyst.分發和地區通知:分發和地區通知:除非下文另有規定,否則任何希望討論本報告或者就本項研究中討論的任何證券進行任何交易的收件人均應聯系其所在國家或地區的海通國際銷售人員。香港投資者的通知事項:香港投資者的通知事項:海通國際證券股份有限公司(“HTISCL”)負責分發該研究報告,HTISCL是在香港有權實施第1類受規管活動(從事證券交易)的持牌公司。該研究報告并不構成證券及期貨條例(香港法例第571章)(以下簡稱“SFO”)所界定的要約邀請,證券要約或公眾要約。本研究報告僅提供給SFO所界定的“專業投資者”。本研究報告未經過證券及期貨事務
191、監察委員會的審查。您不應僅根據本研究報告中所載的信息做出投資決定。本研究報告的收件人就研究報告中產生或與之相關的任何事宜請聯系HTISCL銷售人員。美國投資者的通知事項:美國投資者的通知事項:本研究報告由HTIRL,HSIPL或HTIJKK編寫。HTIRL,HSIPL,HTIJKK以及任何非HTISG美國聯營公司,均未在美國注冊,因此不受美國關于研究報告編制和研究分析人員獨立性規定的約束。本研究報告提供給依照1934年“美國證券交易法”第15a-6條規定的豁免注冊的美國主要機構投資者(“Major U.S.Institutional Investor”)和機構投資者(”U.S.Institut
192、ional Investors”)。在向美國機構投資者分發研究報告時,Haitong International Securities(USA)Inc.(“HTI USA”)將對報告的內容負責。任何收到本研究報告的美國投資者,希望根據本研究報告提供的信息進行任何證券或相關金融工具買賣的交易,只能通過HTI USA。HTI USA位于340 Madison Avenue,12th Floor,New York,NY 10173,電話(212)351-6050。HTI USA是在美國于U.S.Securities and Exchange Commission(“SEC”)注冊的經紀商,也是Fin
193、ancial Industry Regulatory Authority,Inc.(“FINRA”)的成員。HTIUSA不負責編寫本研究報告,也不負責其中包含的分析。在任何情況下,收到本研究報告的任何美國投資者,不得直接與分析師直接聯系,也不得通過HSIPL,HTIRL或HTIJKK直接進行買賣證券或相關金融工具的交易。本研究報告中出現的HSIPL,HTIRL或HTIJKK分析師沒有注冊或具備FINRA的研究分析師資格,因此可能不受FINRA第2241條規定的與目標公司的交流,公開露面和分析師賬戶持有的交易證券等限制。投資本研究報告中討論的任何非美國證券或相關金融工具(包括ADR)可能存在一定
194、風險。非美國發行的證券可能沒有注冊,或不受美國法規的約束。有關非美國證券或相關金融工具的信息可能有限制。外國公司可能不受審計和匯報的標準以及與美國境內生效相符的監管要求。本研究報告中以美元以外的其他貨幣計價的任何證券或相關金融工具的投資或收益的價值受匯率波動的影響,可能對該等證券或相關金融工具的價值或收入產生正面或負面影響。美國收件人的所有問詢請聯系:Haitong International Securities(USA)Inc.340 Madison Avenue,12th Floor New York,NY 10173 聯系人電話:(212)351 6050 DISTRIBUTION A
195、ND REGIONAL NOTICES Except as otherwise indicated below,any Recipient wishing to discuss this research report or effect any transaction in any security discussed in HTIs research should contact the Haitong International salesperson in their own country or region.Notice to Hong Kong investors:The res
196、earch report is distributed by Haitong International Securities Company Limited(“HTISCL”),which is a licensed corporation to carry on Type 1 regulated activity(dealing in securities)in Hong Kong.This research report does not constitute a solicitation or an offer of securities or an invitation to the
197、 public within the meaning of the SFO.This research report is only to be circulated to Professional Investors as defined in the SFO.This research report has not been reviewed by the Securities and Futures Commission.You should not make investment decisions solely on the basis of the information cont
198、ained in this research report.Recipients of this research report are to contact HTISCL salespersons in respect of any matters arising from,or in connection with,the research report.Notice to U.S.investors:As described above,this research report was prepared by HTIRL,HSIPL or HTIJKK.Neither HTIRL,HSI
199、PL,HTIJKK,nor any of the non U.S.HTISG affiliates is registered in the United States and,therefore,is not subject to U.S.rules regarding the preparation of research reports and the independence of research analysts.This research report is provided for distribution to“major U.S.institutional investor
200、s”and“U.S.institutional investors”in reliance on the exemption from registration provided by Rule 15a-6 of the U.S.Securities Exchange Act of 1934,as amended.When distributing research reports to“U.S.institutional investors,”HTI USA will accept the responsibilities for the content of the reports.Any
201、 U.S.recipient of this research report wishing to effect any transaction to buy or sell securities or related financial instruments based on the information provided in this research report should do so only through Haitong International Securities(USA)40 Inc.(“HTI USA”),located at 340 Madison Avenu
202、e,12th Floor,New York,NY 10173,USA;telephone(212)351 6050.HTI USA is a broker-dealer registered in the U.S.with the U.S.Securities and Exchange Commission(the“SEC”)and a member of the Financial Industry Regulatory Authority,Inc.(“FINRA”).HTI USA is not responsible for the preparation of this researc
203、h report nor for the analysis contained therein.Under no circumstances should any U.S.recipient of this research report contact the analyst directly or effect any transaction to buy or sell securities or related financial instruments directly through HSIPL,HTIRL or HTIJKK.The HSIPL,HTIRL or HTIJKK a
204、nalyst(s)whose name appears in this research report is not registered or qualified as a research analyst with FINRA and,therefore,may not be subject to FINRA Rule 2241 restrictions on communications with a subject company,public appearances and trading securities held by a research analyst account.I
205、nvesting in any non-U.S.securities or related financial instruments(including ADRs)discussed in this research report may present certain risks.The securities of non-U.S.issuers may not be registered with,or be subject to U.S.regulations.Information on such non-U.S.securities or related financial ins
206、truments may be limited.Foreign companies may not be subject to audit and reporting standards and regulatory requirements comparable to those in effect within the U.S.The value of any investment or income from any securities or related financial instruments discussed in this research report denomina
207、ted in a currency other than U.S.dollars is subject to exchange rate fluctuations that may have a positive or adverse effect on the value of or income from such securities or related financial instruments.All inquiries by U.S.recipients should be directed to:Haitong International Securities(USA)Inc.
208、340 Madison Avenue,12th Floor New York,NY 10173 Attn:Sales Desk at(212)351 6050 中華人民共和國的通知事項:中華人民共和國的通知事項:在中華人民共和國(下稱“中國”,就本報告目的而言,不包括香港特別行政區、澳門特別行政區和臺灣)只有根據適用的中國法律法規而收到該材料的人員方可使用該材料。并且根據相關法律法規,該材料中的信息并不構成“在中國從事生產、經營活動”。本文件在中國并不構成相關證券的公共發售或認購。無論根據法律規定或其他任何規定,在取得中國政府所有的批準或許可之前,任何法人或自然人均不得直接或間接地購買本材料中
209、的任何證券或任何實益權益。接收本文件的人員須遵守上述限制性規定。加拿大投資者的通知事項:加拿大投資者的通知事項:在任何情況下該等材料均不得被解釋為在任何加拿大的司法管轄區內出售證券的要約或認購證券的要約邀請。本材料中所述證券在加拿大的任何要約或出售行為均只能在豁免向有關加拿大證券監管機構提交招股說明書的前提下由Haitong International Securities(USA)Inc.(“HTI USA”)予以實施,該公司是一家根據National Instrument 31-103 Registration Requirements,Exemptions and Ongoing Reg
210、istrant Obligations(“NI 31-103”)的規定得到國際交易商豁免(“International Dealer Exemption”)的交易商,位于艾伯塔省、不列顛哥倫比亞省、安大略省和魁北克省。在加拿大,該等材料在任何情況下均不得被解釋為任何證券的招股說明書、發行備忘錄、廣告或公開發行。加拿大的任何證券委員會或類似的監管機構均未審查或以任何方式批準該等材料、其中所載的信息或所述證券的優點,任何與此相反的聲明即屬違法。在收到該等材料時,每個加拿大的收件人均將被視為屬于National Instrument 45-106 Prospectus Exemptions第1.1節
211、或者Securities Act(Ontario)第73.3(1)節所規定的認可投資者(“Accredited Investor”),或者在適用情況下National Instrument 31-103第1.1節所規定的許可投資者(“Permitted Investor”)。新加坡投資者的通知事項:新加坡投資者的通知事項:本研究報告由Haitong International Securities(Singapore)Pte Ltd(“HTISSPL”)公司注冊編號201311400G 于新加坡提供。HTISSPL是符合財務顧問法(第110章)(“FAA”)定義的豁免財務顧問,可(a)提供關于
212、證券,集體投資計劃的部分,交易所衍生品合約和場外衍生品合約的建議(b)發行或公布有關證券、交易所衍生品合約和場外衍生品合約的研究分析或研究報告。本研究報告僅提供給符合證券及期貨法(第289章)第4A條項下規定的機構投資者。對于因本研究報告而產生的或與之相關的任何問題,本研究報告的收件人應通過以下信息與HTISSPL聯系:Haitong International Securities(Singapore)Pte.Ltd 50 Raffles Place,#33-03 Singapore Land Tower,Singapore 048623 電話:(65)6536 1920 日本投資者的通知事
213、項:日本投資者的通知事項:本研究報告由海通國際證券有限公司所發布,旨在分發給從事投資管理的金融服務提供商或注冊金融機構(根據日本金融機構和交易法(“FIEL”)第61(1)條,第17-11(1)條的執行及相關條款)。英國及歐盟投資者的通知事項:英國及歐盟投資者的通知事項:本報告由從事投資顧問的Haitong International Securities Company Limited所發布,本報告只面向有投資相關經驗的專業客戶發布。任何投資或與本報告相關的投資行為只面對此類專業客戶。沒有投資經驗或相關投資經驗的客戶不得依賴本報告。Haitong International Securiti
214、es Company Limited的分支機構的凈長期或短期金融權益可能超過本研究報告中提及的實體已發行股本總額的0.5。特別提醒有些英文報告有可能此前已經通過中文或其它語言完成發布。澳大利亞投資者的通知事項:澳大利亞投資者的通知事項:Haitong International Securities(Singapore)Pte Ltd,Haitong International Securities Company Limited和Haitong International Securities(UK)Limited分別根據澳大利亞證券和投資委員會(以下簡稱“ASIC”)公司(廢除及過度性)文
215、書第2016/396號規章在澳大利亞分發本項研究,該等規章免除了根據2001年公司法在澳大利亞為批發客戶提供金融服務時海通國際需持有澳大利亞金融服務許可的要求。ASIC的規章副本可在以下網站獲?。簑ww.legislation.gov.au。海通國際提供的金融服務受外國法律法規規定的管制,該等法律與在澳大利亞所適用的法律存在差異。印度投資者的通知事項:印度投資者的通知事項:本報告由從事證券交易、投資銀行及證券分析及受Securities and Exchange Board of India(“SEBI”)監管的Haitong Securities India Private Limited(
216、“HTSIPL”)所發布,包括制作及發布涵蓋BSE Limited(“BSE”)和National Stock Exchange of India Limited(“NSE”)(統稱為印度交易所)研究報告。本項研究僅供收件人使用,未經海通國際的書面同意不得予以復制和再次分發。版權所有:海通國際證券集團有限公司2019年。保留所有權利。Peoples Republic of China(PRC):In the PRC,the research report is directed for the sole use of those who receive the research report
217、in accordance with the applicable PRC laws and regulations.Further,the information on the research report does not constitute production and business activities in the PRC under relevant PRC laws.This research report does not constitute a public offer of the security,whether by sale or subscription,
218、in the PRC.Further,no legal or natural persons of the PRC may directly or indirectly purchase any of the security or any beneficial interest therein without obtaining all prior PRC government approvals or licenses that are required,whether statutorily or otherwise.Persons who come into possession of
219、 this research are required to observe these restrictions.Notice to Canadian Investors:Under no circumstances is this research report to be construed as an offer to sell securities or as a solicitation of an offer to buy securities in any jurisdiction of Canada.Any offer or sale of the securities de
220、scribed herein in Canada will be made only under an exemption from the requirements to file a prospectus with the relevant Canadian securities regulators and 41 only by Haitong International Securities(USA)Inc.,a dealer relying on the“international dealer exemption”under National Instrument 31-103 R
221、egistration Requirements,Exemptions and Ongoing Registrant Obligations(“NI 31-103”)in Alberta,British Columbia,Ontario and Quebec.This research report is not,and under no circumstances should be construed as,a prospectus,an offering memorandum,an advertisement or a public offering of any securities
222、in Canada.No securities commission or similar regulatory authority in Canada has reviewed or in any way passed upon this research report,the information contained herein or the merits of the securities described herein and any representation to the contrary is an offence.Upon receipt of this researc
223、h report,each Canadian recipient will be deemed to have represented that the investor is an“accredited investor”as such term is defined in section 1.1 of National Instrument 45-106 Prospectus Exemptions or,in Ontario,in section 73.3(1)of the Securities Act(Ontario),as applicable,and a“permitted clie
224、nt”as such term is defined in section 1.1 of NI 31-103,respectively.Notice to Singapore investors:This research report is provided in Singapore by or through Haitong International Securities(Singapore)Pte Ltd(“HTISSPL”)Co Reg No 201311400G.HTISSPL is an Exempt Financial Adviser under the Financial A
225、dvisers Act(Cap.110)(“FAA”)to(a)advise on securities,units in a collective investment scheme,exchange-traded derivatives contracts and over-the-counter derivatives contracts and(b)issue or promulgate research analyses or research reports on securities,exchange-traded derivatives contracts and over-t
226、he-counter derivatives contracts.This research report is only provided to institutional investors,within the meaning of Section 4A of the Securities and Futures Act(Cap.289).Recipients of this research report are to contact HTISSPL via the details below in respect of any matters arising from,or in c
227、onnection with,the research report:Haitong International Securities(Singapore)Pte.Ltd.10 Collyer Quay,#19-01-#19-05 Ocean Financial Centre,Singapore 049315 Telephone:(65)6536 1920 Notice to Japanese investors:This research report is distributed by Haitong International Securities Company Limited and
228、 intended to be distributed to Financial Services Providers or Registered Financial Institutions engaged in investment management(as defined in the Japan Financial Instruments and Exchange Act(FIEL)Art.61(1),Order for Enforcement of FIEL Art.17-11(1),and related articles).Notice to UK and European U
229、nion investors:This research report is distributed by Haitong International Securities Company Limited.This research is directed at persons having professional experience in matters relating to investments.Any investment or investment activity to which this research relates is available only to such
230、 persons or will be engaged in only with such persons.Persons who do not have professional experience in matters relating to investments should not rely on this research.Haitong International Securities Company Limiteds affiliates may have a net long or short financial interest in excess of 0.5%of t
231、he total issued share capital of the entities mentioned in this research report.Please be aware that any report in English may have been published previously in Chinese or another language.Notice to Australian investors:The research report is distributed in Australia by Haitong International Securit
232、ies(Singapore)Pte Ltd,Haitong International Securities Company Limited,and Haitong International Securities(UK)Limited in reliance on ASIC Corporations(Repeal and Transitional)Instrument 2016/396,which exempts those HTISG entities from the requirement to hold an Australian financial services license
233、 under the Corporations Act 2001 in respect of the financial services it provides to wholesale clients in Australia.A copy of the ASIC Class Orders may be obtained at the following website,www.legislation.gov.au.Financial services provided by Haitong International Securities(Singapore)Pte Ltd,Haiton
234、g International Securities Company Limited,and Haitong International Securities(UK)Limited are regulated under foreign laws and regulatory requirements,which are different from the laws applying in Australia.Notice to Indian investors:The research report is distributed by Haitong Securities India Pr
235、ivate Limited(“HSIPL”),an Indian company and a Securities and Exchange Board of India(“SEBI”)registered Stock Broker,Merchant Banker and Research Analyst that,inter alia,produces and distributes research reports covering listed entities on the BSE Limited(“BSE”)and the National Stock Exchange of Ind
236、ia Limited(“NSE”)(collectively referred to as“Indian Exchanges”).This research report is intended for the recipients only and may not be reproduced or redistributed without the written consent of an authorized signatory of HTISG.Copyright:Haitong International Securities Group Limited 2019.All rights reserved.http:/