《分布式人工智能與金融應用.pdf》由會員分享,可在線閱讀,更多相關《分布式人工智能與金融應用.pdf(16頁珍藏版)》請在三個皮匠報告上搜索。
1、分布式人工智能與金融應用王靜逸#page#目錄分布式人工智能的發展概要金融業大規模人工智能計算的痛點與需求分布式人工智能如何賦能金融業未來展望#page#金融科技領域-分布式人工智能的需求概要隨著金融科技領域的不斷發展,特別是云計算、大數據、區塊鏈、分布式、人工智能、物聯網的發展,單一的計算機無法完成這樣的巨大的計算工作,特別在AI領域,傳統的人工智能計算效率已經遠遠無法滿足業務的快速發展。而在物聯網領域,隨著智能互聯的發展,多個智能設備之間的協作也變得更加緊密,人工智能的發展,逐步也在往邊緣計算領域發展,萬物互聯的智能時代,對人工智能的計算方式也提出的更高的要求。AI計算框架異構計算芯片分布
2、式智能內核算法分布式改進人工智能多專家系統協作分布式計算#page#金融科技領域-分布式人工智能計算的發展數據功能傳統的人工智能,數據較為單一,從數據形態看,目前以批量數據為主,缺乏流式數據針對大數據和人工智能的發展,A的功能變得更加豐富多樣,對于新技術的支撐的處理機制能力,要求日益增加,數據部分,人工智能的發展也受到了大數據發展的影響,大規模的數據計算能力和計,在金融領域,正在從傳統的技術方案,面向新智能領域逐步轉型,如何打造面算形式受到巨大挑戰,單一的大數據計算模式在人工智能場景依然會受到制約向金融領域合規的業務方案,成為AI思考的重要問題。打造屬于分布式人工智能的數據計算框架和方法,也是
3、重要的研究方向。從單一的人工智能,到集中化的人工智能,再到萬物互聯時代,智能邊端計算的興起,分布式人工智能的挑戰日益加強。數據架構功能架構分布式。人工智能技術架構部署架構部署技術,傳統的人工智能計算技術,隨著金融科技快速的發展,如何提高大規模的計算現有的人工智能基本上實現了平臺的高可用,無單點故障隱患,從技術架構到部署架構上,平臺能夠支持橫向擴展,可支持未來可能出現的高并發場景。能力,包括AI模型的訓練與推理?,針對邊緣計算、云邊端協作一體化的人工智能部署方式與高可用容災備份,是一個需要在在人工智能計算芯片不斷發展的今天,異構的算力資源,如何進行分配、管理金融科技領域研究的問題。調度,并且使用
4、到適合的場景,是重點金融科技數據中心的核心技術。在云邊端協作下,不同的計算芯片、軟硬件,在不同場景下,特別是邊緣計算如何適用于各個金融領域強監管、高安全性的部署與防護方式,是現階段推進人工智能領域在金融科技領域推進必須解決的問題。領域,還遠遠無法滿足金融科技場景不斷擴展的需求云邊端一體化和萬物智能互聯一體化、集中化的人工智能平臺人工智能在金融科技領域的興起大規模人工智能計算和異構算力的興起#page#目錄分布式人工智能的發展概要金融業大規模人工智能計算的痛點與需求分布式人工智能如何賦能金融業未來展望#page#金融科技領域-推薦系統實時精準推薦司在線計算數據廣告策路數據準備決策特征工程驗證強化
5、鏡型測試數據分流流數據空間構造準備測試模型A/B測試餐華京湖高速緩存基準模型環境埋點廣告策略集合數據模型版本切換增量輸出模型模型多版本服務近線推薦初排集合模型風險控制近線計算數據時序數據準備過濾召回特征工程模型排序測試數據分流流數據緩存數據準備測試模型算法服務模型A/B測試排序服務風控對抗消息隊列基準模型環境數據數據拼接采集模型多版本服務增量輸出模型模型版本切換離線推薦集合數據數據數據ETL處理模型過濾否回-數據序面到大大數計算數據準備測試特征工程準備規則排序環境模型A/B測試離線計算功能組模型算特征知識外部確定訓練算法件訓練模型數據引擎圖譜法服務模型服務模型服務運行輸出模型模型服務灰度發布據
6、平模型評估發布模型更新S鏡像打包模型+算法+運行依賴#page#金融科技領域-云邊端協作的智能物聯網OS010203SO060407人居消費級城市物流交通制造零售集成服務IOT智能設備與解決方案操作系統OS層體系架構設備連接控制數據服務智能分析服務智能設備OS應用市場分布式基礎服務開放服務總線基礎設施服務器計算芯片儲存網絡數據中心AI推理平臺云邊端管理平臺應用服務市場#page#金融科技領域-多智能專家系統協作決策推理數據分析模型庫和決策推理Agent作用環境感知環境協作EnvironmentEnvironment模塊Agent推理目標感知要素工機單元器數據識庫作關系同步感知行為決策目標Age
7、n知效應控制工作神經記憶庫AgentAgent智能交互界面結果解釋單元協商協調-Agent協商協調協商協調協商協調用戶協調模型協商協調AgentAgent數據和決策Agent原理結構#page#金融科技領域-痛點與能力需求痛點3:計算模式痛點4:系統復雜性痛點1:算力異構痛點2:大規模算力人工智能和大規模計算能力的發展人工時代的來臨對算力的需求越來隨著AI規模的發展、云邊端一體化新型AI計算芯片層出不窮,國產化越龐大,數據中心的算力規模不斷如何使用分布式計算和高性能計算增大。如何對算力進行大規模驅動,能力賦能AI計算模式,提高速度,的發展,多個系統協作與AI協作模超勢來臨,如何對各類算力進行管
8、適應AI計算模式增強AI能力式復雜性不斷上升理和調度,適配不同計算場景3金融科技下的解決方案與需求自主研發分布式AI計軟硬一體化,業務選代算力虛擬化,一體化OS管理030102算框架,適應大規模效率提升TEITETTE算力和新業務需求MM異構資源管理,GPU與國產芯片靈提升任務成功率,縮短送代周大規模分布式AI計算框架活切換:支持國產NPU、GPU等,期:開發者無需重復調試分布針對大規模的計算模式,打造符合支持FPGA,ASIC等芯片算力式資源參數自動配置GPU顯存、金融場景的AI計算框架,充分發揮資源執行率洞察,輔助預算決策CPU內存等。算力資源集群。細粒度資源排隊等待與閑置浪費統提升任務并
9、行度,更多業務同從業務模式抽象計算模式計/AI建設執行情況洞察,人均算力時送代:化整為零的細粒度金融科技領域的業務是復雜而且多資源占比GPU/CPU資源切分提升異構變的,但并不是無規律可循。針對智能管理優化,降低運維成本:顯芯片并行任務處理能力金融科技領域中臺戰略發展,抽象存級資源隔離,無需重啟任務的容通用的計算模式,打造通用性更強器動態調度技術的計算框架模式。#page#目錄分布式人工智能的發展概要金融業大規模人工智能計算的痛點與需求分布式人工智能如何賦能金融業未來展望#page#金融科技領域-風險控制與普惠金融基于普惠金融大數據能力模型更好地收集整合各類數據,更好地積累業務數據和模形成以客
10、戶為中心的客戶畫型計量結果,進行全流程像,看待客戶將更全面更準達成業務流程與信用風險金的信用風險模型監控,加確,對客戶和業務的判斷更管控模型的管控解耦,降快模型的升級和應用,提精準,達成普惠金融識險控低風控模型升級維護對業升智能化發展速度。險避險的目標務流程的影響;降低重復更好地融合準入、額度、開發帶來的浪費和余,審批、貸后預警等環節更好地支持產品創新的計量模型和風控規則,形成完整全面的風險管控,避免政策不統一的問題,更好地執行高管層戰略意圖#page#金融科技領域-智能安防與邊緣計算6FPSRPreprocessAlInferencePostprocessRunningincPuinPLAl
11、acceleration30FPS2PostprocessPreprocessinPLinPLCV acceleration40FPSPostprocessin PL60FPSPostprocessVitisDataflowPipeliningPostprocessN.SCALE(in#page#金融科技領域-量化投資與投研分析技術層面量化交易平臺功能數據研究0101數據包含兩類,一類是行情數據,一類是財務、基本面、奧情、研報等投資研究模塊可以進行靈活的數據處理和研究,基于其他數據。行情數據:目前市面上分鐘級的數據比較精準,可以用于中lpythonNotebook,可以進行較好的交互式數據處理
12、低頻的交易回測;歷史、實盤TICK級的Level-1、Level-2數據需要自己簡單提取保存數據,并呈現圖片,同時支持Python2.X找渠道去獲得,較容易找到的渠道很容易出現漏數據、不精確等情況,和3.X。需要工程師結合多家數據源進行核對修復。模擬回測0202可以為模擬交易重命名、制除、暫停策略運行、重啟策回測最難的在于如何確定成交量,同時要考慮復權、停牌、ST*等問題略、查看策略運行日志、查看策略代碼安全實盤0303實盤交易作為投資環節中最后也是最重要一環,一直是廣安全在交易平臺的開發中是重中之重,如何保證策路的安全性,不大投資者最核心的訴求。被外部、內部人員所竊取,分為2部分。一部分是W
13、EB安全,一部分是策略的編譯安全#page#金融科技領域-分布式人工智能的特色與未來發展分布性開放性通過網絡互連和系統的分布,便于擴充系統規模,使整個系統的信息,包括數據、知識和控制等,無論在系統具有比單個系統廣大得多的開放性和靈活性。邏輯上或者物理上都是分布的,不存在全局控制和全局數據存儲。系統中各路徑和節點能夠并行地求解問題,從而提高子系統的求解效率。連接性容錯性系統具有較多的元余處理節點、通信路徑和知識,能在問題求解過程中,各個子系統和求解機構通過計算夠使系統在出現故障時,僅僅障低響應速度或求解精機網絡相互連接,降低了求解問題的通信代價和求解度,以保持系統正常工作,提高工作可靠性。代價。協作性獨立性YO各子系統協調工作,能夠求解單個機構難以解決或者系統求解任務歸約為幾個相對獨立的子任務,從而降無法解決的困難問題。例如,多領域專家系統可以協低了各個處理節點和子系統問題求解的復雜性,也降作求解單領域或者單個專家系統無法解決的問題,提低了軟件設計開發的復雜性。高求解能力,擴大應用領域總之,分布式人工智能在于它能以時空協同系統的利用,克服單個智能機器資源貧乏和功能單一的局限性,具備并行、分布、開放、連接、協作、獨立和容錯等優勢,因而獲得快速發展和越來越廣泛的應用。#page#謝謝