2018年金融業開源技術現狀與容器技術思考.pdf

1、金融業開源技術現狀與容器技術思考1.金融業開源技術現狀2.容器技術思考開源開發社區的構成社區人員組成由來自相關商業公司的核心項目協調人和核心開發人員組成委員會。由開源軟件基金會和社區定期選舉產生。核心代碼貢獻者來自全球不同企業和組織。社區網站和開發協同平臺官方在線社區網站，提供郵件列表，IRC,Slack,Issue故障庫,知識庫，維基系統等組成全球開發協同通過互聯網上的專業開發協同平臺進行.比如Github是目前最大的全球開發協同平臺專業社區會議通常由基金會贊助和組織，定期在全球召開的開發者大會，有研發路線的封閉會議和開發性會議組成。社區以Webinar 和Meetup方式組織各種在線和線下

2、社區技術會議金融行業開源軟件應用現狀與趨勢現狀：1.擁抱開源從政治任務變成大勢所趨，甚至出現了“自主可控”。2.云計算、大數據、分布式、互聯網金融幾乎全部是以開源軟件為主。3.金融科技將主要以開源技術為創新的基礎：區塊鏈、人工智能等。趨勢：1.雙態架構明確了從集中式向開源分布式架構的轉變速度穩中有增。2.金融行業所采用的開源軟件類別及其應用規模將保持較高的增速。3.對開源軟件應用和管理的重心將更多的聚焦在”軟件治理與標準化”上。4.如何安全、可控的應用開源技術成為金融行業的主要考量指標。商業銀行開源軟件應用現狀與趨勢數據中心開發中心成熟的 Linux 開源操作系統成熟的開源數據庫(如MySQL

3、/PostgreSQL等)面向創新業務 互聯網業務和移動業務的 分布式數據處理技術(如分布式緩存，NoSQL數據庫,NewSQL數據庫等)隨著云計算發展引入的開源虛擬化和云計算平臺(如OpenStack,KVM，Docker，K8s等)隨著大數據發展引入的開源大數據技術(如Hadoop,Spark,Storm等)成熟的開源中間件(如Web服務器,Java服務器,消息服務器 負載均衡等)隨互聯網業務和移動互聯網業務引入的各種開源開發框架產品隨著敏捷開發引入的各種DevOps 開發和管理工具成熟的數據中心開源運維管理工具（配置管理、監控、日志分析等）虛擬化IaaS操作系統OLAP 數據庫/數據處理

4、層OLTP 數據庫/數據處理層中間件和消息隊列 業務邏輯層Web 接入和展現層負載均衡層服務器/存儲/網絡VMWareAIXHPUXPartitionTeradataEMC GreenplumOracle DBIBM DB2Oracle WeblogicIBM WebsphereOracle IASIBM IHS F5服務器/存儲/網絡OpenstackDockerK8sRed Hat/SUSECentOSCloudera HadoopSparkHBaseRedisMySQLMongoDBTiDBJBossTomcatRabbitMQKafkaZookeeperApacheNginxLVSHA

5、ProxyNginx服務器/存儲/網絡高可用保護層數據存儲和管理Veritas VCSIBM HACMPVeritas Storage FoundationHAHeartbeatKeepalivedXFSCephGlusterFS典型的IT架構常見的閉源實現架構主流企業級開源架構AnsibleSaltstackPuppetZabbixGrafanaElasticLogstashKibanaBMCPatrolHP OpenViewIBM Tivoli企業級閉源架構 VS 企業級開源架構變化快，產品分支多開源軟件通過源代碼開放給全球開發者和企業。產品迭代速度快，版本變化很快 同一類產品，有不同的分

6、支版本 不同類產品具有不同的許可證重核心功能，輕配套管理開源軟件的研發特點:重視核心算法，核心功能的研發 軟件的配套管理功能普遍較弱社區及基金會主導軟件項目管理不同于閉源軟件的企業內部研發管理:開源項目一般由上游社區負責研發 項目和社區的治理通常由基金會提供資金，基礎設施，人員和法律方面的支持和治理社區技術支持對象以開發者為主開源軟件的技術支持由上游社區提供:無SLA保障的互聯網支持模式 支持對象以開發者為主，使用者為輔。開源軟件開源軟件的特點金融行業應用開源軟件問題和風險主要風險和問題開源軟件組件和架構選擇以滿足業務功能為主，沒有緊密結合運維管理要求及未來可持續運維能力建設的要求準入體系缺失

7、將導致配套管理成本極速增加，開源軟件的成本優勢被削弱。運維安全風險顯著增加。主要風險和問題沒有適配開源軟件特點的在開發測試的應用標準和生產環境的運維標準。標準化缺失將產生規?；瘧煤蟮墓芾盹L險，同時阻礙了現代數據中心自動化和智能化管理能力的提升。主要風險和問題開源軟件帶來的靈活架構能力是雙刃劍，是需要最佳實踐指引和配套方法論保駕護航的。缺乏對標業務和管理需求的開源架構及業界最佳實踐的參考，開源軟件的”靈活架構”將成為一個管理災難。主要風險和問題技術團隊除了要掌握開源軟件技術本身之外，更重要的熟悉和掌握開源社區的信息獲取，篩選，判斷，互動，反饋和整理這6項基本能力。只掌握開源軟件技術本身而缺乏與

8、開源社區的連接，將導致企業成為開源軟件應用的“孤島”。1缺乏科學的準入和選型體系2缺乏開發測試及運維標準3缺乏最佳實踐指引和方法論4缺乏人員培養和知識管理我們能夠幫助企業用戶駕馭開源技術通過分析用戶的需求，結合我們所積累的最佳實踐方法和經驗，協助用戶設計出符合業務需求和管理需求的開源架構，尤其是集群和分布式架構，以滿足創新業務的支撐要求。運行正確的開源架構來支撐創新業務通過我們專業團隊的服務，提升用戶技術團隊在開源軟件領域的架構設計，平臺建設，運維管控和創新研究等方面的綜合實力和能力。鍛煉具備掌握開源知識的技術團隊為用戶提供針對開源軟件和開源架構的部署管理，配置管理，日志管理和監控告警管理等多

9、種管理手段，實現對開源軟件和開源架構的安全可控。管理開源軟件和開源架構精確的了解用戶的業務需求和管理需求，幫助用戶建立正確的開源軟件選型標準和版本管理體系，提前識別開源軟件和技術選型過程中的潛在風險和問題。選擇正確的開源軟件和技術企業級開源軟件評估體系E-OSMM(Enterprise Open Source Maturity Model)評價項評價指標評價方法覆蓋維度I.項目基本面評估項目年齡項目正式發布至今時間社區成熟度創新力項目的賣點項目發起者宣稱要解決的核心問題及技術亮點許可證類型GPL/BSD/Apache等發布模式只有社區版還是同時存在商業版版本控制ReleaseNotes/CHA

10、NGELOG 發布質量支持平臺支持的OS平臺,軟件包格式種類II.產品基本面評估開發協作模式github/launchpad/google code/sourceforge/其他社區成熟度產品成熟度發布頻率大版本之間和小版本之間的發布間隔和頻率(次/年)發布流程開發代碼樹的遞交和合并規則,代碼樹的管理規則產品質量Bug/Issue庫的統計,ReleaseNotes/CHANGELOG的故障分級統計產品標準化是否滿足和遵循一種或多種行業標準化產品模塊化產品自身是否存在模塊化設計或以模塊化方式集成開發人員規模代碼遞交統計數(公司內和社區)社區活躍度社區核心協作平臺:如郵件列表/github上的活躍

11、度社區影響力社區活動的途徑方式，社區市場活動的頻率，次數和規模社區控制力社區決策層的主要構成和決策規則商業市場影響力與商業團體等第三方商業生態圈的合作程度III.服務與支持評估服務形式社區支持還是有商業支持，分別以何種方式提供社區成熟度企業級特性服務內容服務內容對于SLA的覆蓋程度服務響應能力社區支持的響應能力，商業支持的響應能力服務本地化本地化社區，本地化商業支持團隊，本地化溝通及服務服務影響力社區支持服務看社區支持的活躍度，商業支持看訂閱服務購買情況服務的成本社區服務的成本構成，商業服務的成本構成IV.產品核心技術評估可靠性開源軟件的可靠性設計和實現(通過基礎評估測試)產品成熟度企業級特性

12、可擴展性開源軟件的可擴展性設計和實現(通過基礎評估測試)性能開源軟件性能設計和實現(通過基礎評估測試)可用性開源軟件的可用性架構設計和實現(通過基礎評估測試)易用性CLI(命令行交互界面)，UI(圖形化交互界面)的完備性平臺獨立性對平臺和運行環境的依賴性安全性已包含和提供的安全相關的能力可管理性產品配套工具是否完善,如備份，恢復，監控等文檔完備性產品規格文檔，管理文檔，配套組件文檔，在線教程，其他文檔資源故障庫完備性是否提供故障庫,故障庫的信息含量和完備程度培訓社區培訓或商業培訓，是否有認證制度，培訓內容覆蓋面供應商獨立性是否存在專業商業供應商或第三方獨立供應商開源解決方案和專業服務開源軟件的

13、技術運維服務開源軟件和架構的咨詢規劃標準化體系建設開源軟件系統部署和實施故障應急和保障日常維護支持和響應知識傳遞和團隊能力提升開源自動化運維工具及服務開源數據解決方案和服務生產級MySQL開源數據庫高可靠性解決方案與服務開源分布式緩存和分布式數據庫解決方案基于容器技術的數據庫容器云DBScale，提供各種開源數據處理技術的資源池化和高效運維管理。AB開源技術能力培訓：開源軟件評估評價體系和治理咨詢服務C1.金融業開源技術現狀2.容器技術思考企業級私有云基礎堆棧13Enterprise Private Cloud13IaaSVMwarePaaS（IaaS）網絡存儲計算SaaSAPaaS：飛天敏捷

14、版Docker EEDBaaS：DBScaleCaaS：K8sSwarmCaaS：K8sSwarmIaaS CMPIaaSOpenstack AIaaSOpenstack BPaaS CMP開源數據庫為什么要運行在容器中？14開源數據庫安裝包尺寸Mysql 5.5.57189MMysql 5.6.37314MMysql 5.7.19611MPostgreSQL 9.6.5 24MMongodb 3.4.7 82MRedis 4.0.12MCouchbase109MCassandra 3.11.038M商業數據庫安裝包尺寸Oracle 12c 3.2GDB2 V10.5 2.5GSQLserve

15、r 2016 2.45GCattle Farm 和 Zoo 管控模型的比較農場(Cattle Farm)模型所有的資源池成員都一視同仁通過快速的橫向擴展成員數量，實現總服務能力的提升成員故障和失效，通過簡單”粗暴”的方式來隔離故障動物園(Zoo)模型資源池成員按應用類別識別為管理邏輯上的不同的組在同組內通過快速的橫向擴展成員數量，實現總服務能力的提升不同組之間，采用動態的自適應的資源調度策略成員故障和失效，通過簡單”粗暴”的方式來隔離故障在Cattle Farm模型的高效率之上實現精細化管理寵物(Pets)模型(傳統經典模型)要對成員單個逐個標記識別成員有角色和個性化資源要求成員出現問題的時候

16、，需要盡可能修復有狀態服務如何應用容器技術16組合式服務資源管理CPU內存可在線擴容數據空間可在線擴容網絡帶寬可在線擴容自動同步配置到配置文件unit2core4GB100MLVM100G4core8GBbond0500MConfigfileLVM500G有狀態服務應用容器技術的服務模型17SubserviceService ModelSubservice數據持久化方案混合模式存儲架構支持本地磁盤和SAN數據日志分離存儲提高性能使用LVM技術在線擴容有狀態服務容器化的高性能網絡解決方案容器技術為有狀態服務云化帶來的好處1.資源的管控模型更加高效資源利用率提高敏捷提供數據庫資源和服務，讓應用開發更加專注2.實現數據庫資源和服務的彈性伸縮，應對瞬時高峰業務場景秒殺、大促變成您日常的業務，靈活應對各種市場競爭和機遇3.填補私有云架構中數據庫上云的空白4.持續創新的發動機開源技術專家服務THANKS