5-3 Byzer一門面向 Data+AI 的云原生語言.pdf

1、DBT的下一站：Byzer,一門面向Data+AI的云原生語言祝海林2022.09.17hailin.zhukyligence.io 2022 Kyligence Inc.Confidential.我是誰我是誰祝海林hailin.zhukyligence.io2021+資深數據工程師 Byzer PMC,Kyligence 技術合伙人2017-2020 資深數據工程師 丁香園2015-2016 數據工程師 樂視云2008年進行自己的第一個創業2012 年發布了自己的第一個重要開源項目 ServiceFramework2016年發布自己第二個重要開源項目 Byzer目前在維護項目多達幾十個 20

2、22 Kyligence Inc.Confidential.KYLIGENCE 公司介紹自主開源技術，打造開源生態 全球領先的大數據 OLAP 領導者 中國首個 Apache 頂級開源項目 1500+全球生產用戶 面向 Data+AI 的 類 SQL 語言 云原生，覆蓋桌面端到服務端 金融、互聯網等行業應用案例 2022 Kyligence Inc.Confidential.Why大數據大數據&AI 平臺落地困難平臺落地困難 成本高成本高How從語言層面解決從語言層面解決問題問題What面向面向Data+AI領域領域云原生類云原生類SQL語言語言 2022 Kyligence Inc.Conf

3、idential.支持 Windows/MAC/Linux桌面版 開箱即用Web IDE Byzer-shell/Byzer CLI 2022 Kyligence Inc.Confidential.Byzer Architecture產品層ByzerNotebookVscodeDesktopShell命令行RouteByzerEngine上層產品展現路由Yarn/Spark Standalone/K8S(on-Prem or Cloud)ByzerEngineByzerEngineByzer引擎計算集群 2022 Kyligence Inc.Confidential.Byzer Langenc

4、e Architecture 引擎層Byzer Interface LayerHTTP/JDBC PROTOCOLLSPCLIByzer LibsByzer ExtensionByzer Package Manager(Github Repo as Package)Byzer LangenceByzer Grammer(SQL-like&Macro Function)接口層語言生態Lexical AnalysisPreprocess/ParserCodeGen(iava/scalc/python/sql)Byzer Interpreter解釋器Byzer RuntimeSpark/Ray as

5、 runtime 執行引擎Native Extension(by java or scala)2022 Kyligence Inc.Confidential.Byzer 自然災害可視化演示 2022 Kyligence Inc.Confidential.表格化表格化 將數據抽取為表格形式SQL 化化使用 SQL 進行數據處理可視化可視化 使用 Yaml 文本繪圖函數化函數化 特征工程/模型轉化為函數 2022 Kyligence Inc.Confidential.Byzer 機器學習示例 2022 Kyligence Inc.Confidential.全流程全流程覆蓋整個機器學習流程類類 SQ

6、L支持類SQL語法，簡單易學真分布式真分布式數據抽取，處理，特征工程，模型訓練全程分布式深度學習深度學習覆蓋深度學習（on Byzer-python）2022 Kyligence Inc.Confidential.Byzer-python 示例 2022 Kyligence Inc.Confidential.N o t e b o o k 化化SQL 和 Python 代碼共存數據互通數據互通SQL 和 Python 數據互訪真分布式真分布式SQL 和 Python 全分布式執行分 布 式分 布 式D a t a F r a m e分布式DataFrame:Dask 2022 Kyligenc

7、e Inc.Confidential.分布式分布式數據處理，模型訓練，全分布式環境隔離環境隔離Spark/Ray 環境隔離，屏蔽Python高度復雜的環境融合融合Hybrid Runtime模型部署模型部署Ray可以為作為模型部署底座 2022 Kyligence Inc.Confidential.Byzer 案例介紹 2022 Kyligence Inc.Confidential.使用 Byzer 在語言層面統一技術棧和架構生產環境穩定運行三年多累計執行的數據處理任務 700 萬次單日執行的調度任務超過 4000 個平臺服務用戶日活 50+只投入了2人的研發團隊案例一 某消費金融公司落地數據

8、平臺案例使用 Byzer 完成大數據中心平臺的遷移和升級2 人研發團隊支撐生產環境的開發和運維 2022 Kyligence Inc.Confidential.案例二 助力廈門某技術公司賦能客戶 2022 Kyligence Inc.Confidential.案例三：Kyligence 工時管理分析系統Azure Blob飛書JiraCRMExcel飛書機器人提醒推送郵件發送數據給收件人 管理者需要評估不同項目的 ROI 各部門的工時信息記錄在不同的業務系統，但項目在不同的系統之間有交叉 通過 Byzer 獲取不同 SaaS 系統的數據，進行融合分析 結果會根據不同的用途發送給不同的系統 生產

9、環境每天定時更新，數據定時推送 2022 Kyligence Inc.Confidential.案例四：企業用戶基于 Byzer+Kyligence 的自助式分析平臺權限管理管理運維監控告警定時任務云端RDBMS云數據倉庫云對象存儲流式數據數據源ERP 系統IoT 設備在線數據日志數據接入數據分析BI機器學習服務EXCEL數據挖掘服務云對象存儲亞秒級響應構建數據索引數據服務AI 增強引擎受治理的數據集市OLAP 引擎銷 售市 場財 務智能數據云 2022 Kyligence Inc.Confidential.https:/ 線一 線社區愿景社區愿景 for 一線：釋放分析師一線：釋放分析師/工程師工程師/運維的生產。運維的生產。企 業企 業社區愿景社區愿景 for 企業：低成本、高效率的落地數據平臺，企業：低成本、高效率的落地數據平臺，完成完成 AI 工程化。工程化。核 心核 心社區核心：社區核心：Byzer-lang 2022 Kyligence Inc.Confidential.Thank You