字節跳動-袁巍-字節端智能平臺Pitaya的實踐分享和未來之路.pdf

《字節跳動-袁巍-字節端智能平臺Pitaya的實踐分享和未來之路.pdf》由會員分享，可在線閱讀，更多相關《字節跳動-袁巍-字節端智能平臺Pitaya的實踐分享和未來之路.pdf（38頁珍藏版）》請在三個皮匠報告上搜索。

1、字節端智能Pitaya介紹實踐分享和未來之路字節跳動袁巍June,2023June,202301我介紹Introduce MyselfJune,202301_我介紹袁巍“”字節端智能平臺（Pitaya）技術負責 曾任職阿，騰訊等互聯企業，直專注移動端研發，近些年關注移動端+AI 結合領域。2020 年加字節跳動，從 0 到 1 建設字節端智能平臺 Pitaya，成為字節跳動中臺的通端智能框架，為業務帶來可觀收益。June,202301我介紹02Pitaya平臺介紹03端特征程建設04低代碼的智能化改造（PWT）05端智能 And LLM06Q&AJune,202302Pitaya平臺介紹Jun

2、e,202302_端智能發展體系，組建化/產品特異實現訴求有端智能體系端智能體系擴展未來 端邊云，模型 圖像識別、翻譯、Siri XNN，TFLite，拍淘鏈路 重排、決策、安全控 各的端智能基建解決算法和開發協作，加速業務場景落地，聚焦端側，部分數據智能鏈路建設 聯邦、端特征、垂類業務 端體系擴展，端和云的程體系，端和Iot設備，低代碼June,202302_Pitaya平臺介紹業務場景平臺架構June,202302_Pitaya平臺介紹云：模型+代碼開發數據開發模型開發算法包開發監控 告警實驗部署/動化迭代數據觸發部署管理VM基礎庫運時 監控數據/特征/畫像落盤數據、特征數據、特征、畫像P

3、itaya 平臺算法包Pitaya SDK性能、異常端：代碼執環境June,202302_Pitaya平臺介紹監控&告警業務指標監控&告警模型指標監控&告警特征指標監控&告警部署服務監控&告警平臺Metrics推理引擎TFLiteByteNNByteDTBaseFundationApplogMobileCVNumPyData Storge/DB運 容 器Muti-VMML-NativeCEPBridge Native Binding任 務 調 度Task隊列管理Task優先級Task任務編排串/并執包 管 理包管理數據管理Task成Task觸發鑒權端 特 征 中 特征計算特征存儲樣本標注部署下

4、發算法包版本管理部署版本管理A/B實驗灰度發布上線流程卡熔斷回滾特征數據平臺特征上/下通道特征集創建/存儲特征管理特征復特征商店畫像特征模型開發數據集導特征處理模型訓練離/在線指標模型轉化模型版本管理算法開發IDE開發環境預制模板真機調試打包發布Library版本動化測試Pitaya WorkFlow Template業務場景模板端云特征統流程節點開發鏈路動迭代迭代險控制業務案內容重排觸達時機商業化展示安全控預加載時機Debug&數據回放線上數據引流數據錄制數據回放Debug板動化驗證監控&告警執性能度量SDK穩定性監控&告警覆蓋率上報June,202302_Pitaya平臺介紹上線 200+

5、業務 涵蓋多媒體、商業化等中臺基建 覆蓋字節多數應用累計發布 5000+算法包 日均執行數萬億次發布運June,202302_Pitaya平臺介紹業務場景平臺架構June,202302_Pitaya業務實踐June,202302_Pitaya業務實踐June,202302_Pitaya業務實踐應內通知，決策通知彈出時間和彈出內容滲透，社交，電商等均有提升戶觀看習慣，快慢滑，選檔，超分觀看時提升的同時，服務端成本降低卡頓率-5%+，百秒卡頓次數-7%+，峰期帶寬-0.91%June,202303端特征程Data SourceJune,202303_端特征程數據 源數據 源數據 源Analysis

6、 with domain knowledgeFeature Verification Feature CleanStatistical AnalysisFeature Engineering PipResampingimputationreindexTransformRescaleAssemblingModel Ensembling and Training 數據鏈路，快速、通用好的數據決定了特征/模型的基礎June,202303_端特征程數據鏈路特征管理端特征June,202303_端特征程全域特征域特征直播域告域內容（視頻）域電商域本地活域June,202303_端特征程隱私攝像頭隱私數據

7、，不宜離開端上階特征，對云端模型的補充左右，戶姿態均對告模型CTR有提升傳感器多，量有的特征未被使數據密集，不易采集指南針指紋傳感器左右手識別用戶姿態識別June,202303_端特征程序列特征評論閱讀博主其他視頻觀看博主視頻這是在一個視頻/博主回話內產生的所有信息，他們特征關聯度很高 序列特征生成，服務端的事件關聯很困難，端上非常容易視頻點贊觀看時長關注了博主June,202303_端特征程緯度云端終端戶全部戶個計算資源云端集群個設備計算成本服務器成本個設備隱私保護脫敏/法使般正常使時效性永久有效定周期序列按 timeStamp 排序天然事件序列，易關聯組合數據域般按業務分離統域June,2

8、02303_Pitaya平臺介紹特征管理端特征數據鏈路June,202303_端特征程上鏈路TTNet 絡夾帶數據成和夾帶異步，解耦框架需業務研發接數據鏈路耗時短夾帶數據有限可能需要業務服務端適配通上通道統接，普適性好端到端數據直接使數據鏈路耗時取決于事件上報聯絡June,202303_端特征程下鏈路戶&設備圈選 戶畫像 Item Metadata User/Item Embedding 腳本選特征 提升模型效果 June,202303_Pitaya平臺介紹特征管理端特征數據鏈路June,202303_端特征程特征管理動態性 抽象算 配置成上下數據通道 分倉/分表存儲特征商店 特征上下線 特征

9、復數據 鏈路特征 產特征 管理June,202303_端特征程特征管理特征產，配置成特征展示June,202303_端特征程特征管理特征復June,202304低代碼的智能化改造（PWT）PWT（Pitaya Workflow Template）短平快的業務場景，要求投低，快速能有結果產出 PWT 提供低代碼、模板化案，滿業務 ROI 要求June,202304_Pitaya WorkFlow Template數據開發特征采集業務開發發布算法開發算法應結果處理PITAYA 平臺+SDK業務觸發特征處理雖然 Pitaya 能極降低研發成本，但 依然需要算法+業務雙配合 短平快的場景，可能并不充

10、短平快的場景，希望能快點有結果June,202304_Pitaya WorkFlow Template 數據/特征動化 模型動化 平臺動化June,202304_Pitaya WorkFlow Template平臺自動化模型自動化特征/數據自動化June,202304_Pitaya WorkFlow Templateeg.小程序預加載 視頻檔位選擇孵化數十場景 客戶端研發基本可以獨立支撐場景June,202305端智能 And LLMJune,202305_端智能 And LLMFrom 陸奇 奇跡論壇端模型的工程化部署 模型量化，蒸餾 部署體系和運行端：這里的端是各種終端，如手機端，MR，I

11、OT等，和用戶直接交互的端 多端的部署，統一執行，讓模型真的隨處所在，隨時運行，隨時進化，隨時反饋中大型工具，或者是制造工具的工具June,202305_端智能 And LLMMLC LLM is auniversal solutionthat allowsany language modelsto bedeployed nativelyon a diverse set of hardware backends and native applications,plus aproductive frameworkfor everyone to further optimize model performance for their own use cases.項地址：https:/ 2:Example of running a version ofPaLM modelwith 1.5 billion parameters.Demo is recorded on Pixel 7 Pro without playback speedup.項地址：https:/www.tensorflow.org/lite/examples/auto_complete/overviewJune,2023Q&ATHANKS.June,2023