GPU 加速中國電信 Spark 大數據處理.pdf

1、#page#MHadoop到Spark用戶程序（1）fork（1)fork（1）fork（21皖2Master分配分配mapreduceworker文件切片0（6）寫入輸出文件0worker文件初片1（5）遠程讀?。?）讀?。?）本地寫入文件切片2worker輸出文件1worker文件切片3文件切片4worker中間文件輸入文件輸出文件Map階段Reduce階段（存儲在本地磁盤上）參考資料：GoogleMapReduce白皮書#page#page#大數據處理在中國電信的使用廣泛集團側數據處理省端數據接入集團側輸出服務集團側監測運營實時處理：FlumeFlinkKafkaAPI服務監控Strea

2、mingMysql模型預測任務監控離線處理：FTPAPI租戶資源監控HiveAPI報表系統監控Spark采集任務監控調度及存儲：yarnhdfsRedis#page#GPU + Spark 3（三個GPU相關的feature）Accelerator-aware task scheduling for Spark SPARK-24615Public APls for extended Columnar Processing Support SPARK-27396Support Stage level resource configuration and scheduling SPARK-2749

3、5#page#Spark3.0對GPU的支持開源項目：https:/ RAPIDS Accelerator for Apache Spark provides a set of plugins for ApacheSpark thatleverage GPUs to accelerate processingvia the RAPIDS libraries and UCX解讀：GPU對Spark的加速服務，是作為一個Plugin提供的；，這個Plugin里面用到了另外兩個開源項目：RAPIDSUCX#page#RAPIDS開源項目：https:/ GPU Data Sciencehtapids

4、aRAPIDS ECOSYSTEMApplicationsSWAPI/FEApplicationData Mining &DataEnterprise DataLayerGPU DatabaseGPUVsualizationPreparation PlatformScience PlatformDeep LearningRAPIDSFrameworksPython BindingLayerCuDFCUMLraphNNCIC+LayerCUDA-XCUDAPrmsHWVendorGPU ServersStorage Partners#page#RAPIDS- exampleRun testsIn

5、s為time10036128orint（data,x.shape）In6：n_samples=2In 7:stimeeps，mfn_samplPU timgs26.75，sys：724ms，tota1：27.45a11 time:26.8sIn8j第t金eIn 9=timeeps，mln_samples=mln_samples.fit（x）CPUtima7.625,5ys:100ms，total：7.725In iejum1.1abe1s）“OTequa1”）are dbscan：cunl vs sklearn labels8CMp#page#UCX另一個開源軟件：https:/www.ope

6、nucx.org/UCX用來解決Sparkshuffle的性能問題Unified Communication X簡潔的傳輸協議在終端間（TCPRDMA，SharedMemory，GPU）選擇最優路徑通過RDMA實現GPU顯存傳輸時Zero-Copy支持RDMA需要的網絡（IBorRoCE）#page#page#GPU上支持的操作randSinhdoubleinput_file_bloclocatenanvTimeSub forconkatucaseKlensttimerangeab301smallintCOSCnegativeupperinputfile_blocstartswith往Ksta

7、rtcoshlog10acosexpnotspark_partitionwhendreplaceendswithwindowandexpmilogip103noWrintsqrtcontainsfirstog2a5iCountnuiyearintrollupstringLimitfintvalueloweratan341inanASqnSorderbyfloatnvL2avscurrent_datemaxsnoultsecondunsnsgroupbybiintfloormeanOrCSV Readingcurrent_timestsnulshiftleftamnp5umfiteroboole

8、anminpiOrcReadinglastdateshiftighttanunionhourminuteCastposexplodeOrcWritingdatedifflastvalueshiftightunsttanhrepartition皖CbrtnedodpositionParquctlcaseReadnstimestampdayequjoinsinullsignceimonotonicallyPowlikeicreasing_ttinyintselectdayofmonthParquetWrtinginsigumcelingpower5t你monthdegreesinitcopsinA

9、NSICaStScoalesceradians11#page#page#如何使用安裝Spark3安裝RAPIDS-sparkplugin（很簡單，兩個jar包，如下）cudf的jar包Rapids plugin的jar包export SPARK RAPIDS DIR=/opt/sparkRapidsPluginexport SPARK_CUDF_JAR=SSPARK_RAPIDS_DIR/cudf-0.15-cuda10-1.jarexport SPARK_RAPIDS_PLUGIN_JAR=SSPARK_RAPIDS_DIR/rapids-4-spark_2.12-0.2.0.jar13#p

10、age#如何使用我們以standalone為例Spark-shell啟動腳本參數：SSPARK_HOME/bin/spark-shell-master 1ocal-num-executors1-drivermemory16g-confspark.sql.files.maxPartitionBytes=512m-confspark.sql.shuffle.partitions=10-conf spark.plugins=com.nvidia.spark.SQlPlugin-jars SSPARK_CUDF_JAR,SSPARK_RAPIDS PLUGIN_JAR14#page#如何使用執行一個小

11、的測試程序SGFKversion3.0.0sing Scala version 2.12.10rype in expressions to have them evaluatedrype：help for more information.calaval df=sc.makeRDD(1to10000000，6）.toDFf：org.apache.spark.sql.Datarramevalue： intcala val df2= sc.makeRDD(1 to 10000000，6）.toDFif2:org.apache.spark.sql.DataFrame =value:int=10000

12、000res0:long15#page#GPU加速支持的SparkAPISpark的三種APIRDD（從Spark1.0版本開始）由于歷史原因，在目前項目中使用較多DataFrame（從Spark1.3版本開始）DataFrame = RDDIRow + shcema新的項目大多采用DataFrame或者SparksQlDataSet（從Spark1.6版本開始）更強的數據類型檢查，目前使用較少16#page#GPU加速支持的SparkAPISpark的三種APIRDD（從Spark1.0版本開始）由于歷史原因，在目前項目中使用較多DataFrame（從Spark1.3版本開始）DataFra

13、me = RDDIRow + schema支持GPU加速新的項目大多采用DataFrame或者SparksQLDataSet（從Spark1.6版本開始）更強的數據類型檢查，目前使用較少17#page#數據的讀取問題GPU本身的并行處理能力使得更適合列式數據讀取Spark中的列式數據格式ParquetORCGPU讀寫都有很好的性能18#page#不太適合GPU加速的一些場景數據量很小的情況，例如每個partition不到100MB數據；VO很慢的情況例如磁盤、網絡很慢；數據需要不斷從GPU來回復制和cache高度相關的一些處理19#page#更適合GPU加速的一些場景大數據量的join操作，且

14、數據之間重復度不高；大數據量的aggregates操作，且數據之間重復度不高；大數據量的sort操作，且數據之間重復度不高；window操作，尤其是大的window；復雜的計算；讀寫轉換（例如讀取parquet，寫入orc）20#page#測試情況總結測試一：業務場景：IPTV業務質量統計數據格式：70+字段，char，int，float等數據量：400GB+數據格式：csv小文件（4GB一個）操作：select，sum，partition，max等Scala編寫的SparkSQL腳本，所以無須修改代碼21#page#page#測試情況總結3臺2路86服務器，每臺2顆Intel Xeon Go

15、ld 6130 CPU2.10GHz4片TeslaT4GPU（只在GPU測試中使用）執行時間（分鐘）加速比GPUCPUCPU/GPU第一次112.15.24第二次2115.50第三次2126.00平均2.0311.335.5823#page#測試情況總結測試二：業務場景：移動業務場景，表schema：多張表，主要為string，int字段類型，數據量：從100GB到1TB+數據格式：parquet操作：select，leftjoin，groupby等，標準SQL語句，所以無須修改代碼24#page#測試情況總結1臺2路x86服務器，2顆Intel Xeon Gold 6130 CPU2.10G

16、Hz4片TeslaT4GPU（只在GPU測試中使用）測試結果（1TB數據量）：CPU： 890sGPU：189s加速比：4.7倍25#page#未來的一些待研究的問題GPU+Spark這個技術很新，社區今年下半年才發布。我們做了一點初步的測試，但是還有很多問題沒有解決：，擴展性的問題。，同樣的一個任務，是不是4張卡的性能就是1張卡的四倍？四臺服務器的性能，是否能達到一臺服務器的4倍？硬件整體配置和選型的問題。GPU卡的種類很多，選擇哪種卡做大數據處理性價比最高？網絡和存儲應當如何配置才能匹配GPU的處理速度？，在現有的集群中如何加入/調度GPU服務器？UCX加速shuffle的效果如何？對網絡有哪些新的要求？26#page#英偉達GPU加速中國電信Spark數據處理白皮書英偉達GPU加速中國電信Spark數據處理白皮書（2020年12月）27#page#英偉達GPU加速中國電信Spark數據處理白皮書掃描二維碼，下載白皮書28#page#感謝聆聽！29#page#