《PostgreSQL在勘探行業中的應用6--林茂春.pdf》由會員分享,可在線閱讀,更多相關《PostgreSQL在勘探行業中的應用6--林茂春.pdf(42頁珍藏版)》請在三個皮匠報告上搜索。
1、PostgreSQL中文社區第13屆PostgreSQL中國技術大會聚焦云端創新匯聚智慧共享林茂春PostgreSQL在勘探行業中的應用PostgreSQL中文社區技術方案應用效果03持續發展04概述0102PostgreSQL中文社區目錄contents01概述PostgreSQL中文社區PostgreSQL中文社區01概述-地震勘探地震勘探是尋找油氣最重要最有效的工程技術手段,其原理類似醫學CT,但給地球做CT過程及難度要復雜得多,是通過觀察和研究各種地球物理場變化、開展地球研究和地下礦藏資源勘查的重要學科。決定勘探精度的核心是地震數據處理與地質解釋技術水平,而大型地震處理解釋軟件系統則是
2、這些核心技術重要載體,也是衡量一個國家物探技術水平的關鍵指標。物探工程師通過人工地震,使用專用儀器采集反應地下地層結構、介質屬性等物理信息的龐大原始數據處理專家利用大型計算機,將原始數據通過復雜數理計算,處理成為蘊含豐富地質和油氣信息的三維成像數據體地質專家對成像數據體進行地質解釋和綜合研究,分析判斷油氣分布規律,提供地下地質構造圖件及鉆探井位數據采集(海洋)數據處理數據解釋數據采集PostgreSQL中文社區01概述-地震勘探我國90%以上的油氣田發現主要是依靠地震勘探。每一輪物探技術的重大進步,都會帶來油氣探明儲量新一輪的增長高峰期。020406080100120二五三五四五五五六五七五八
3、五九五十五十一五 十二五 十三五中國新增油氣探明儲量截至2020年底,全國已探明油氣田1060個,累計探明石油儲量422億噸,天然氣儲量16.88萬億方。引自自然資源部全國石油天然氣資源勘查開采通報(2020年度)模擬儀器二維地震數字儀器低密度3D疊前時間偏中密度3D疊前深度偏高密度3D我國主要油氣產區分布情況技術進步PostgreSQL中文社區01概述-地震資料處理處理專家利用大型計算機,將原始數據通過復雜數理計算,處理成為蘊含豐富地質和油氣信息的三維成像數據體野外靜校正疊前去噪疊前振幅恢復串聯反褶積剩余靜校正速度分析觀測系統定義疊前時間偏移觀測系統定義PostgreSQL中文社區01概述-
4、地震資料處理疊前去噪地層吸收補償地表一致性振幅補償基準面靜校正數據加載置觀測系統預測反褶積隨機噪聲壓制疊后時間偏移最終濾波、增益最終疊加速度分析多次迭代地表一致性剩余靜校正速度分析與剩余靜校正迭代切除、疊加疊前時間偏移CRP道集拉平?建立均方根速度場noyes剩余速度分析多次波壓制全局尋優剩余靜校正層速度模型的建立目標線疊前深度偏移CIP道集拉平剩余延遲歸零數據體疊前深度偏移多次迭代層析成像、模型優化noyes疊前深度偏移疊前深度偏移地表一致性反褶積切除、疊加疊前時間偏移疊前時間偏移常規處理常規處理炮集CMP集CRP、CIP集疊后數據量:PB級難度高:方法多強度高:計算量大 CPU:解編、預處
5、理、反褶積、靜校正、DMO、疊加、疊后偏移等 GPU:疊前時間偏移、疊前深度偏移、波動方程偏移等處理專家利用大型計算機,將原始數據通過復雜數理計算,處理成為蘊含豐富地質和油氣信息的三維成像數據體PostgreSQL中文社區01概述-地震資料處理處理專家利用大型計算機,將原始數據通過復雜數理計算,處理成為蘊含豐富地質和油氣信息的三維成像數據體PostgreSQL中文社區01概述-地震資料解釋地質專家對成像數據體進行地質解釋和綜合研究,分析判斷油氣分布規律,提供地下地質構造圖件及鉆探井位區帶優選井位論證水平井地震地質導向地震數據PostgreSQL中文社區01概述-勘探行業面臨的挑戰隨著勘探領域走
6、向更復雜地區,地震勘探向更高覆蓋密度、更大接收道數發展,“兩寬一高”技術規?;瘧?,對勘探行業的跨領域多學科模型由量變帶來質變:單體數據由TB級跨越到PB級;而行業本身就存在的種類繁多關系復雜海量數據細粒度高并發無序訪問的特征,變得更為突出。數據規模單體數據的數據量超過PB,項目生產需要10倍空間模型規模多個應用領域百余種數據1700+個表,競品模型2200+個表數據格式通用標準格式上百種高性能計算2000+個節點并行計算高并發20000+作業并發運行細粒度高并發無序訪問以炮集存儲,多作業并發以多種道集單道訪問目標:在直面勘探行業所面臨的挑戰,研發出滿足油氣勘探要求的工程軟件,而其核心是要打造
7、管理海量數據的多學科數據管理平臺,針對百PB的地震數據,存得住、管得了、用得好。技術方案應用效果03持續發展04概述0102PostgreSQL中文社區目錄contents02技術方案PostgreSQL中文社區PostgreSQL中文社區02 技術方案-數據模型GeoEast-iEco數據模型:管理觀測系統地震數據井構造解釋標準代碼EAV屬性成圖非地震VSP處理參數單位元模型1234567891011121314模型規模大關系復雜:多個應用領域百余種數據1700+個表,競品模型超過2000+個表PostgreSQL中文社區02 技術方案-數據庫項目數據庫meta schemastandard
8、 data schemaproject data schemamgr data schema-meta version-table definitions-column def-pk def-fk def-index def-view definitions-tablespace def-sequences def-procedure def-trigger def-.-common standard data-coordinate system-unit-colormap-.-Industry standard data-equipment type-grid type-geophonety
9、pe-source type-static type-.-default standard data-geometry-Grid-Static-Seismic-Horizon-Fault-Velocity-Contour-Attributes-Well-Wavelet-Vsp-.-Group-User-priviledge-Project-Coordinate Sys-Canton-Organization-Basin-.PostgreSQL中文社區02 技術方案-讀寫分離綜合利用讀寫分離、連接池等技術,形成基于PG的高可用、高并發部署架構,實現了大規模數據并發訪問技術,最大并發數達20000
10、以上。PostgreSQL中文社區02 技術方案-連接池結合數據庫設計和部署,構建代碼級的數據庫連接池,自動區分讀寫連接,屏蔽讀寫數據時的相互影響,按需動態建立讀寫連接,完全分離應用的讀寫操作,并實現閑時自動釋放,提高數據庫資源綜合利用率,使整個環境實現了大規模數據高并發高效的數據訪問技術。Read Conn.nWrite Conn.mRead Conn.nWrite Conn.mRead Conn.nWrite Conn.m交互應用RCUD批量應用RCUDWeb應用RCUD采用PG提供的C/C+接口,自研數據訪問接口,沒有多余的性能損耗PostgreSQL中文社區02 技術方案-連接池結合數
11、據庫設計和部署,構建代碼級的數據庫連接池,自動區分讀寫連接,屏蔽讀寫數據時的相互影響,按需動態建立讀寫連接,完全分離應用的讀寫操作,并實現閑時自動釋放,提高數據庫資源綜合利用率,使整個環境實現了大規模數據高并發高效的數據訪問技術。connectionconnectionconnectionconnectionconnectionconnection心跳線程get()free()出隊:獲取連接入隊:釋放連接Connection Pool應用客戶端數據交換層數據對象映射層應用客戶端應用客戶端應用接口層PG MasterPG SlaveReplicationPG SlavePG SlavePG Sl
12、avePostgreSQL中文社區02 技術方案-兩級工作模式采取“盆地級成果庫+項目庫”兩級工作模式,即成果庫用于存放整個區域的物探成果數據(處理解釋一體),項目庫則用于日常的處理解釋工作。兩級庫均在線部署,相互間能進行成果的快速歸檔、下載或引用。盆地級成果庫項目庫項目庫項目庫地震處理地震解釋儲層分析用戶管理員PostgreSQL中文社區02 技術方案-數據引用構建真正的盆地級區域數據庫,各項目數據庫通過引用方式使用數據無需拷貝復制,徹底解決了反復加載、多副本、多坐標系、數據不一致、難以共享、工作環境混亂等各種問題。GeoEast處理項目庫企業級數據庫A1/A6 用戶GeoEast盆地級區域
13、數據庫GeoEast解釋項目庫用戶BGeoEast解釋項目庫用戶CGeoEast解釋項目庫用戶D數據收集轉換加載成果歸檔PostgreSQL中文社區02 技術方案-數據庫部署主備模式增量式備份采用了高可用的數據庫架設部署技術,采用數據庫主備模式和增量式的數據備份技術,為盆地級數據提供了雙重安全保障,極大提升了數據安全。PostgreSQL中文社區02 技術方案-平臺方案通過采用多種技術方案,在秉持共享、協同、開放設計理念的基礎上,面向云計算業務運營模式,有效管理PB級海量地震數據、實現多層次開放,支持大規模并行計算和多學科協同工作,構建了支撐物探軟件研發的新一代物探軟件平臺。典型業務場景插件式
14、交互開發框架GPP并行程序框架批量模塊支撐環境作業編輯及監控執行控制I/O模塊自動并行引擎輔助工具二維繪圖框架OIV3DV框架剖面器件測井器件插件內核App程序框架資源管理資源監控作業調度訪問門戶許可證管理用戶管理軟件管理統計分析IDE集成開發工具數據庫系統文件系統PB級海量數據服務多數據源訪問框架多種數據源插件業務對象訪問接口地震剖面底圖三維可視化地質剖面數據樹作業管理運營商開發者用戶友商產品專業化應用多學科數據管理系統開放式軟件開發環境云計算管理系統PostgreSQL中文社區成功研發的大型地震處理解釋一體化軟件系統GeoEast,實現了大規模推廣應用,成為我國國有企業核心技術產品自主創新
15、、技術成果轉化的典范,被譽為物探中國“芯”。02 技術方案PostgreSQL中文社區02 技術方案-對比測試綜合利用讀寫分離、連接池等技術,形成基于PG的高可用、高并發部署架構,實現了大規模數據并發訪問技術,最大并發數達20000以上。0204060801001201401002004008001000老平臺并發寫新平臺并發寫曙光服務器高效讀寫分離架構效率對比(20核,128GB內存,兩臺服務器)從商業到開源,從單機到集群的多數據服務器部署架構數據交換層前端應用Oracle服務器由商業到開源由單機到集群前端應用數據交換層PG 讀服務器PG 寫服務器PG 讀服務器連接池024681012141
16、002004008001000老平臺并發讀新平臺并發讀并發數并發數時間(s)并發數時間(s)華為鯤鵬服務器20000連接測試結果(128核,SSD存儲,1TB內存,兩臺服務器)寫服務器CPU使用情況PostgreSQL中文社區02 技術方案針對海量數據從存儲、訪問到處理,實現作業自動并行引擎、并行分選、數據壓縮等關鍵技術,形成系統化解決方案,支持PB級海量數據的高效管理,壓縮海量數據的處理周期。存儲訪問并行處理連接池主從服務器數據壓縮融合存儲地震索引分選PGSortIn分選MRSort分選ReSort異步IO(thjob)自動并行引擎作業調度作業資源監控數據檢索模型化GPP并行IO并行隨機讀全
17、文件化定觀高并發許可管理輸出數據常規作業常規作業常規作業常規作業常規作業作業池(共享盤)Master(批量+GUI)常規作業作業分割作業啟動/管理數據合并作業進程自動并行引擎支持100多個模塊的自動并行技術壓縮比保真度GeoEast32.1%-116某國外商業軟件39.02%-112數據壓縮效率與精度數據量(TB)020000400006000080000064128192256320384448512作業用時(秒)并行抽道集32TB512TB用時技術方案應用效果03持續發阿訥04概述0102PostgreSQL中文社區目錄contents03應用效果PostgreSQL中文社區Postgre
18、SQL中文社區03 應用效果緊跟行業動態及用戶生產需求,基于PG數據庫的GeoEast-iEco數據平臺,涵蓋了GeoEast系統的整個業務應用領域。其中GeoEast-Pro(處理系統)包括7大軟件包、24大技術系列、400多個功能模塊,具備適應山地、沙漠、黃土塬、過渡帶、海洋等各種地表地下地質條件的地震資料處理能力;GeoEast-INT(解釋系統)5個軟件包、21大技術系列,擁有400余項功能,形成了面向勘探、開發、非常規的三套軟件產品。在三維地質建模、地震反演、人工智能解釋等核心技術研發方面取得重要進展。PostgreSQL中文社區03 應用效果構建的GeoEast-iEco數據管理平
19、臺,管理了廣大用戶的海量生產數據。案例一:2012年某三維項目。工區工區文件文件內容及范圍內容及范圍格式格式介質介質數據量及大小數據量及大小XXXXXX原始數據原始數據SW212SSW212S-SW461SSW461SSW212NSW212N-SW461NSW461N(4ms/5s4ms/5s)tartar-roderode35923592帶帶178178盤盤83TB83TB2455424554個數據文件個數據文件(520520束)束)磁帶信息磁帶信息ExcelExcelDVDDVDSPSSPS文件文件212SA212SA-461SA461SA212NA212NA-461NA461NA292S
20、Z292SZ-301SZ301SZ520520個個ASCIIASCIIDVDDVD19443401944340炮炮20L20L4S4S1000R1000R總道數:總道數:1515,680680,934934,134134VelocitiesVelocities疊加速度疊加速度ASCIIASCIIDVDDVDWell InformationWell Information井資料井資料ASCIIASCIIDVDDVDGeological overviewGeological overview工區簡介工區簡介pptppt和和pdfpdfDVDDVDvintage Merged vintage Mer
21、ged Migrated StackMigrated Stack成果成果SEGYSEGYDVDDVDHorizon InformationHorizon Information4 4套層位套層位datdatDVDDVDPostgreSQL中文社區03 應用效果構建的GeoEast-iEco數據管理平臺,管理了廣大用戶的海量生產數據。案例二:某油田采用GeoEast-iEco數據管理平臺管理其盆地級數據,完成大工區建設,共計加載二維地震1506條、三維地震39塊及已有解釋方案,139口重點井位。二維地震資料加載顯示圖三維地震資料加載及某層位解釋方案顯示圖PostgreSQL中文社區03 應用效果
22、構建的GeoEast-iEco數據管理平臺,管理了廣大用戶的海量生產數據。案例二:井震結合建立高井控程度格架網,以典型探井為基準,進行全盆地地質統層,在精確標定基礎上,確定全層系地質界面反射層位,無井區結合地震反射標志層開展二、三維聯合解釋。PostgreSQL中文社區03 應用效果案例三:支撐了某盆地地震地質統層、連片構造解釋、速度建場、構造成圖、結構剖面制作等工作。序號工作內容取得成效1數據庫首次建立統一基準面井震數據庫2地震地質統層完成220口骨干井地質地震統層,建立盆地統一的地層體系3連片工區資料解釋完成40000km2連片工區,9套地震反射層構造解釋4區域大剖面制作11條工區近南北向
23、區域格架剖面5構造圖9個主要層位斷裂系統圖、構造圖6厚度圖E1+2、E31、E32、N1、N21、N22、N23、Q1+2殘余厚度圖7構造演化剖面圖完成6條區域構造演化剖面8構造單元劃分圖完成5張某盆地構造單元劃分圖9綜合評價圖完成6張某盆地勘探綜合評價圖PostgreSQL中文社區03 應用效果將AI技術與構造解釋、儲層預測、巖石物理分析等相結合,突破人工智能斷層預測、層位解釋、巖性解釋、測井曲線補償等技術,研發標簽管理、智能斷層解釋配套功能,大幅提升了地震解釋精度和效率,實現了智能化解釋軟件的工業化落地。智能斷層預測智能層位解釋智能巖性解釋智能異常體解釋智能屬性計算智能地震反演智能測井曲線
24、補償PostgreSQL中文社區03 應用效果基于深度學習的層位預測技術,與傳統方法相比,具有高效、高精度、適應性強等優點,在多個探區得到推廣應用。比如在下面的例子探區,工區面積1萬平方公里,以前層位解釋就需要幾個月,現在僅用33條骨架剖面作為標簽學習,3天就完成了全區5套層位的解釋。PostgreSQL中文社區GeoEast應用范圍持續擴大 從中石油各油田研究院延伸到104個采油廠;從中石油、中海油、中石化擴大到煤田、地調、地震局、核工業等用戶單位。GeoEast在中石油海外站點實現全面應用,同時在古巴、委內瑞拉、孟加拉等國家實現銷售應用,正在逐步加大國際推廣應用力度。03 應用效果-用戶群
25、體技術方案應用效果03持續發展04概述0102PostgreSQL中文社區目錄contents04持續發展PostgreSQL中文社區PostgreSQL中文社區歷經20年持續研發,按照“研發一代、應用一代、儲備一代”的發展思路,GeoEast從V1.0版本升級換代至V4.2版本,實現了從無到有,從能用到好用,從跟跑到并跑的跨越。04 持續發展PostgreSQL中文社區GeoEast軟件平臺:在支持多語言開發、跨平臺、國產軟硬件適配等方面,進一步優化平臺功能,拓展平臺支撐范圍,同時大力推進“共建、共享、共贏”機制,基本建成GeoEast國產物探軟件生態。04 持續發展服務化轉型PB級生產能力
26、完整的社區配套國產軟硬件適配人工智能開發環境全面支持Windows與夢想云互通PostgreSQL中文社區下一代平臺:為滿足油田“數字化轉型、智能化發展”的需要,確保GeoEast的先進性,按照“研發一代、應用一代、儲備一代”的發展思路,持續推進下一代軟件平臺預研,為“十五五”全面啟動下一代研發奠定基礎,助力國內勘探實現高水平自立自強。04 持續發展PostgreSQL中文社區服務電話:(處理/解釋)0312-3825910/0312-3824999 (市場銷售)0312-3737213/0312-3824774服務郵箱: 官網網址:http:/更多詳情請關注GeoEast微信公眾號iEco研發支持QQ群PostgreSQL中文社區感謝聆聽!