2019年貝殼找房數據中臺建設實踐.pdf

1、貝殼找房數據中臺建設實踐貝殼樓盤字典構建了覆蓋全國主要城市2億多套房屋的樓盤數據庫貝殼樓盤字典構建了覆蓋全國主要城市2億多套房屋的樓盤數據庫樓盤字典套真實房屋信息2.07億萬張小區景觀圖542542萬覆蓋全國50萬個小區50萬萬張房屋標準戶型圖387萬覆蓋933萬個單元信息933萬436萬大體量豐富數據個樓幢分布信息采集（除新疆、西藏、海南）所有30個樓盤的縣級以上行政區覆蓋全國25個省份25省覆蓋全國326個地級市326市覆蓋全國1352個地級縣&縣1352縣樓盤字典樓盤字典 數據庫在十一年的建設中數據庫在十一年的建設中形成了全國獨一無二的樓盤表形成了全國獨一無二的樓盤表精準坐標7級門址管理

2、房屋樓層單元樓幢樓盤城區城市小區城區城市小區層級：小區別名 行政地址 綠化率物業公司 車位數量 開發商樓幢層級：產權年限 建筑結構 水電費供暖類型 交易權屬 物業費單元層級：電梯數量有無門禁 樓層數房屋層級：統計用途 交易權屬 建筑面積用水類型 用電類型 建成年代戶型信息 產權年限 套內面積周邊：超市 門店 社區地鐵 醫療 教育舉例：北京世紀星城，從小區到樓幢到房間的各層級信息舉例：北京世紀星城，從小區到樓幢到房間的各層級信息在樓盤字典在樓盤字典 的建設中，貝殼積累了標準化數據建設方法論的建設中，貝殼積累了標準化數據建設方法論采集定位外業采集內業審核數據存儲數據建設標準化流程數據標準數據展示基

3、于樓盤字典基于樓盤字典 數據庫，貝殼已經具備了平臺化的服務能力數據庫，貝殼已經具備了平臺化的服務能力REDS InfoREDS Map樓盤字典樓盤字典全量數據的樓盤表及字段數據服務從維商圈圖延伸到三維場景中，支持多種三維數據展示和特效渲染；包含三維分析具；BIM快速成圖，并可以定制化REDS Navi小區內精準導航，帶看路線規劃，支持定制化搜索REDS LabREDS Eva基于樓盤字典的數據，與客、數據，以及數據算法結合，開發各類BI決策支持產品，比如戶型圖解讀對外估價及市場情的整體情報預測服務，服務包含基于地理信息的整體服務REDS Play數據可視化的向，擁有豐富的模板庫REDSREDS

4、 PlayPlay-全國全國城市城市城區城區商圈商圈小區小區價格波動一目了然價格波動一目了然將樓盤庫的數據應用起來，并設計開發對應的數據看板將樓盤庫的數據應用起來，并設計開發對應的數據看板數據可視化之后就能更加精準的管控著城市的房屋數據數據可視化之后就能更加精準的管控著城市的房屋數據樓盤管理系統數據展示層數據應用層數據支撐層數據看板應用系統樓盤庫數據大屏樓盤地圖數據看板樓盤管理數據初始化數據接口調用地址匹配服務*同步全量樓盤字典數據（樓盤、樓棟及所需屬性字段數據）*可實時調用接口獲取樓盤、樓棟數據*可根據地址信息匹配樓盤字典對應的樓盤、樓棟管理樓盤庫的內容，進行新增、刪除、修改等等操作租賃管理

5、基于樓盤庫，將所有租賃的情況進行管控，大大增加城市的穩定押品管理管控全市所有的按揭抵押的房屋，通過房價監控控制整體市場風險人員流動管理將人與房屋的數據進行掛接，那么針對整個城市的人員流動就可以更有效的控制 更多基于城市樓盤表的應用Agenda 為什么建數據中臺 什么是數據中臺 如何建數據中臺 數據中臺的實戰為什么建數據中臺一個指標的誕生成交量數據好了嗎成交量數據好了嗎成交量數據好了嗎和梅林看到不一致！開發中，再等等配置cube中，再等等Ok啦為什么建數據中臺如何快速獲取高質量的數據？什么是數據中臺行業解決方案ONEDATA統一建設數據&資產管理能力ONEENTITY統一實體鏈接識別的能力ONE

6、SERVICE統一數據服務的能力阿里巴巴集團數據小二客戶文化傳播與社會影響貝殼解決方案數據倉庫標準化數據,清晰關系數據中臺數據業務經驗沉淀,復用而非復制產品數據展示多樣化運營產品數據分析貝殼數據貝殼解決方案按模塊整合業務過程最細粒度全量數據按模塊沉淀業務經驗的數據模型服務不同業務場景,定制邏輯開發層拼裝計算數據模型明細公共應用API運營產品分析師業務經驗業務能力+模型能力數據復用平臺能力業務能力模型能力開發能力工程能力+模型能力如何建數據中臺資產管理BI產品平臺運維數據模型研發工具安全權限數據質量如何建數據中臺數據模型如何拆解指標？如何將指標映射到模型中？指標拆解模型抽象數據模型指標拆解統計每

7、個城市B級房源近3天成交量？城市B級房源近3天成交量B級房源近3天成交量原子指標業務限定粒度統計周期派生指標B級房源近3天的成交量成交量近3天城市B級房源數據模型指標拆解模型抽象原子指標業務限定粒度統計周期派生指標如何將指標映射到模型中？ImmonKimball方向自下而上自上而下冗余度無冗余冗余開發周期長短維護成本低高交互成本高低數據模型Immon:將客觀世界劃分為實體和關系Kimball:將客觀世界劃分為事實度量和維度Immon小朋友去上學Kimball小朋友去上學數據模型指標拆解統計每個城市B級房源近3天成交量？城市B級房源近3天成交量B級房源近3天成交量模型抽象業務場景抽象成交事實表成

8、交事實表日期城市房源客源經紀人合同量合同金額日期維表日期維表城市維表城市維表房源維表房源維表經紀人源維表經紀人源維表簽約客源維表客源維表統計場景數據模型指標拆解統計每個城市B級房源近3天成交量？派生指標模型抽象業務場景原子指標業務限定時間周期簽約流程度量事實表維度維表OLAP星型模型統計場景粒度數據模型維度業務過程事實日期城市房源ID客源ID經紀人ID簽約新增成交量新增時間帶看帶看次數統計時間多模型設計數據模型事實表維表事務事實周期快照事實累計快照事實聚集事實日期維度層級維度緩慢變化維度雜項維度審計維度深度模型設計數據模型業務模塊數據域業務過程原子指標維度業務限定粒度統計周期派生指標匯總事實維

9、度模型產品配置交叉指標比較指標原子事實中臺整體規劃指標拆解模型設計度量二手成交簽約合同量日期 城市 房源屬性成交量業務定義日凈增成交量議價空間B級房源的成交量數據模型優化質量監控生命周期管理l 便利性l 拓展性l 時效性l 存儲能力l 計算能力l 代碼優化l l 一致性l 及時性l 準確性l 數據波動l l 上線l 下線l 清理l 研發工具流程圖l Processonl Visiol 模型關系l Powerdesignerl Erwinl 數據模型抽象研發工具數據模型部署MODELMODELMODELMODEL模型層查詢層展示層存儲層MODELCUBEMODELMODEL計算規則緩存開發：hive java python shell調度：azkaba oozie計算引擎框架：kylin druid impala tez mr計算存儲：mysql hdfs clickhouse hbase presto產品數據模型-總結數據模型研發工具方法論抽象優化實踐原理應用創造方法論升級數據中臺可以快速獲取高質量數據！中臺三層架構 Kimball方法論 研發工具總結