《InfoQ:2023年第二季度中國卓越技術團隊訪談錄(92頁).pdf》由會員分享,可在線閱讀,更多相關《InfoQ:2023年第二季度中國卓越技術團隊訪談錄(92頁).pdf(92頁珍藏版)》請在三個皮匠報告上搜索。
1、 目錄 封面故事封面故事 兩個多月完成全自研:大模型之爭,從GPU卷到了向量數據庫.i 重磅訪談重磅訪談 越來越“卷”的文生圖模型,如何在中文世界“殺”出一條路?.1 桌面 QQ 重構,探尋跨平臺開發挑戰與 Electron 內存優化突破.13 中國最大公有云服務商,如何從零開始構建一支云效團隊.24 管理與管理與研效研效 MySQL之父:不要把一個優秀的開發者提升為管理者,那會是種資源浪費.40 傳統管理秩序消失,數字化下的組織和人才如何重塑.42 第一批因 AIGC 裁掉自家員工的老板該后悔了?.58 如何利用 AIGC 自動化編程提高研發效率?.67 封封 面面 故故 事事 i 中國中國
2、卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 兩個多月完成全自研:大模型之爭,兩個多月完成全自研:大模型之爭,從從 GPU 卷到了向量數據庫卷到了向量數據庫 采訪嘉賓:羅云、鄒鵬、楊亞洲 作者:冬梅 在大模型爆火之前,國內向量數據庫賽道略顯荒蕪,市場上獨立開發向量數據庫的廠商只有個位數。這是因為向量數據庫的應用場景比較單一,大多用于推薦、圖搜圖等場景中,因此在AI 技術沒有取得突破性進展之前,向量數據庫一直不溫不火,這種狀態直到去年ChatGPT 問世后才有所改變。去年 10 月,OpenAI 發布了智能聊天機器人 ChatGPT,隨后短短幾天內注冊用戶就突破上億人,一時間,與
3、AIGC 等大模型相關的技術成為了 VC 眼中炙手可熱的投資項目。從目前VC的投資數據來看,投資者對于AI的關注點主要有三個:第一個是基礎大模型 LLM,第二個是具體某個場景的應用(包括小模型),第三個就是基礎模型與應用層之間的中間層(開發者工具和數據庫等)。隨著各種 AI應用誕生,中間層已經成為各大 VC爭搶的投資標的,早期默默無聞的向量數據庫一躍成為當下最大的一個熱門,各數據庫廠商摩拳擦掌都想在這一垂直賽道分一杯羹。機構觀點認為,AI大模型或催生向量數據庫應用驟增,向量數據庫或迎重 ii 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 要發展機遇。最近,騰訊云團隊也正式
4、發布了專業型向量數據庫(Tencent Cloud VectorDB),InfoQ 有幸采訪到了騰訊云數據庫團隊,與他們一同探討了騰訊云向量數據庫背后的故事以及他對于向量數據庫現在所面臨的挑戰和未來發展趨勢的思考。定定調數據庫,從擁抱開源到發展自研調數據庫,從擁抱開源到發展自研“走了不少彎路,也踩過很多坑,但最終還是遇見了星辰大海?!?010 年,騰訊這家千億巨頭還埋頭在自家地里辛勤耕耘,QQ 空間等一眾應用的爆火,讓騰訊的服務器忙得不可開交,為了承接住如此高并發的流量洪潮,騰訊在短短一個月內額外購買了上千臺服務器。但流量不會永遠停在峰值上,當流量回落后,閑置的服務器就造成了資源的浪費。另一方
5、面,應用的爆火也為騰訊下游的小程序和游戲方們帶去了巨大的流量,但他們有限的服務器無法承接住如此龐大的流量洪流。天下苦服務器,久矣,騰訊說,別急,服務器我有。找上門的生意沒有不做的道理,就這樣,2011 年左右騰訊開始籌備組建一支十幾人的云團隊,將內部技術能力以產品和服務的形式對外銷售,當時他們做了一個產品,叫 Open Cloud(開放云),這就是后來騰訊云的雛形。有了一眾明星級應用等加持,騰訊云團隊的技術實力很快得到了市場的認可,同年年 iii 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 底,騰訊就已經積累了近 3000 家客戶。云計算是一個人力密集型的賽道,需要投入
6、大量人力才能把客戶維護好。就這樣,為了更好地支持騰訊云業務,騰訊深圳大本營分別在深圳、北京和杭州扎了根,隨后擴展到了成都等多個城市。隨著 Open Cloud 打磨了云技術的底座,騰訊成立了獨立的云計算品牌騰訊云,正式開啟了公有云的萬里征程。擔任騰訊云數據庫副總經理的羅云,就是騰訊云業務團隊的創始成員之一。據羅云介紹,從 2011 年開始做云業務至今,整個團隊經歷了多次方向上的調整,直到 2017 年看到國產數據庫這個大趨勢后,成都團隊才定下調來主攻數據庫賽道。與很多互聯網公司不同的是,騰訊初始的業務發展并未對數據庫有過強依賴,騰訊內部沒有去 IOE 的過程。一開始,騰訊云數據庫建設主要引入了
7、當時業界較為主流的開源數據庫,如 MySQL、Redis、MariaDB、PostgreSQL等。隨后針對云上客戶定制需求,騰訊云在數據庫中衍生研發了如數據庫并行復制、審計日志、在線加字段等核心功能,并計劃逐步將以上功能回饋給 MariaDB 和 MySQL 社區。隨著騰訊云數據庫積累的客戶越來越多,客戶的需求越來越定制化且應用場景更加復雜,在業務倒逼之下,從 2012 年開始,騰訊云研發了適配內部業務自研數據庫TDSQL,此后又推出多款自研數據庫 TDSQL-C、TBase 等產品。在習慣了 Oracle、MySQL 等國外十分成熟的數據庫后,客戶對新興數據庫產品的要 iv 中國中國卓越技術
8、卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 求很高,既要求高并發、高可用、低延遲等高性能,還要保證數據持久化,因此對團隊的技術水平要求極高。羅云舉例稱,“在數據庫每次熱升級時,要做到讓用戶無感是非常困難的。在斷開又重連的過程中,我們的團隊能做到秒級別的抖動。因為我們在數據庫的內核上做了很多工作,比如做了兩層架構,軟件的第一層叫 proxy(接入層),下面有 cache(存儲層),我們通過一些邏輯使這兩層疊加后就可以實現做業務替換時讓客戶毫無感知?!睘榱藨獙Ω咝阅芎蛿祿志没囊?,騰訊內部還 100%自研了 KeeWiDB 數據庫,這是一款完全兼容 Redis 協議的新一代分布式 KV
9、 存儲數據庫,實現了數據的冷熱分級,滿足業務高性能、持久化、低成本、大規模的四大訴求,這也為后面騰訊自研向量數據庫打下了堅實的技術基礎。此外,騰訊云與中科大聯合撰寫的論文 PLIN:A Persistent Learned Index for Non-Volatile Memory with High Performance and Instant Recovery 已被數據庫國際頂會VLDB 收錄。兩兩個多月做完一款自研數據庫個多月做完一款自研數據庫 在大模型浪潮爆發后,騰訊云在一眾大廠中搶先發布了自己的向量數據庫產品。據悉,整個產品從立項到最終完成產品化僅用了不到 3 個月的時間。之所以能
10、如此快地推出這款產品,羅云表示,這主要得益于兩方面:一個是云團隊內部多年的技術積累;另一方面是這個團隊中每個人都是能打“硬仗”的好兵。v 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 去年年初,隨著 ChatGPT 的爆火,國內“百模大戰”趨勢日漸明顯。騰訊云也在思考從哪個方向找到突破口切入到大模型“軍備競賽”中。隨后到了3月份,ChatGPT發布了一個叫“Plugin”的插件功能,Plugin 的標準案例中提到向量數據庫是大模型產品中必不可少的一個組件。因為當前的大模型都是預訓練大模型,它能夠學到的數據只是公開數據,更多的企業私有數據和實時數據大模型是學不了的。既無法學
11、習實時數據,又學不到企業私有數據,這是預訓練大模型在時間和空間上的兩大限制?;谶@個邏輯,大模型一定會需要一個外部的“海馬體”,也就是存儲組件來存儲這些知識。另一方面,市場上很多做大模型的企業也在向騰訊云團隊尋求一款企業級的向量數據庫產品。就這樣,在加深了對大模型的探索和對行業有了更清晰的認知后,騰訊云團隊認為向量數據庫是一個必須要做并且要趕緊做出來的產品。對齊了需求后,就來到了執行層面。擺在騰訊云面前的第一個選擇就是到底要做什么類型的向量數據庫類型,究竟是做插件式還是自研?出于市場需求側的壓力,騰訊云想快速推出一款產品,所以剛開始也考慮了用 Redis Search 插件式的方案來做產品。但
12、經過調研發現,這種全內存的方案成本太高,這也騰訊云堅定了要做自研的決心。據騰訊云向量數據庫產品負責人鄒鵬介紹,騰訊云向量數據庫真正立項時間是在 5 月中下旬,隨后技術團隊就著手調研研發方案了。既然時間如此緊迫,那不如從騰訊的內部項目中考察是否有能夠匹配得上的產品,這樣是最高效的解決方案。vi 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 鄒鵬認為,做一款云數據庫最核心的兩大要素就是管控和內核:管控是指要給數據庫做一些功能,把它產品化,就比如數據庫的控制臺上一系列可操作的功能;內核就是數據庫數據層面的東西。在管控層面,通過多年的技術積累,騰訊云沉淀出了一個比價成熟的云原生管
13、控平臺云巢,這是一款 PaaS on IaaS 方案,自 2019 年上線后一直穩定地為所有騰訊云數據庫產品服務。在內核層面的選擇上就要比管控層復雜一些。因為騰訊集團內部有多款數據庫內核可供選擇,究竟該選擇哪一款就是個問題。經過調研后,騰訊云數據庫團隊認為,使用規模和體量最大的向量引擎 Olama 是向量數據庫內核的最佳選擇。QQ、QQ 空間、騰訊視頻、騰訊新聞這些業務場景中都會涉及推薦、搜索等向量技術,也從一定程度上驗證了 Olama 的技術實力。此外,Olama 采用了比較前沿的分布式的、Raft 架構設計,這種架構設計邏輯也更偏向于數據庫的架構邏輯,且易于維護。更重要的是,Raft 架構
14、在彈性上也設計得非常靈活,它甚至能夠做到表級別的資源擴展。鄒鵬稱,在和 PCG 團隊溝通后,了解到他們也有非常強烈的上云需求,兩個團隊一拍即合,管控層和內核層全部塵埃落定,這個項目基本上已經完成了大半。Olama和云巢都是騰訊集團內部非常成熟的產品,如何高效強執行的將兩者融合在一起的過程中還是給團隊帶來了一些挑戰。vii 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 整個團隊花費時間和精力比較多的工作在接口和協議的處理上。由于 Olama 和云巢此前都是騰訊內部自用的產品,它們接口的一些功能設計無法友好地對外服務,因此需要進行重新設計接口,這是對內核改造最大的一部分工作,
15、也會占用一些新的研發資源并加大在這方面的投入。經過了兩個多月的摸爬滾打后,騰訊云向量數據庫現已在官網上線。要想做出一款好產品,僅有技術上的積累是不夠的,背后團隊的技術實力也同樣重要。羅云稱,“數據庫是個比較卷的賽道,沒有最卷,只有更卷。在這么短的時間內推出上線一款全新的自研數據庫,對團隊成員來說是不小的挑戰。但我們的工程師都是很能打的?!碧崽峤磺薪磺?MongoDB 代碼被采用,做數據代碼被采用,做數據庫沒有最卷、只有更卷庫沒有最卷、只有更卷 2022 年下半年,騰訊云 MongoDB 專家工程師楊亞洲在幫助一家頭部金融企業維護數據庫時發現,他們單個數據庫集群數據量很大,達到幾百上千億條。
16、會不定期出現性能抖動,有時延遲也比較大,抖動高的時候甚至都可以達到秒級別。MongoDB 本身是個分布式、無限量擴容的數據庫,但如果硬件資源不足,又數據量過大的情況下,業務訪問就會可能會產生抖動。抖動原因是集群大、數據量多了過后,路由信息會很多,路由變更的過程中,如果資源不足,就可能會產生抖動,而這樣的抖動和延遲可能會影響客戶的業務。viii 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 楊亞洲認為,當時這家頭部金融企業用的是騰訊云 MongoDB 數據庫,該金融客戶遇到的問題在騰訊云線上 MongoDB 中也同樣會遇到,騰訊團隊從一切為了客戶的角度出發,借助自身對 Mo
17、ngoDB 深厚知識迎難而上,決心既要為客戶消除這個可能影響業務的抖動,又避免傳統單純擴容增加用戶的成本?!盀榱藦母旧辖鉀Q問題,于是我花了近三個月的時間,分析造成問題的原因和解決問題的技術瓶頸到底是什么,通過底層代碼優化調整,然后徹底把問題解決掉了”,楊亞洲表示。解決掉這個問題后,騰訊云數據庫團隊向 MongoDB官方提交了一個 1000行的 patch,最終該 patch 被他們接受了并收到了 MongoDB 官方的感謝。向向量數據庫是風口,更是剛需量數據庫是風口,更是剛需“專業的向量數據庫需要有長時間的積累和投入才能做得出來,但相應的它的天花板也更高?!盇IGC 技術迎來大爆發后,國內外
18、科技公司紛紛推出自家大模型產品,這一波浪潮把向量數據庫這一原本沒那么火爆的賽道推到了聚光燈下。向量數據庫本質有三種形態:第一種是純單機向量數據庫,它不是分布式的;第二種是在傳統數據庫上加上一個具備向量檢索能力的插件;第三種是獨立的、專業的企業級向量數據庫。目前國內的許多企業并沒有采用專門的向量數據庫,而是在原來傳統數據庫上增加了一項向量檢索能力,也就是上述提到的第二種形態。從表面上看,獨立的、專業的向量數據庫看起來并不是那么剛需,但事實的確如此嗎?ix 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 這就要從傳統數據庫和向量數據庫的區別來看了。傳統數據庫和向量數據庫的主要區
19、別在于它們的數據存儲方式、數據規模、查詢方式和計算密集型。數據存儲方式:傳統數據庫存儲的是結構化數據,而向量數據庫存儲的是向量數據,即將非結構化數據(如圖片、音頻、文章等)轉換為向量方式來存儲。數據規模:傳統關系型數據庫的管理數據規模通常為千萬級,而向量數據庫的需求數據規模則以達到千億級。查詢方式:傳統數據庫的查詢通常是精確查詢,即查詢結果要么符合條件要么不符合條件。而向量數據庫則使用相似性查找,即查找與查詢條件最相似的結果,這需要更高的計算能力。計算密集型:傳統數據庫的查詢主要是事務處理,而向量數據庫的查詢則是計算密集型,需要進行大量的向量計算和比較??偠灾?,向量數據庫的主要特點是能夠高效
20、地存儲和查詢大規模的向量數據。它通常采用基于向量相似度的查詢方式,即根據向量之間的相似度來檢索數據。這種查詢方式可以用于各種應用場景,例如圖像搜索、音樂推薦、文本分類等。維度越高、信息量越大,這些特性都是傳統數據庫很難做到的。這種專門用于存儲、索引和查詢嵌入向量的數據庫系統,可以讓大模型更高效率的存儲和讀取知識庫,并且以更低的成本進行 finetune(模型微調),還將進一步在 AI Native 應用的演進中扮演重要作用。目前,大語言模型(LLM)往往包含數十億個參數,嵌入則廣泛作用于這些模型的訓練和微調過程,使其獲得執行各種 NLP 任務的能力。在 MaaS 業務的訓練、推理等場景,向量數
21、據庫都非常重要。x 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 更重要的是,向量數據庫可以大幅度拓展大模型的時間邊界和空間邊界。目前的大模型都是預訓練模型,對于訓練截止日之后發生的事情一無所知。向量數據庫可以通過存儲最新信息后給大模型訪問來彌補這點不足。此外,通過向量數據的本地存儲,向量數據庫能夠協助解決目前企業界最擔憂的大模型泄露隱私的問題。向量數據庫還自帶多模態功能,能夠實現用中文搜索英語圖書、用俄文搜索圖片內容等操作,向量數據庫的近似搜索能力能夠給向量數據庫帶來巨大的商業化潛力。在羅云看來,現在我們無法完全篤定地說最終向量數據庫會停留在哪個形態上,但他認為第三種形
22、體是可以向下兼容前面兩種形態的,只是這種專業的向量數據庫需要有長時間的積累和投入才能做得出來。第一個形態它可能邊界就在幾十萬行的下面,第二個形態它可能做到幾百萬行到億可能就搞不定了,如果要做到億到 10 億的數據規 xi 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 模,就需要專業的企業級分布式向量數據庫了。未未來發展趨勢展望來發展趨勢展望 雖然去年至今年國內外大模型產品和企業層出不窮,但羅云認為,目前大模型還處于技術發展的初期階段,相應地,與之相關的技術也處于較早期。以向量數據庫技術發展現狀來看,向量數據庫的發展可以分為三個演進階段:第一個階段,是向量數據庫概念的定義和
23、規范階段。也就是一款數據庫它要具備向量數據庫所有的特征,在向量存儲能力、檢索能力上達到向量數據庫的要求,能夠滿足客戶的基本需求,才可以稱之為向量數據庫。第二個階段,是向量數據庫核心成本優勢的競爭階段。當我們把向量數據庫的概念和特征明確后,就要求數據庫廠商們“卷起來”了。他們要去真刀真槍地對比誰家的產品成本更低,比如單 QPS 查詢需要客戶付多少錢、它節省了多少人力和時間成本等。第三個階段,是向量數據庫的易用性打磨階段。這個階段就主要去解決客戶“既要又要”的問題了??蛻粢呀洸辉僦灰蟪杀旧系慕档?,還會更加關注數據庫性能的極致體驗,這也是向量數據庫廠商們要大力投入的方向。目前來看,客戶的需求還只是
24、停留在需要一款真正的向量數據庫上。相比于傳統數據庫,客戶在做向量數據庫選型時就容易得多,因為應用場景單一,不會涉及太多混合場景需求。羅云稱,“在市場側,國內客戶在做數據庫選型時更傾向于選擇有持久性保障的廠商,客戶們會考慮你的服務的可延續性,這個比較重要?!眡ii 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 在技術層面,羅云預判向量數據庫未來會朝著與云和云的基礎設施結合的發向發展,也就是 AI Native 化的向量數據庫。他進一步解釋道:“在向量里面,決定向量數據庫核心性能的指標是它的向量檢索算法,而這個算法其實比較成熟了。所以當我們要攻破數據庫單 QPS 查詢成本的時
25、候,就會考慮如何將整個云服務結合 IaaS、容器的核心競爭力都組合在一起去打磨向量數據庫,這也是我認為在向量數據庫賽道未來云廠商能夠跑出來的第一個點”。此外,隨著向量數據庫和 AI 的結合更加緊密,客戶向量數據庫的易用性會有更高要求,這也是剛才羅云提到的第三個發展階段,有了 AI 和數據庫相關技術的積累后,就可以很方便地將這些能力組裝進向量數據庫里,產生核心競爭力。采訪嘉賓簡介采訪嘉賓簡介 羅云,騰訊云數據庫副總經理 鄒鵬,騰訊云向量數據庫產品負責人 楊亞洲,騰訊云 MongoDB 專家工程師 重重 磅磅 訪訪 談談 1 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 越來
26、越“卷”的文生圖模型,如何越來越“卷”的文生圖模型,如何在中文世界“殺”出一條路?在中文世界“殺”出一條路?嘉賓:趙增博士 作者:凌敏 宋徽宗趙佶曾創作過一幅名為蠟梅山禽圖軸的畫作,并為該畫題了一首詩:“山禽矜逸態,梅粉弄輕柔,已有丹青約,千秋指白頭?!敝v述的是一對白頭翁立于這丹青筆墨的虛空中,沒有風,沒有陰影,沒有俗世喧囂、紅塵侵染,一千年恩愛如初,一千年只不過黯淡些羽毛上的墨色,藝術比生命更長久。以此詩為靈感,網易集團高級副總裁胡志鵬給網易伏羲自研文生圖模型取名為“丹青”,依托于該模型之上構建的 AIGC 平臺名為“丹青約”。丹青模型基于原生中文語料數據及網易自有高質量圖片數據訓練,與其他
27、文生圖模型相比,丹青模型的差異化優勢在于對中文的理解能力更強,對中華傳統美食、成語、俗語、詩句的理解和生成更為準確。比如,丹青模型生成的圖片中,魚香肉絲沒有魚,紅燒獅子頭沒有獅子?;趯χ形膱鼍暗睦斫?,丹青模型生成的圖片更具東方美學,能生成“飛流直下三千尺”的水墨畫,也能生成符合東方審美的古典美人。2 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 丹青模型生成的圖片 近日,InfoQ 采訪到了網易伏羲預訓練及生成式人工智能平臺負責人趙增博士,進一 3 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 步了解丹青模型的構建思路。網易伏羲成立于 2017 年
28、,主要研究方向為強化學習、自然語言、用戶畫像,視覺計算,虛擬人等,技術應用智能捏臉、反外掛、智能NPC、對戰匹配、競技機器人、人機協作、數字孿生等多個方向,團隊已在世界頂級學術會議發表論之 200 余篇,申請發明專利 550 余項。文文生圖模型“卷”起來了生圖模型“卷”起來了 2022 年被稱為 AIGC(生成式人工智能)的元年。這一年,Stable Diffusion 正式開源,并掀起了文生圖模型的熱潮;這一年,ChatGPT 火遍全球,成為現象級應用。在年末 Science 雜志發布的 2022 年度科學十大突破中,AIGC 作為人工智能領域的重要突破赫然在列。進入 2023 年,AIGC
29、 技術助推出新的人工智能浪潮,AI 大模型的創新應用按下加速鍵。而其中,文生圖仍是大模型最火熱的應用領域之一,國內外發布的文生圖模型數量不斷攀升。越來越“卷”的文生圖模型們,正促進模型生成效果和效率邁上新臺階?!霸谶^去的半年里,我深刻地感受到了 AIGC 技術的飛速發展。整體來看,去年整個行業和技術相對來說不如今年活躍。今年以來,行業和社會都開始更加關注 AIGC 的發展,AIGC 技術發展速度驚人?!壁w增在接受 InfoQ 采訪時表示,AIGC 技術的飛速發展使得文生圖模型不斷實現更加良好的生成效果,與此同時,以 Stable Diffusion 為代表的開源項目空前活躍,很多沒有強大 AI
30、 背景的開發者也能夠基于開源生態做出優秀的 AI 模型?!斑@對我們產生 4 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 了很大的沖擊,我們需要重新審視自身的工作路徑,并考慮如何與有志于參與模型建設的行業伙伴建立關系。同時,我們也要考慮如何支持內部同事,尤其是那些掌握了一定 AI 生產能力的美術同事們,幫助他們更好地利用 AIGC 技術,以提升他們的工作效率和質量?!比缛绾螛嫿ǜ形牡奈纳鷪D模型?何構建更懂中文的文生圖模型?據了解,網易伏羲從 2018 年開始關注 AIGC 技術在產品中的應用可能性,不斷嘗試將其應用于實際場景。2018 年,GPT 橫空出世,其強大的生
31、成效果令人印象深刻。在胡志鵬的推動下,網易伏羲開始嘗試在游戲中使用 AIGC 技術,推出一些互動玩法。比如,在遇見逆水寒游戲中,網易伏羲引入了一個文字生成類的玩法傀儡戲。在這個玩法中,玩家可以扮演劇情角色,通過聊天的方式,與 AI 共同創作劇本,共同協作達成一些目標。這也是國內首個將 AI 接入游戲中,與玩家共同創作劇本的玩法。2019 年,網易伏羲嘗試將這一設計正式大規模上線,并在訓練應用、工程加速等多個方面進行直接探索。與其他 AI 研究機構相比,網易伏羲的優勢在于能夠快速在產品中驗證 AI 技術,根據實際應用效果不斷迭代優化。趙增表示,網易有多款產品,可以通過類似“實驗田”的方式驗證 A
32、I 產品在游戲或其他產品中的可行性,“這也是網易的一個良好機制,可以快速驗證和實現 AI 的應用?!? 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 2021 年,網易伏羲正式啟動大規模預訓練研發項目,并得到了浙江省政府的支持。根據項目規劃,網易伏羲計劃開發文本、圖像、音樂等一系列 AI 大模型。在與網易集團多個業務的專家交流后,網易伏羲判斷多模態將是未來發展趨勢,決定優先專注多模態相關的工作,如文本到圖像、文本到音樂、圖像到音樂的理解和生成。文生圖模型丹青正是其中的主要工作之一。2022 年上半年,網易伏羲開始啟動丹青模型的各項工作,該模型基于原生中文語料數據及網易自有
33、高質量圖片數據訓練,100%自研?!吧a好的內容之前,需要先理解好的內容”生產好的內容之前,需要先理解好的內容”在丹青模型出現以前,國內外已有多個文生圖模型,隨著去年 Stable Diffusion 的開源,文生圖模型數量激增,很多創業公司直接基于 Stable Diffusion 模型進行適配訓練和推理生成,并利用 API 的翻譯接口將中文的輸入轉化成英文,實現對中文用戶的支持。不過,Stable Diffusion 使用的核心數據集是開放圖像-文本對數據集 LAION-5B,存在一些偏西方化的特點。比如,海外數據的內容組成大多由當地的人文地理、生活歷史構成,對中文語言、美食、文化、習俗缺
34、乏理解,直接地英譯中可能引起語義的缺失,由此生成的圖片也容易引發爭議。像淮揚名菜“紅燒獅子頭”,一些模型會生成獅子頭的圖片;河北小吃驢肉火燒,也有模型直接生成一頭驢和一團火。此外,海外數據集在合規性和安全性方面存在一定風險,比如,存在種族不平等、大量裸露、暴力等內容,直接將這些數據模型用于國內的生產,存在巨大的隱患。6 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季“網易伏羲的觀點是,生產好的內容之前,需要先理解好的內容?!壁w增認為,Stable Diffusion 的確給文生圖模型領域帶來了一些參考和啟示,但 Stable Diffusion在很大程度上仍是“黑盒”,如果
35、在其基礎上進行修改,對模型的優化和控制力是相對有限的。做文生圖模型,如果只是簡單的重復并無意義,需要走出自己的一條路子。具體來說,網易伏羲的關注點主要有三大方面:網易伏羲需要構建的是一個對中文領域以及中文的藝術知識有更深理解的生成模型,滿足國內用戶的使用需求。從技術的可控性、安全性和規則性出發,需要打造一個完全開放的基礎模型,知道它是如何構建和運作的,以及如何對其進行優化,而不是始終等待別人開源新版本。AIGC 并不代表只是大模型,大模型只是其中的重要環節,要真正將生成的內容用于生產,還需要做很多大模型以外的工作。比如建立生產管線,將專家及 AI 能力整合起來,提供專業化解決方案?;谶@一認識
36、,網易伏羲選擇兼容開源數據的同時,又分為四步推進丹青模型的研發工作:建設高質量的大規模中文數據集;構建中文領域的優質理解模型;基于數據集和理解模型重構圖文生成算法,做到語義的有效提升;引入專家和人類的反饋,引導模型生成用戶更加需要的高質量內容。7 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 數據集方面,網易伏羲聯合網易多個部門,包括網易雷火、傳媒、云音樂等核心業務,從用戶和業務維度提供對數據的理解和需求,完成對于優質數據的定義,建設包括文本質量、圖像美觀度、版權合規性以及倫理評估等評價標準。以此框架作為約束共同推進數據構建,同時設計了一套基于分布式任務的數據可信系統,各
37、專家團隊各自提供數據質量評審模型,完成共同打分后再交由數據治理引擎統一管理。大模型方面,網易伏羲自主研發了中文文本預訓練大模型系列“玉言”,“玉言”先后登頂知名中文榜單 FewCLUE 和 CLUE 分類榜單,在多項任務上超過人類水平。在文本理解的基礎上,網易伏羲自 2021 年起著力打造“玉知”多模態圖文理解大模型,采用圖片-文本雙塔結構和模塊化的訓練思想,基于億級別的中文圖文數據對,先后迭代了三種規格的模型版本?;跀祿屠斫饽P?,網易伏羲對圖文生成算法進行重構,依托于擴散模型的原理,在廣泛的(8 億)圖文數據上訓練以達到較好的生成結果。具體來說,丹青模型側重 8 中國中國卓越技術卓越技
38、術團隊訪談錄團隊訪談錄2023 第第二二季季 文本與圖片的交互,強化了在文圖引導部分的參數作用,能夠讓文本更好地引導圖片的生成,因此生成的結果也更加貼近用戶意圖。同時,丹青模型進行了圖片多尺度的訓練,充分考慮圖片的不同尺寸和清晰度問題,將不同尺寸和分辨率的圖片進行分桶。在充分保證訓練圖片訓練的不失真的前提下,保留盡可能多的信息,適應不同分辨率的生成。在數據策略方面,丹青模型在初始階段使用億級別的廣泛分布的數據,不僅在語義理解上具有廣泛性,可以很好地理解一些成語、古文詩句,在生成的畫風上也具有多樣性,可以生成多種風格。在之后的階段,丹青模型分別從圖文關聯度、圖片清晰度、圖片美觀度等多個層面進行數
39、據篩選,以優化生成能力,生成高質量圖片。此外,丹青模型在訓練和生成階段還引入了人工反饋。在訓練階段,人工從多個維度的評估,篩選出來大批高質量圖文匹配、高美觀度數據,以補足自動流程缺失能力,幫助基礎模型獲得更好的效果;在生成階段,人工對模型的語義生成能力和圖片美觀度進行評分,篩選出大批量優質生成的結果,引入模型當做正反饋,實現數據閉環。丹丹青約背后的東方美學青約背后的東方美學 丹青模型是底層基礎,在實際場景中進行應用需要依賴于上層平臺的建設。依托于丹青模型,網易伏羲和雷火藝術中心聯合研發了 AI 繪畫平臺“丹青約”。在趙增看來,丹青約的優勢在于對中文和美的理解,依賴于較強的中文理解能力,以及對美
40、學的專業理解,丹青約創作出的作品更能滿足中式審美?!拔覀儠堃恍┟佬g專家對模型進行把控。目前來看,國內具備美術專家群體的 AI 機構寥寥無幾,網易在這一領域具有顯著優勢,我們知道什么樣的模型生成內容更符合大家的審美需求?!? 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 比如,雷火藝術中心會派遣藝術家前來指導,從藝術的角度對生成圖片效果、插件、版本給予專業意見。丹青約也會為藝術家提供定制化的生成工具,及時獲取藝術家們的反饋意見,進一步迭代優化。此外,丹青約還充分結合了網易游戲美術設計的工作流,無論是生成圖片的美觀度,還是滿足高質量要求的圖片生產(如原畫、美術資產等),都做
41、了深入的探索和研發,并且支持用戶跨文字、圖片等多模態給予多輪修改建議,直到生成滿意的圖片效果。丹青模型生成的“天空之城”目前,網易伏羲正在推進丹青約的建設,并攜手網易集團內部生態共同參與藝術風格和算法模型的設計和訓練。此外,網易伏羲還積極推動將 AI 技術應用于企業美術資 10 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 產的生產創作流程中。即將上線的網易伏羲有靈美術平臺集成了丹青約等多種美術工具,涵蓋了美術資產制作、工具管理、審核驗收等生產全鏈路功能,大幅提升了美術創作的生產效率,為藝術家們提供了更加靈活的生產力工具?!按竽P蜆I務不僅包括模型算法本身,還需要一個非常完
42、善的數據計算和人工智能系統支撐。我們系統地從多個方面來建設大模型能力,以滿足實際應用需求,并不斷持續關注和發展大模型技術?!壁w增說道。文文生圖模型如何應對版權爭議?生圖模型如何應對版權爭議?文生圖作為大模型最火熱的應用領域之一,近幾年取得了突破性的進展,并成功在多個領域落地應用。與熱度隨之而來的也有爭議,其中,最大爭議點在于版權。今年 1 月份,三位藝術家曾對 Stable Diffusion 背后的公司 Stability AI,AI 繪畫工具Midjourney,以及藝術家作品集平臺 DeviantArt 提起訴訟,稱這些組織通過在“未經原作者同意的情況下”從網絡上獲取的 50 億張圖像來
43、訓練其人工智能,侵犯了“數百萬藝術家”的權利。該案的代理律師 Matthew Butterick 指出,從法律的角度來看,幾乎沒有藝術家明確同意他們的作品用于訓練 AI 系統。即使系統生成的圖像作為原始圖像傳遞,生成系統仍將基于未經授權的數據?!耙驗橄到y中的所有視覺信息都來自受版權保護的培訓圖像,所以產生的圖像無論外觀如何,必然是從這些訓練圖像中衍生出來的?!卑鏅酄幾h是文生圖模型繼續向前發展必須解決的問題。趙增認為,能夠真正訓練好AI 11 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 模型并使其發揮作用的并不是技術人員,而是具有行業需求和美術能力的專家?!拔覀冃枰奂@
44、些專家,讓專家們圍繞這個生態進行創作。必須考慮到專家的版權和原始利益,否則整個生態無法運轉?!痹诎鏅鄦栴}上,目前網易伏羲團隊正與網易區塊鏈團隊搭建相關平臺,通過區塊鏈和Web3.0 的模式,將大家在整個生產鏈路過程中的貢獻記錄下來。例如,有人提供了原始訓練圖片,有人提供模型,有人提供創意,將這些生產日志記錄下來,并通過回報分配的方式盡可能給予大家相對公平的激勵?!斑@是我們現在非常明確要做的非常重要的事情。但是這個事情比較新,我們目前還在與網易的區塊鏈團隊搭建平臺,并在內部進行驗證?!睂憣懺谧詈笤谧詈?目前,丹青模型還在持續的迭代優化中,團隊的短期目標是將丹青模型打造成一個更完善的產品?!拔覀冋?/p>
45、在努力提升大模型的效果,包括豐富其知識和提高生成的穩定性。其中,豐富知識是指對一些特定領域的理解,例如對于中國傳統文化或海外知識的掌握。當我們需要生成一個中國古代建筑或榫卯結構的建筑時,我相信許多模型缺乏相關的知識。此外,我們的模型對于海外支持相對較弱,這也是需要進一步提升的地方?!壁w增表示,除了將基礎生成模型發展為一個更完善的產品,網易伏羲還希望構建一條更高效的生成圖片的路徑,以幫助美術專家進行創作。這涉及到多個模型能力的整合和閉環學習系統的建設,“這些都是我們接下來的重點努力方向”。在技術之外,開源生態同樣值得關注?!敖衲暌詠沓霈F了很多基于開源生態的大模型,12 中國中國卓越技術卓越技術團
46、隊訪談錄團隊訪談錄2023 第第二二季季 包括圖文、文本等。未來基于這些開源生態,工具和模型的版本迭代一定會發生非常有趣的變化,這個可能是我們現在都想象不到的。因此,我們需要保持關注并適應這些變化?!壁w增說道。采訪嘉賓采訪嘉賓 趙增,計算機博士,網易人工智能專家,預訓練及生成式人工智能平臺負責人、計算效能部門負責人。網易集團技術委員會機器學習分委會、音視頻分委會委員。研究領域包括大規模人工智能系統、生成式預訓練及基礎算法優化。浙江省重點研發項目-超大規模預訓練云平臺主要研發人員,組織多項超大規模預訓練模型研制及平臺示范工作,參與申請發明專利近 30 項、高質量論文 5 篇。主導研發人工智能平臺
47、“丹爐”,日調用量超百億次。曾參與國產芯片基礎數學庫優化、國產萬億高性能集群、“十四五”數字人等多個國家、省部級重點研發計劃。13 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 桌面桌面 QQ 重構,探尋跨平臺開發重構,探尋跨平臺開發挑戰與挑戰與 Electron 內存優化突破內存優化突破 采訪嘉賓:王輝、吳浩、陳俊文 編輯:Tina 在瞬息萬變的互聯網行業中,年過二十四的 QQ 堪稱超長壽的產品,見證了中國互聯網崛起的完整歷程。然而,如今這個元老級產品經歷了一次從內到外徹底的重構。在這次重構中,QQ 選擇了 Electron 作為 UI 跨平臺開發框架。盡管 Elect
48、ron 被 Slack、Visual Studio Code 和 Discord 等大型產品廣泛使用,但也引發了一些網友的擔憂,例如內存占用、安裝包體積和啟動速度等方面的問題。好奇于 QQ 的決策,于是我們采訪了 QQ 技術團隊,窺探這次變革的脈絡,揭示出那些潛藏在背后的思考。QQ 重構背后的思考:重構背后的思考:24 歲的歲的 QQ 有什么有什么樣的技術債?樣的技術債?QQ 的第一個版本發布于 1998 年,在 Windows 技術棧的基礎上用純原生的方式開發,在當時互聯網帶寬非常小的情況下,QQ 將安裝包控制在了只有 200K 左右。2007 年后智能手機開始露出苗頭,騰訊行動得比較早,部
49、分前端技術開發開始轉型到了移動端,在桌面端,QQ 隨著業務和組織的發展,針對三大操作系統陸續組建了 14 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 三支不同的研發團隊,各自負責自己的一套代碼。三端不同代碼,老產品歷史包袱,加上移動時代研發人員的轉型,導致桌面 QQ 維護成本很高。QQ 技術團隊介紹,拿之前的桌面 QQ 為例,WindowsQQ 以前的 UI 框架用的是騰訊自研的 GF 框架,10 多年了,GF 這個框架文檔還不全,新加入這個項目的團隊人員,要基于這個基礎框架去做一些事情,是效率很低的一件事情,慢慢的就沒有人愿意去用這個框架了。簡而言之,就是技術債。舊版
50、的桌面端QQ,Windows的功能最豐富,macOS次之,Linux功能非常簡潔。比如“屏幕共享”這個功能,移動端有,Windows 端有,但是 macOS 端是沒有的。那用戶就會遇到一個問題,像 macOS 端無法與其它端 QQ 用戶一起來使用這個功能?!岸喽瞬唤y一不利于用戶對于 QQ 的統一認知。我們這次的架構升級就是想盡量通過一套核心代碼去拉平所有平臺的體驗,讓它具有更好的可維護性和可擴展性,讓桌面QQ 能夠更好地迭代產品交互和功能,升級用戶體驗,再次煥發生長的生命力?!庇谑荙Q NT項目是在2022年3月份正式啟動,macOS QQ在6月份開始發布內測,9 月份正式上架了 App St
51、ore,迭代了幾個版本之后,QQ 團隊就同步開發 Linux。在2022 年,QQ 發布了新的 macOS 和 Linux 版本,包括 QQ 后臺其實也做了很大的改變和重構,核心系統做了全新重寫,云原生成熟度也得到了很大的提升。從 2023 年開始,QQ 團隊聚焦做 Windows 端的開發,在 3 月底就開始內測,7 月初上架官網。同時移動端 QQ NT 也在 7 月初完成了核心系統的重寫和全量升級。在目前全新的框架設計下,無論是核心系統、功能迭代還是設計語言上,都可以盡可能地“原子化”,來讓 QQ 后續更好地迭代功能。15 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季
52、 重重構之路:最大的壓力與挑戰源自何處?構之路:最大的壓力與挑戰源自何處?“QQ 的重構其實是兩方面的重構:一個是面向復雜業務的梳理重構,一個面向工程技術債的全新技術重構,重構之路也是兩者相互伴隨的過程?!笔紫?,在整個 QQ 重構過程中最大的挑戰來自于 QQ 功能的復雜化,QQ 有很多十分復雜的歷史功能,這些功能模塊也曾經由非常多不同的人經手負責過。其中哪些功能是不合理的或沒有價值的,如何去做取舍往往是最難的?!半m然技術上我們做了很多事情,但技術上的實現或許并沒有那么難,我們處理起來更有經驗和從容。相比于技術的復雜度,業務上的往往需要考慮的更多,這本身就是很大的挑戰?!币驗?QQ 已經是近 2
53、5 年的產品了,有很多細小復雜的功能。雖然這些功能看看起來很小,但用戶量其實又很大,稍微改動可能就會有很多的用戶反饋,QQ 團隊都得非常的關注。僅從產品功能角度上看,有些功能本身就已經是很重的負債,而 QQ 團隊內部有一個叫做“QQ 節能計劃”的項目,會有比較嚴謹的項目流程去評估是否需要下架。技術上重構也有不少挑戰,這次重構是一次跨平臺的重構,而在多個平臺里面比較有挑戰則是 Linux 平臺。作為程序員,很多人免不了要跟 Linux 打交道。但是這么多年來,對于使用 Linux 系統的用戶來講,有一個特別讓人煩惱的問題,那就是沒有一個好用的 IM 聊天工具。被寄予厚望的 QQ,此前在 Linu
54、x 版本上功能也沒有 Windows 和 macOS 版本全面,迭代速度也明顯慢過其他兩個版本。業界甚至猜測 Linux 第一個版本是由騰訊實習生所寫,畢竟這個說法進一步加重了其初版的“簡陋”特性,也為其“停更”的原因提 16 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 供了更合理的解釋。QQ 技術團隊表示,較之另兩個版本,Linux 版本的研發最為復雜:一方面操作系統本身很多碎片化,市面上有非常多的發行版,也不缺乏一些千奇百怪的版本;另一方面因為機器運行環境或編譯器的缺失,使得解決適配問題的難度很大。許多發行版相關的機器和開發環境實際上他們并沒有,有時還需要外部公司幫
55、助進行一些測試工作。由于沒有相應的開發環境,一旦出現閃退等問題,解決難度自然會變得更大。此外,有時候需要與國產操作系統廠商進行特殊的合作,甚至需要對方寄送特定的編譯好的代碼庫,但前后往往會花費一個月的時間才能收到。而在本次重構之后,“Linux功能跟 Windows 一樣多了”。技術上的另一大挑戰便是外界對于 QQ 桌面端使用 Electron 的質疑,尤其是內存方面。外界有些用戶在沒有使用和分析的情況下對此發表一些夸大和否定的言論,也確實給 QQ 技術團隊帶來不小壓力,但他們卻始終堅定選型方向,也相信其中的問題可以被攻克和解決。技技術選擇之爭:為何術選擇之爭:為何 QQ 選擇選擇 Elect
56、ron 而而非純非純 Native 技術棧?技術棧?確實當時有很多人在問,為什么 Windows 不用原生去實現?為什么不用 QT?“首先不太想和以前一樣,Windows、macOS、Linux 三端各由一個團隊分開負責。在國內這種人才環境里面,相關的純原生的開發人員其實非常難招了,桌面端的人才稀缺,同時也投入比較大。17 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 而對于 QT 技術棧,他們首先考慮的其實還是人才的問題,國內熟練 Qt 技術棧的人非常少。如果對這個框架不了解,使用它反而是一個負向作用。至于微軟的 Webview2,從本質上講,Webview2 和 El
57、ectron 并沒有太大的區別,只是相對在其中打包了一些微軟自身的優化措施,其他方面也不是很完善,而且還無法跨平臺。雖然內存方面相較于Electron做了更多的優化。但據了解,比如微軟Teams也沒有完全切到 Webview2。并且由于它沒有開源,因此也沒有辦法基于 Webview2做定制優化。包括 Flutter,QQ 團隊表示他們當時也有過調研。他們放棄的一個原因是 Flutter 在桌面端的完善程度并不高,也擔心標準化的問題。雖然當前 Flutter 非常流行,但誰也說不好這是不是“2015 年的 React Native”。大家擔心隨著時間推移,這套技術可能會失去維護支持,因為本身 G
58、oogle 使用 Flutter 的占比也比較小?!半m然它很熱,但我們歷史上踩過了很多很多非標準化的坑,一旦某個技術棧熱度一過、維護力度不夠,它就會成為全新的負債,做選型時必然也是避免再有類似經歷?!?8 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 至于為什么最后選擇 Electron,QQ 技術團隊表示主要是基于以下幾個考量:首先最看重的是框架成熟度和技術棧的標準化。Electron 基于 Web 技術棧,有足夠低的上手和使用成本,不需要為了使用框架本身,還需要投入額外巨大人力成本去做基建和周邊工具鏈的建設,以前在 RN、Flutter 的實踐上都有類似的情況。而使用
59、Electron,現有的 Web 前端的大部分基建都可以直接復用,而且使用 Web 開發 UI 的效率,在主流技術棧里算是很高的了。至于迭代效率我覺得從新版桌面 QQ 功能的迭代速度就可以證明,這放在以前是完全辦不到的。另外由于 Web 技術棧是標準化的,假如 Electron 修改開源協議或者要閉源了,他們也能很方便的去寫出一套類似的框架。只不過現在已經有開源的了,沒必要再去重復建設一個。而且隨著 Web 標準長久發展,Web 技術棧也不會有大的問題,而且還會越來越好。其次是技術經驗及人才儲備,技術選型是否適合當前團隊也是一個很重要的考慮點,團隊是否有相關的技術積累,是否有人才儲備來持續投入
60、這個技術棧。Qt 的確在性能上是一個很好的選擇,但目前團隊對 Qt 沒有太多積累,基建基本沒有,而且相關人才其實比較匱乏,招聘就更難了。而當前 QQ 技術團隊 Web 前端團隊還是有比較多的積累,在 QQ 頻道項目中,也完整驗證了 Electron 的技術可行性。最后就是Electron具備的桌面端跨平臺的優勢。但QQ NT架構并不是僅指Electron,Electron 主要是作為 UI 跨平臺的框架,只是占比很小的一部分,并且 QQ 桌面端不是全部用 Electron 實現,QQ NT 最核心的部分還是 QQ 底層通用抽象的模塊,稱之為 NT 內核,包括核心登錄、消息系統、關系鏈、富媒體、
61、長連接、數據庫等等模塊,完全用C+實現,全平臺通用。因此底層是完全跨平臺的架構,而Electron只是上層桌面端 UI 跨平臺較薄的一層。19 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季“其實我們當時選型的時候,也的確看得到大家對 Electron 的評價褒貶不一,但我們還是有信心去解決這個問題,前期也做了一些技術的 Demo 和預研。實際上 Electron并沒有糟糕到這個地步。我們覺得可能是國內很多沒有用過 Electron 的開發者,對這個框架有些忌憚。其實你到 Electron 的網站去看,還是有非常多國內外的億級 DAU產品都使用 Electron 框架。目前
62、這幾年主流的桌面端應用基本都選擇了 Electron,如Visual Studio Code、Discord、Slack、Skype、Whatsapp、Figma 等等,新的應用基本上也是首選 Electron,版本的迭代速度和社區氛圍都很在線?!薄拔覀冇X得不需要單純因為口碑問題,就對這個選型沒有了期待。還是要從實際出發,哪種技術棧適合你的產品,看看到底能不能有技術實力去把這個事情搞定?!眱葍却鎯灮喝绾斡行Э刂拼鎯灮喝绾斡行Э刂?Electron 的內存的內存占用?占用?外界之所以會覺得 Electron 內存占用高,是因為其本身是一個多進程的架構,主進程基于 Node.js,而每個窗口都
63、對應一個渲染進程以及 V8 實例??梢哉f從技術框架層面上,上手寫代碼很容易,但不容易去管控它的內存。QQ 技術團隊認為 Electron 的開發者更多的是前端的開發者,可能在思維上沒有去考慮怎么在這樣一套技術框架里,去對內存數據進行管理和管控。開發者需要從前端開發者的思維,轉變為客戶端開發者的思維。綜合來看,對內存的看法其實不完全是 Electron 的技術框架所導致的,更多的是門檻上、開發思維上,導致內存沒有得到很好的關注和優化。其實最簡單的 Electron 應用 20 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 大概也就只有幾十兆的內存占用。因為前端原本更多還是停
64、留在開發即用即走的Web 站點,很少實現一個超大客戶端,缺乏控制內存的經驗,所以面對 QQ 這么大一個產品的時候,你就必須非常在意內存的使用和管控。至于優化內存的突破口,可以說是從各個層面:從消息的鏈路中的每條消息的收發上,數據是怎么管理,包括像窗口及會話的管理,都得精打細算,也會做一些數據本地化和一些機制的按需加載,包括渲染上他們也提出一個根本的原則:“要做到所見才占用”,既我們看到的內容才占用這一部分內存,沒看到和用不到的任何場景的內存就不應該再占用,通過各種方式來去讓內存達到一個設定的目標。他們也使用了不同維度的內存分析工具,從 V8 引擎到進程,再到整個應用程序,打通整個鏈路進行多角度
65、的細節分析,以此來定位內存使用的瓶頸。之后采取一系列的針對性優化策略,包括緩存策略、按需加載、優雅降級等,同時使用線上監控、自動化測試手段,包括借助開發框架、工具建設、代碼審查等,來阻止性能退化。21 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 經過一系列組合優化之后,QQ 的內存在長時間掛機的條件下,平均穩定在 220M 左右?!艾F在優化還是不錯的,比老版本要好很多?!薄拔覀冋J為這個難題還是可以被很好的攻克,內存并不是大家認為的這么不可控,但是也需要團隊去花費相當精力去探索和實踐,才能去把內存控制到一個比較理想的狀態?!蔽次磥碚雇簛碚雇篞Q 的前端發展規劃是怎樣的
66、?的前端發展規劃是怎樣的?目前 QQ 的前端團隊作為一個公線團隊,不僅負責桌面 QQ 的研發,還有 QQ 基礎運 22 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 營、QQ 空間以及基于 QQ 生態的創新項目研發,有比較多的線上項目的開發與維護和內部研效工具的建設。涉及的技術棧,包括 H5、Electron、Cocos、小程序、WebGL、WebAssembly、WebRTC 等。他們也表示會繼續夯實這些技術,同時也不斷地打破立下的性能目標,希望讓桌面 QQ 覆蓋更多平臺。他們也正在積極擁抱 AI,讓 AI 在質量和效率上輔助日常開發。比如:前端設計稿還原,之前更多是一
67、個耗時的體力活,有時為了 1px 的對齊問題不斷的調整,比較繁瑣,D2C是QQ前端一直探索的方向,之前使用純規則轉換生成代碼,在視覺還原上效果還不錯,但是代碼可讀性和可維護性不能很好的滿足預期,所以除了一些日拋型的運營活動有些使用之外,比較難擴大成果?,F在 D2C 結合大模型,生成的代碼質量高了很多,也能很方便的將代碼與 UI 組件庫做映射,達到可以在核心業務中高效使用,達到通過 AI 提升研發效率的目的。針對一些無設計稿的管理平臺開發,使用 P2C 提效,目前也有了一些不錯的案例。另外,QQ 技術團隊也在積極探索 AI 更廣闊的應用場景,比如代碼評審,基本的 Lint檢檢是難以實現的,但將已
68、經掌握的內存泄漏模式通過規則的形式給到AI,可以很方便地給開發同學一些不錯的建議,為性能看家護院提供多一道保障。寫寫在最后在最后 QQ NT 項目于 2022 年 3 月份啟動,macOS QQ 花了該團隊 3 個月的開發時間,9 月份上架 App Store,迭代了幾個版本后同步開始開發 Linux QQ,并于這一年的最后一天上架各 Linux 應用市場,作為給 Linux 用戶的一份特殊的新年禮物。2023 年 QQ 團 23 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 隊開始去聚焦做 Windows QQ NT 的開發,7 月正式上架應用市場和官網。同時移動端的
69、QQ 從 2022 年的 Q4 開始開發,也已經完成了全量升級和發布。另外,桌面 QQ 也是在 NT 版本中第一次支持 64 位,這需要將音視頻、安全、字節碼、圖形庫等 C+模塊,包括 Electron 框架都重新進行編譯,花費了比較大的工作量。但在 64 位系統上,QQ 從此便不再需要以 32 位應用的方式通過額外的兼容和轉換來運行。畢竟額外操作會增加開銷,導致性能下降。至此,QQ 實現了多個系統平臺之間架構的統一。而團隊的未來規劃還是不斷地打破性能目標,并覆蓋更多平臺,同時探索更多提升研發效率的辦法,加快研發速度。騰訊 QQ 用跨平臺 Electron 取代之前原生應用程序的開發模式,這一
70、舉動引發的反響確實巨大。但我們也能看出,不同于小型產品團隊,在大公司里具有一定規模的產品組織架構之下,快速滿足用戶需求,并逐漸需要為第三、第四乃至第五種運行平臺提供支持時,保持一致性和協調性并不是想象中的那么容易。而緩慢而低效,最終會令你輸掉比賽。不管使用什么跨平臺開發框架,都要去選擇最合適自己團隊的,也因此在 Web 標準技術棧上有豐富積累的 QQ 團隊才會選擇 Electron。并且我們認為沒有人真正討厭Electron,只是我們對 QQ,對國內 App 寄予了非常高的期盼。嘉賓嘉賓簡介簡介 王輝:QQ 技術負責人 吳浩:QQ 前端負責人 陳俊文:QQ 桌面端前端負責人 24 中國中國卓越
71、技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 中國最大公有云服務商,如何從零中國最大公有云服務商,如何從零開始構建一支云效團隊開始構建一支云效團隊 受訪嘉賓:陳鑫、崔力強、蔣鑫 作者:王一鵬 云原生研發效能平臺,聽起來是云原生時代的必備基礎設施,但據信通院發布的2022 中國軟件研發效能調查報告顯示,業內具備該基礎設施的團隊僅有 26%,而有接近同比例的團隊,甚至還處于純手工階段,可見留給各家企業的施展空間相當之大。但要組建一支云效團隊卻并非易事。因為研發效能提升這一賽道的業務特點,相關工程師往往都帶著一些客服色彩傳統客服無法解答研發類工具的使用問題,因此負責研發效能產品的工程師要和
72、另一批作為用戶的開發者保持密切的交流,實時解答問題,以獲取第一手反饋。讓后端的人,干前端的事,這對團隊心性、企業文化是個考驗。同時,研發從某種意義上來講,和藝術類創作一樣,也是一件比較個人的事,使用工具的人往往有著不同的產品偏好。歷代流行的研發工具,幾乎全部具備高可定制性,這對企業的產品能力也是個考驗。再者,該領域在國內還沒有絕對領先的產品出現,因此相關團隊的創業氛圍都比較濃厚,要求團隊的戰斗力比較強,也增大了團隊組建和管理的難度。25 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 帶著這些疑問遍尋國內產研團隊,阿里云云效團隊,自然而然出現在了視野里。原因之一,阿里云是國
73、內最大的云服務商,其團隊構建、產品研發有著相當大的借鑒意義;原因之二,開放原子開源基金會剛發布的 AtomGit 代碼協作平臺產品,是基于阿里云云效研發的分布式多副本架構打磨而成,這從側面證明了團隊的實力。在和阿里云云效團隊總負責人陳鑫、CI/CD 團隊負責人崔力強,以及代碼平臺團隊負責人蔣鑫聊過以后,我們發現阿里云云效團隊更像一只創業團隊,有著獨特的創業氣質,和而不同的團隊文化,是他們向前的關鍵。阿阿里云效團隊發展歷程里云效團隊發展歷程 云效團隊整體發展可以分為三個階段:第一階段主要作為阿里內部服務出現,團隊規模在幾十人量級,以前后端研發、配置管理工程師、技術支持工程師為主,主要負責兩個維度
74、的工作:1.將阿里集團過去數年在工程效能上的方法實踐通過工具進行標準化、數字化;2.配合技術中臺戰略,打造研發、運維、監控三大塊領域的技術平臺,也就是現在業界講的“平臺工程”;這樣阿里就可以通過統一的技術中臺去推動內部技術發展與落地,比如容器化、云原生化、全面上云就是在技術中臺的推動下實現的。第二階段,集團決定將技術中臺核心產品和團隊劃歸到阿里云,從而幫助阿里云補齊在 PaaS 層的核心能力,因此云效團隊的主要工作目標是效能類服務的產品化。26 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 云效團隊要將過去近十年積累的效能改進方法實踐、效能工具變成廣大企業能輕松落地的產品
75、。云效團隊對產品架構進行了全面梳理,最終形成了七大核心模塊,覆蓋從項目需求管理到軟件研發交付的全鏈路一站式工具平臺。為了確保產品質量和用戶體驗,云效團隊按照新的產品架構,對原來的內部產品進行全面重構,重點投入用戶故事梳理、UI 交互設計、云化改造、用戶文檔、性能優化以及穩定性體系建設。前后投入了兩年左右時間,在 2020 年初完成了云效產品全新換代。第三階段是商業化。商業化階段最重要的是市場洞察、銷售體系、運營體系、交付體系的搭建。云效作為阿里云上產品,需要同時服務公共云直接使用 SaaS 的客戶,以及私有化部署的專有云客戶。SaaS 客戶主要以中小企業為主,行業集中在互聯網、新零售、娛樂等,
76、這部分客戶通常為自服務,更重視產品核心能力、交互體驗、品牌影響力、價格與穩定性等,營銷方面團隊需要投入更多的內容運營與品牌運營。而私有化客戶主要為金融、交通、政府、能源等中大型企業,這部分客戶不但希望買產品,還希望能夠得到落地實施服務,更重視產品功能豐富度、落地案例、以及方法和實踐的先進性。針對不同的客戶云效團隊需要搭建不同的商業化團隊,并且和阿里云市場、銷售各部門進行緊密協同,有計劃的對阿里云目標客戶群體進行覆蓋。27 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 從發展流程來看,阿里云云效團隊的發展存在兩大特點:1.產品體系龐大且全面。由于發展歷程長,且有阿里集團需求
77、、阿里云云能力作為基礎,阿里云云效團隊與業內眾多創業公司不同,并非只聚焦于研發工具等一兩個垂直維度,而是從發展之初就聚焦于平臺建設;2.阿里云云效團隊雖然孵化自跨國大型企業內部,但有鮮明的創業團隊色彩,其三個發展階段,對團隊能力的鍛煉和要求都非常全面。不過盡管如此,阿里云云效團隊依然和業內所有團隊一樣,逃不開正常的業務開拓邏輯,遇見了許多挑戰?!按笃髽I問題”與“小企業問題”大企業問題”與“小企業問題”阿里云云效團隊發展過程中遇到的問題,大致可以用“大企業問題”與“小企業問題”兩個形容來做粗略的概括?!按笃髽I問題”主要指目標與協同問題、戰略目標的落地問題;“小企業問題”主要指有限資源與高目標的矛
78、盾,以及團隊的專業能力提升問題。采訪中,阿里云云效團隊總負責人陳鑫聊到,團隊目標與協同機制的問題,在最近幾年商業化過程中,反映的最為明顯。在商業化進程的早期,阿里云云效團隊選擇全面面向收入業績去設定目標,業務人員、產品人員、技術leader都需要共背業績指標。實際上這也是業內大部分團隊的選擇,業務leader經常擔心后臺人員商業感覺遲鈍,前臺后臺協作矛盾大,這種目標設定,確實可以讓全體核心成員都可以面向商業化去 28 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 思考問題,并且目標相同,在溝通協同時比較容易達成一致。比如某個行業客戶要不要做,某個客戶的需求要不要做等。但是
79、隨著市場競爭進入深水區,這種目標設定的模式就出現了明顯問題,比如團隊更加追求短期經濟利益,而忽視產品長期演進以及客戶滿意度,另外就是對一線技術人員來說缺少在技術卓越層面的激勵等。時間長了,很容易發現團隊的產品、技術層面硬實力出現停滯,而收入也隨之陷入瓶頸。所以阿里云云效團隊最近幾年開始實踐 BizDevOps 方法,更加強調業務、產品、技術多角色的共識和協同,而不是單純的業務導向。反映在目標設定方面,首先是目標更加細化,業務團隊承擔收入與規模的指標,產品團隊承擔客戶滿意度、產品交付能力、產品競爭力指標,技術團隊承擔需求交付效率以及質量、成本、安全、穩定等技術先進性指標。多角色之間目標不是簡單的
80、拆解關系而是承接關系。比如客戶滿意度和產品競爭力決定著市場營收的長期潛力,而技術競爭力和需求交付效率又決定著客戶滿意度以及產品長期競爭力。其次是從組織協同上強調共識機制,對于前線帶回來的業務需求,要求業務同學與產品技術同學達成業務價值、影響面、預計成本的共識,目的是為了有效的判斷優先級。對于需求的傳遞強調從業務需求到產品需求再到技術任務的拆解,從而實現組織透明和溯源,讓所有人對所做工作的價值和目標清晰和一致。關于戰略目標的落地,則與阿里云云效團隊的發展階段有關。29 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 針對不同的發展階段,云效團隊的組織架構也經歷過幾次重大調整。
81、在最早期的內部服務階段,為了實現云效各子產品的快速發展,云效將產品與技術團隊、測試團隊放在一起組成獨立的全功能團隊,這樣可以保障各產品資源獨立并且閉環,決策快速,落地敏捷。到了第二個階段,即產品化階段,這種產品全功能團隊架構就出現了明顯弊端,主要體現在各產品協同不夠,導致產品一致性差,技術方面整體架構沒有整體拉齊,也會導致在一些基礎能力上投入不足,比如賬號、權限、安全性、私有化輸出、運維能力等。因此需要成立橫向團隊對基礎模塊和技術進行投入,比如產品團隊統一拉齊產品設計規范、架構團隊確定統一技術規范、基礎平臺團隊完成跨產品共享能力的產品實現工作等。此時云效團隊形成了矩陣式組織架構。在商業化階段,
82、云效團隊面臨的新問題是前線的市場洞見以及客戶需求,能否快速有效的傳遞給后方,并且確保產品主線演進不被各種客戶問題進行打斷。這就需要一套業務、產品、技術三個核心團隊的有效協同方法。云效團隊通過兩個主要措施解決問題:1.業產技三級團隊 OKR 設定以及拆解:如前文所述,業務團隊負責業務指標、產品團隊負責產品能力交付以及客戶滿意度、技術團隊負責需求交付以及質量、成本、安全、穩定等目標。三級團隊之間并不是簡單業務數字拆解,而是要確保目標之間有承接與協同;2.業產技各角色執行中的事項、優先級、排期的共識:比如說需求并不是誰單方面 30 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季
83、決定要不要做,什么時候完成,而是要充分溝通形成共識。堅持市場為導向的同時,確保產品為中心的目標;如果說以上都是“大企業”的煩惱,那么可以說云效團隊也作為“小企業”、“創業者”的角色,為業務發展撓過頭皮。云效因為產品體系全面,注重平臺能力,所以對研發、產品的能力要求極高。在國內的 To B 賽道,絕大部分產品市場銷量不好的原因很簡單,就是不好用,用了以后解決不了業務問題。阿里云云效產品,在 2018 年產品發展的早期階段,也曾被各類研發論壇的用戶吐槽過,團隊內部總結的問題有:用戶注冊、激活流程、交互設計、性能體驗上都有不少短板,尤其是在產品架構方面問題很大。云效多個子產品之間互相耦合并且有強依賴
84、,導致用戶沒有辦法按照自身需求選擇一、兩個子產品進行落地,后期再逐步探索使用更多產品,而是要想用全都必須用,這無疑導致用戶落地成本陡增。坦誠問題存在是個勇氣問題,但解決問題則需要付出卓絕的努力。差不多在同期,阿里收購了 Teambition,其對產品細節的極致追求給團隊帶來了很大的啟發。同時,云效團隊下定決心,要對產品進行徹底重構,這帶來了對人員能力的嚴苛要求。一方面,這場重構對視覺、交互、產品設計相關崗位角色的能力要求需要大幅提升;另一方面則需要有魄力拋棄掉過去項目制思維(項目驅動,堆砌功能,缺乏復用和靈活性)轉向產品化思維。在這個過程中一方面各產品技術負責人需要不斷提升個人的能力與視野,在
85、每一個功能上線前反復雕琢,上線后不斷追蹤數據和用戶反饋進行改進,確保產品基本素質。此外,團隊也需要引入優秀的產品經理,三年下來,云效產 31 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 品團隊的人員規模接近翻倍,最終完成了迭代升級。除了主觀層面,在客觀層面上云效團隊也經歷過較大挑戰,其核心在于資源和目標的矛盾。2019 年年底臨近春節時,云效團隊需要馬上在阿里云上線新版云效。當時云效的產品已經和 Teambition 深度融合,只能帶著 Teambition 在阿里云上重新部署一份,作為云效的產品組合來服務阿里云開發者。工期限制在三個月內,人員投入十幾位,時間非常緊張,
86、整體技術難度也很大。而讓全國人民印象深刻的三年疫情,也正是在那個春節快速傳播。云效團隊所有人被封閉在家中,只能以遠程的形式工作。但團隊順利的在預定時間內完成了對 Teambition 的改造,將其接入阿里云體系,并且高質量的完成了文檔、技術支持、商業化等體系的搭建,完成了穩定性保障工作。這一次攻堅,確保了云效業務最近三年的順利發展,完成了產品的全面升級工作,產品能力和體驗相較于 2019 年年有了質的變化。這是怎么做到的?陳鑫說,在云效發展的歷史上,我們渡過了很多困難的節點,在關鍵時刻往往不是我去推動團隊,去搖旗吶喊往前走。而是團隊有一種自驅力,自然而然的興奮起來,去戰勝這些不可能難關,這個特
87、質讓我非常驕傲。是什么造就了這種特質?這與企業文化、團隊文化脫不開關系。你你相信阿里“六脈神劍”嗎?相信阿里“六脈神劍”嗎?阿里“六脈神劍”作為頭部公司的企業文化,在網絡上廣為流傳,部分人會覺得文化 32 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 不好落地。但在本次訪談中,我們發現,這套“六脈神劍”可能是云效團隊能夠前行的最大依仗。云效 CI/CD 業務線早期規模很小,要對標國際成熟 GitHub 團隊,做出更適合中國開發者的 CI/CD 產品,陳鑫談及此事卻并不覺得難以想象。他說,阿里巴巴能做出淘寶,螞蟻能做出支付寶,我們相信我們也可以,因為“此時此刻,非我莫屬”。
88、無獨有偶,代碼平臺團隊負責人蔣鑫也在采訪中提到了“六脈神劍”,他最喜歡的是“認真生活,快樂工作”和“因為信任,所以簡單”。蔣鑫說:“我特別喜歡這個文化,我愛人說我去了阿里以后整個人都不一樣了?!罢J真生活,快樂工作”的意思就是,工作很辛苦,所以要做喜歡的事,要快樂;生活也是一樣,你怎么對待生活,生活就怎么對待你。夫妻相處、子女教育都要花心思?!薄耙驗樾湃?,所以簡單,有些公司的信息安全嚴格到無法在公司內參與開源貢獻,而阿里云有更靈活的信息安全管控,參與開源貢獻不再有重重阻礙,真正詮釋了因為信任,所以簡單?!蓖瑫r,在企業文化的層面下,云效團隊也在踐行這些文化。如客戶第一,陳鑫作為云效團隊的總負責人,
89、每天也會親自在用戶交流群去回答一些開發者的問題。另一項整個云效團隊比較看重的文化素質叫做“匠心”?!敖承摹必灤┱衅概c文化匠心”貫穿招聘與文化 陳鑫在采訪中說道:“匠心一方面代表著追求卓越的品質,另一方面也是一種愿意長 33 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 期堅持做好一件事的心態?!盋I/CD 團隊負責人崔力強用一個例子說明匠心是什么:“比方說你做事情的時候,你的方案是不是考慮的足夠細致,還是說差不多能用就行?!盋I/CD 是阿里云云效產品對外提供的核心能力之一,歷來是產品迭代的重中之重,因此,“匠心”也是 CI/CD 團隊工作得重要特質。2017 年,云效流
90、水線產品正式進入到公有云市場提供服務,當時使用的是阿里云內部架構,19 年開始,云上用戶量迅速增加,原有架構在規?;涂蛇\維性上有一定的局限,于是CI/CD團隊決定重新開發一個構建引擎,來應對云上用戶更加豐富的構建場景需求,例如更多的語言,更多的技術棧,更多樣的執行環境,以及快速增長的用戶量對于穩定性和安全性的需求,希望可以做到 Any Language,Any Platform,無限擴容,支持不同的計算服務,比如 VM、容器以及阿里云的 ECI 等,支持不同的操作系統,支持不同的芯片架構。這是一個龐大的能力集合,需要穩扎穩打地逐步演進。在開發的第一個階段,也就是 2019 年底-2020 年
91、底,團隊的主要工作是開發并完善上層編排能力,希望 80%的用戶可以開箱即用,20%的用戶通過一定的自定義配置也可以實現自己的功能,需要解決的主要問題是場景化封裝及構建環境調度等基礎能力。團隊主要做了兩件事情:一個是建立“執行環境”+“執行命令”組合的業務概念,內部稱之為“步驟”,并使用阿里云容器服務的 ACK 集群作為容器的調度平臺;第二個是實現了一個特殊的“自定義環境構建”的步驟。34 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 在這套方案完成之后,CI/CD團隊不但在兩個月內不但完成了Top 5編程語言在Linux平臺下的編譯、測試、掃描等能力的集成,而且實現了大多
92、數阿里云 PaaS 層服務的集成,方便用戶輕松地完成從源碼到上線的全過程。在開發的第二階段,也就是 2021 年上半年,團隊工作聚焦在優化構建引擎的穩定性、安全性。保證可用性達到 4 個 9,也就是一年最多 52 分鐘不可用,為了達到這個目標,除了服務本身的質量和可靠性,還需要關注依賴的可靠性。在提升穩定性方面,主要遵循一些通用的設計原則:1.明確系統的依賴,確保依賴的 SLA 可以滿足云效團隊的 SLA 要求;2.通過冗余來提高 SLA;3.限流和削峰填谷;4.可水平擴容;但如果在構建引擎這個領域將這些原則落地,還是有很多具體問題需要解決的。比如,構建引擎依賴阿里云的 ACK 集群,而且會頻
93、繁的調用 ApiServer 創建任務。ApiServer的可用性是99.95%,作為單個依賴,就已經低于團隊期望的可用性了。識別出來這個 SLA 上的不對等,就必須要使用多 AZ,多 Kubernetes 集群的冗余來彌補。團隊在單個 Region 采用了三個 ACK 集群進行熱備,當一個集群出現問題,可以快速擴容其他集群,以應對整體的流量,當兩個 ACK 集群相繼掛掉之后,構建引擎仍然可以提供服務。通過簡單的計算可以知道使用了熱備之后,ACK 依賴的可用性就從 99.95%提升到了 99.9975%。當然為了做熱備,還需要解決好多個熱備之間的調度、心跳、熔斷等細節場景,確保 35 中國中國
94、卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 多個集群之間的調度均衡,且在單個集群失效之后,可以及時的偵測到并摘除集群,同時要避免誤判,在及時性和準確性上需要達到一個平衡。此外,崔力強也很喜歡“極限編程”這一軟件工程方法,并將其帶給了團隊。極限編程最早于 1996 年由 Kent Beck 提出,主要目標在于降低因需求變更而帶來的額外研發成本,有這一整套詳細的規則和實踐方法。其中最讓崔力強和其團隊收益的兩點是“單元測試”和“重構”,節省了許多不必要的精力浪費。也是因為好的編程方法的實踐效果,崔力強并不崇尚團隊加班,而是鼓勵團隊高效工作。開開源也是幫助團隊成功的秘訣源也是幫助團隊成
95、功的秘訣 除了“匠心”文化之外,開源也是云效團隊的重要課題之一。作為代碼平臺團隊的負責人,蔣鑫是個資深開源貢獻者,他直言:“我來阿里的重要原因之一,就是阿里有非常好的開源文化?!睂τ谒袕氖麓a平臺開發工作的工程師來說,GitHub 是個珠玉在前,不得不提的產品。但 GitHub 的設計理念卻不一定適合企業級代碼托管需求。GitHub 在 2008 年創造性地發明了倉庫派生(fork)和代碼評審(pull request)的協同方式,推動了開源社區的發展。蔣鑫在深入了解開源社區的運作模式后,找到這一模式成功的原因,即:GitHub 模式解決了開源社區期望的人人皆可參與開源貢獻的難題?,F在已經是
96、 2023 年了,開源貢獻者面對只讀的代碼倉庫,難道還是只有倉庫 36 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 派生一條路么?面向企業的研發協同代碼平臺,難道也要東施效顰,通過倉庫派生進行代碼協同么?GitLab認為分支模式是企業協同的主要途徑,但是這種模式也給很多團隊帶來分支管理混亂、無法適從的困惑。阿里云云效代碼平臺團隊的一項重要工作,就是突破傳統慣性,創建既適合開源場景(包括企業內開源),又適合企業內部的代碼協作模式。這種模式允許開源貢獻者在沒有寫入權限時,仍然可以使用“git push”命令向只讀的開源倉庫推送,推送操作直接創建代碼評審。新的模式讓企業用戶簡
97、化代碼倉庫的授權,無需管理人員參與,任何人均可以自助式的創建分支、刪除分支、強制更新代碼和創建代碼評審。這并非閉門造車。在創造突破性的代碼協同模式過程中,云效團隊和 Git 開源社區保持密切協作,在 2020 年將 Git 核心的改動貢獻 Git 社區。參考文章:Git2.29 讓 Git 成功“牽手”Gerrit 代碼平臺的另一項技術挑戰在于性能問題?,F在業內的代碼平臺,支撐數萬人同時在線協作,普遍會遇到性能和穩定性問題。數年前,云效代碼平臺的老架構,只有一個副本提供寫服務,運維團隊不得不 7x24 小時保持手機開機,疲于應付。后來也是在開源社區汲取營養,經過技術攻堅后,團隊完成了分布式架構
98、改造,解放了生產力。蔣鑫聊到,這一般有兩種解法,其一是期望采用現成的分布式文件系統實現計算存儲分離,進而解決代碼平臺水平擴展問題;其二是針對 Git 倉庫的特點通過倉庫分片、自研分布式多副本架構解決代碼平臺架構問題。最終團隊采用了第二種解決方案,研發和 GitHub 類似的分布式多副本架構,解決了性能和可擴展性問題。目前團隊也在研發新一代架構以期實現云原生的計算存儲分離的代碼平臺架構。37 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 所有這些技術挑戰,都從開源社區里吸收了許多養分,大到為技術攻堅尋求方案靈感,小到一個測試用例的寫法。蔣鑫說:“我們發現 Git 開源項目的
99、測試框架非常簡單易用,開發測試用例非常高效,進而在團隊內推廣,已經將其延伸到C語言之外的開發語言。我們還寫了技術文章分享測試用例難寫?來試試 Sharness?!碑斎?,有汲取就有回饋,云效代碼平臺團隊里的多位同學都是Git社區的Commiter,云效代碼平臺團隊在打造創新產品同時,也在打造具備行業影響力的團隊。云效代碼團隊 2021 年開始打磨 Git 系列視頻教程和訓練營,與業界開發者分享 Git 上手指南,至今已有近 30 萬人次學習觀看。關關于團隊的未來思考于團隊的未來思考 對于國內研發效能領域的絕大部分團隊而言,挑戰剛剛開始。相關報告中的數據顯示,國內發布成功率在 85%以上的團隊僅有
100、 69%,平均故障修復時長一天以內的團隊,僅占總數的 48.9%,不足一半。要解決這些問題,需要一支能滿足數字化時代客戶需求的卓越團隊。陳鑫在采訪中提到:“云效一直致力于為廣大開發者提供專業、數字化、普惠的開發者工具產品。專業意味著代表最新的技術趨勢以及生產力,這一點對于云效屬于基本盤,我們有一個非常好的阿里云的技術基礎,以及龐大的內部開發者群體來孵化。數字化意味著我們需要建立端到端的開發者工具鏈,去構建產研管理完整生命周期的數字模型,從而不但解決單點生產力問題,還有機會去解決生產關系問題。普惠意味著我們要服務足夠多的客戶去降低邊際成本,又需要建立足夠標準化的產品以及豐富的 38 中國中國卓越
101、技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 合作伙伴生態。從我們的使命愿景出發,云效的發展路徑和目標已經可以被清晰構建出來。我期望云效團隊未來可以具備與使命愿景匹配的技術能力與組織能力。首先是有一批始終追求卓越的復合型技術人員,在大模型時代要求我們不但需要具備基礎的工程素養以及能力,還需要懂數據與算法,一專多能成為標配。其次有一個懂用戶,又有匠心的產品和服務團隊,這個團隊能夠深入一線的開發者和企業的管理者,求真務實的解決問題,用細致產品和服務讓客戶滿意。最后是整個云效團隊的協同能力,在未來我們仍會繼續踐行 BizDevOps 產研數字化管理實踐,也期望將自己的經驗分享給更多的團隊,
102、與廣大企業共同成長?!辈稍L嘉賓簡介采訪嘉賓簡介 阿里云云效團隊負責人 陳鑫 阿里云云效 CI/CD 團隊負責人 崔力強 阿里云云效代碼平臺團隊負責人 蔣鑫 39 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 管理與研效管理與研效 40 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 MySQL之父:不要把一個優秀的開之父:不要把一個優秀的開發者提升為管理者,那會是種資源發者提升為管理者,那會是種資源浪費浪費 作者:李冬梅 7 月 21 日,ArchSummit 全球架構師峰會在深圳召開。會上,MySQL 數據庫的原始版本主要作者以及 MariaDB 基
103、金會的首席技術官,Michael“Monty”Widenius(以下簡稱“Monty”)在主論壇上分享了主題為數據庫技術前景理解,以及技術人的職業發展的精彩演講。Monty 是開源 MySQL 數據庫原始版本的主要作者之一,并是 MySQL AB 公司的創始成員之一。此外,他還是風險投資公司 OpenOcean 的創始人和普通合伙人。憑借他在數據庫領域的杰出貢獻和豐富的行業經驗,Monty 在技術界享有盛譽。在本次大會的 Keynote 主論壇的分享中,Monty 提到了為什么他會認為大數據解決方案是一種偽需求。Monty 認為,大多數公司不會有像 Facebook、Twitter、Bilib
104、ili、TikTok 等公司那樣多的真實數據需要“立即”訪問。這些巨頭們所使用的大數據解決方案并不適用于其他公司。在不久的將來,大多數公司可以在幾臺機器上運行它們認為的大數據:內存現在大約2100 美元/T,大多數公司可以買得起 200G 的 RAM;現在 SSD 是 50 美元/T;用戶可以從Nimbus獲得100Tb的SSD,從Dell獲得960Tb。16T可以很容易地購買到。41 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 如今,MariaDB 可以輕松處理 0.5T 的活躍數據。只有當數據超過 1T 時,才需要考慮分析型數據庫。很少有用戶需要超過 0.5T 的數
105、據。在談及技術人發展路徑時,Monty 表示,他自創立 MySQL 項目和 MariaDB 之后,只有在最開始時會親自做一些管理事宜,后面就一直雇人來進行管理公司,做客戶服務并領導公司,這樣他就可以繼續專注于架構、開發和領導 MySOL/MariaDB 開發團隊。因為他認為優秀的程序員十分難得。程序員需要 8-10 年,甚至更長的時間才能達到他們的巔峰。優秀的程序員是企業的寶貴資源,他們甚至 70 年間都可以輸出高質量的代碼。Monty 表示,“不要因為把一個優秀的程序員提升為經理人而荒廢了他在編程領域的建樹。一個好的程序員不一定是一個好的管理者。管理者可以通過賦予他們更多的責任來提升他們的價
106、值,比如設計更大更復雜的系統,或者是幫助其他人編寫代碼,但不能是管理工作”。42 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 傳統管理秩序消失,數字化下的組傳統管理秩序消失,數字化下的組織和人才如何重塑織和人才如何重塑 演講人:秦芹 策劃:高玉嫻 企業正在失去傳統的邊界,這意味著過去大家熟悉的管理秩序也將會逐漸消失,企業需要經過探索、試點和創新去定義管理的新法則。德勤中國管理咨詢合伙人秦芹女士在日前舉辦的DTDS全球數字人才發展線上峰會上強調,面對眾多挑戰,人才建設將成為企業數字化轉型最為核心的要素;而面對數字化轉型帶來的人才需求,企業不得不重新思考“人才從何而來、人才
107、能力重塑”的問題。秦芹重點圍繞“組織”和“人”兩個維度介紹了企業如何在“無邊界世界”實現良性發展:一方面,企業必須構建能力型組織。一方面,企業必須構建能力型組織。隨著“崗位”的邊界消失,技能將替代崗位,成為員工和工作的連接點。對于企業而言,需要健全人才能力標簽體系,從而更好的選人、識人、用人,最大化發揮員工價值。另一方面,企業也需要不斷提升數字一方面,企業也需要不斷提升數字化人才能力化人才能力,通過搭建數字化人才畫像,實現能力和技術的共同提升。以下是演講實錄(經以下是演講實錄(經 InfoQ 進行不改變原意的編輯整理)進行不改變原意的編輯整理):在過去的 12 年中,德勤全球人力資源研究團隊發
108、布了一系列全球人力資本趨勢調研報告,今年我們報告的主題叫“無邊界世界的新法則”。今天我會主要介紹一下我 43 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 們在報告中的一些核心發現,以及在接下來數字化的工作當中,有哪些因素會影響人力資源的高級從業工作者。無無邊界世界的新法則正在建立邊界世界的新法則正在建立 那么,具體哪些邊界在消失呢?我們總結出五個方面:第一,崗位的邊界。崗位的邊界。崗位不再按照職能和職責劃分,而是以技能為基礎進行靈活迭代。比如說一個人才發展經理現在可能還要兼職某一個事業部 BP,或者牽引企業內部數字化人才能力重塑得項目,并且還要在與數字化部門溝通協作的過
109、程中扮演類似于產品經理的角色。他的崗位邊界正在隨著企業和社會的變化不斷拓寬。第二,組織的邊界。組織的邊界。從明確且獨立運營的組織,轉變為合作共生的生態組織。第三,勞動力的邊界。勞動力的邊界。全職及單一歸屬的員工轉變為兼職零工等多元的生態員工。比如打車平臺司機、外賣騎手等等。第四,工作場所的邊界。工作場所的邊界。從固定、現實的物理空間,轉變為非固定、混合現實的多元空間。如今大家已經適應了線上線下融合的工作方式,甚至在元宇宙當中工作。第五,現代公司的邊界?,F代公司的邊界。當一個公司在社會當中發展越來越大,它肯定要為社會做出更多的貢獻,而當它遇到挑戰和危機的時候,也會有更多人幫助它。在這些變化之下,
110、德勤今年的研究報告當中展現出三大趨勢、九大法則。44 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 第一個趨勢是要求所有所有 CHRO 或者或者 HRD 能夠要像研究者一樣思考能夠要像研究者一樣思考,因為在數字化時代,必須不斷地嘗試、試錯,向著一定的目標去探索。這個趨勢下包含三大法則:一是“崗位”的概念走向“終結”;二是科技賦能人才;三是激活未來工作場所。第二個趨勢是共創新型關系共創新型關系,即組織和勞動力生態之間的關系。這個趨勢下也包含三大法則:管理員工數據,在構建數據資源的同時又保護隱私;發揮員工的主動性,發揮人才的能力;解鎖勞動力生態,把更大的生態為我們所用,實現靈
111、活用工。第三個趨勢是優先考慮對人的影響優先考慮對人的影響。這個趨勢下同樣包含三大法則:一是大膽行動,爭取公平結果。也就是要以人為中心,要考慮人的多樣性,才能更好地激發產出,優化員工的體驗;二是推進可持續發展中人的因素,在雙碳戰略中,讓每個企業、每個人都作出貢獻;三是提升對人的風險關注,因為很多風險事件的發生,最關鍵的影響因素還是人本身。接下來我們重點圍繞“組織”和“人”兩個維度介紹企業如何在“無邊界世界”實現 45 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 良性發展。技技能將成為員工和工作的連接點能將成為員工和工作的連接點 首先,是能力型組織的構建。隨著崗位邊界消失,
112、技能將成為員工和工作的連接點。過去傳統大企業很像一個運行緊密的機器,每一環都是環環相扣的。而現在的社會更多像一個球隊,每個人之間、工作之間既各司其職又相互關聯。企業要應對這種變化就必須構建技能型的組織。當然,并不是所有的崗位都不需要了。其中 80-90%的崗位都還存在,只是邊界在拓寬;而另外 10-20%需要用技能來補償,讓人的因素發揮到最大化。具體來看,崗位邊界正在發生以下五個方面的變化:第一,靈活的,而非預先確定崗位邊界正在發生以下五個方面的變化:第一,靈活的,而非預先確定的;第二,非常規的的;第二,非常規的;第三,專注于創造價值;第四,視情況而定的,而非標準化;第三,專注于創造價值;第四
113、,視情況而定的,而非標準化的;第五,越來越以工作小組為導向的;第五,越來越以工作小組為導向。接下來看兩個看似相悖,實際上有強關聯的概念,即拓寬工作和分解工作。比如,有的企業在做新零售的過程中,需要將線下門店和線上的能力去做融合,這背后必然會帶來工作流程的變化,員工職能職責的變化,甚至是薪酬和崗位評估的變化,需要企業去做一些拉通的動作才能保證在崗位拓寬過程中一些機制不失效。而分解工作指的是為了增強敏捷性,把“工作”分解為有價值意義的更小單位,比如分成一個個項目和任務,這樣一來盡管商業需求在不斷變化,擁有相關技能組合的員工也能被分配到對應的“工作”中。46 中國中國卓越技術卓越技術團隊訪談錄團隊訪
114、談錄2023 第第二二季季 當然,企業在組織變革、流程再造、崗位重塑等各個層面的改革很多時候沒有辦法完全依靠人力資源驅動,它需要成熟的時機。但是,我們仍然可以用一個要素來補足組織和崗位的不完美,它就是充分發揮“人”這個要素,尤其人的“技能”。這里的“技能”更類似于人才標簽的概念,比如包括編程、數據分析和會計等方面的硬技能,包括情商和批判性思維在內的思維特質,包括有可能被開發并引領未來成功的潛能等等。對企業來說,非常重要的是如何更大化地把這個人和他的崗位進行匹配,發揮他最對企業來說,非常重要的是如何更大化地把這個人和他的崗位進行匹配,發揮他最大化的價值大化的價值。更具體一點,在技能標簽之外還有更
115、大的標簽體系,叫做人力資源標簽體系。比如,下面這張圖就是我們給一家大型車企做的人力資源的能力標簽:可以看到,一個人才身上大概有 90 多個標簽。其中硬技能的部分包括履歷、基本信息、績效等等。還有一些軟的部分,包括使命、能力、潛力以及其他方面的綜合評價,甚至是離職風險等等。這些標簽可以幫助企業形成 360 度的人才畫像,更好的選人、識人、用人,最大化發揮員工價值。47 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 此外,德勤現在也在不斷地研究,通過擁抱新的技術,比入德勤 AI 數字化人才管理平臺,將數據作為輸入,通過 AI 引擎進行計算與洞察,對人才進行從入職到晉升的全方位
116、管理。具體地,我們運用知識圖譜、數據挖掘、機器學習等技術去形成底層大腦;中間形成應用層,包括人才畫像和崗位畫像;在頂層,打造人崗匹配、繼任者分析、人才盤點等具體產品。當組織擴大到幾十萬人、上百萬人,企業就沒有辦法用一張張的簡歷來做人才管理,通過技術進行人才和崗位匹配,對管理者的用人風險越小,用人產生業績的可能性越大。48 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 搭搭建數字化人才畫像建數字化人才畫像 其次,再來看數字化人才能力的提升。世界經濟論壇曾做過這樣一個預判,“到到 2030 年,我們需要對超過年,我們需要對超過 10 億員工進行再億員工進行再培訓。培訓?!边@
117、10 億員工將代表著屆時 1/3 的人才市場。面對這樣的挑戰,人力資源管理者需要核心要考慮的關鍵要素是:核心人才是誰?在哪里?長什么樣?數字化領導者需要具備什么樣的能力和要求?關鍵技術人才,他們的差距在哪里?等等。德勤把數字化人才分為三個層次,包括數字化領導者、數字化應德勤把數字化人才分為三個層次,包括數字化領導者、數字化應用人才和數字化專用人才和數字化專業人才業人才。其中,數字化領導者既要具備敏捷性又要具備適應性的領導力,并且能帶著大家一起迎接變化、適應變化、實現變化。數字化應用人才需要擁有深入的業務洞察力,能基于不同業務場景應用新技術助力數字化轉型,他們包括戰略、營銷、財務、人力資源等各個
118、層面的核心業務負責人。數字化專業人才包括了數字化業務和數字化技術專家,比如專業領域專家、產品經理、架構師、軟硬件工程師等等。數字化是端到端的,從前端包括如何理解內部人才、賦能人才,到后端如何通過數字化技術化去實現。這就需要又懂業務又懂技術的人才參與其中,誰能夠端到端打通,誰就能在數字化時代占據強的領先優勢。49 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 企業數字化轉型過程有的是從上而下由領導者來發起的,有的則是自下而上由一線員工引入新的技術、新的技能而帶來的。作為人力資源管理人員,需要把這些共用的關鍵能力在各個的部門中進行標準化梳理和復制。需要強調的是,企業領導者如果
119、在數字化轉型過程中自己不發生改變,就會令數字化轉型這件事非常艱難。下面這張圖是德勤總結的數字化 DNA 模型。其中畫紅框部分是國內企業面對的比較大的挑戰,比如多模式運營、敏捷性、技能要求不斷變化、層級體系趨向扁平化并逐漸演變等等。對此,數字化領導者需要通過激勵、授權、連結數字化領導者需要通過激勵、授權、連結來領導組織適應并實現數字化轉型。來領導組織適應并實現數字化轉型。再來看一下人才。創新性復合型人才是市場非常稀缺的資源,下圖這是一個 T 字型的人才發展路徑。其中重點是核心知識技能、前瞻性技術洞察(比如 AI 算法、計算機視覺等等)、行業知識和經驗。層級越高的人員需要具備的橫向知識越廣泛,比如
120、智慧營銷,要對產品、客群、生產、供應都有所了解。50 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 當然,這些人才在不同的層級之上,還是可以有比較清晰的人才畫像和定義的。下圖以某企業做示例,它就會分為數字化基礎人才、數字化推進人才、數字化核心人才、數字化領導者。企業要先定義他們,然后才能夠發展他們。51 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 當然,在數字化轉型之下,還會產生一些新的角色在數字化轉型之下,還會產生一些新的角色。比如用戶體驗工程師、數字化產品經理、大數據專家、解決方案架構師等等。企業需要基于場景化思維,結合數字化轉型的不同階段,明
121、確新角色的數字化人才畫像。人才畫像是具有相似特征的一類人員的畫像,例如以下面這位化名“杰克”的“用戶體驗工程師”為例,我們需要去看他在轉型過程中有哪些新的技術應用需求,在工作中有什么樣的痛點、卡點,企業做什么樣的改進能讓他更“舒服”,更容易發揮他的長處,甚至他的工作流程發生了哪些具體變化等等。當我們掌握這些信息之后,就可以對應地采取一些舉措。也就是說,我們在選人的時候有標準,在發揮人才積極性的時候也有標準,如此一來才能彌補組織在轉型過程當中面臨的各種不確定。除了新生崗位之外,一些傳統崗位在數字化轉型背景下又會發生什么變化呢?比方說 52 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第
122、第二二季季 數字化轉型的核心就是“以客戶為中心”,那么,當客戶消費習慣發生了顯著變化,作為數字化營銷人才就需要考慮如何把客戶更好地吸引過來,完成銷售,并且通過私域流量對他進行運營,甚至讓他影響更多的消費者。在這個過程中,我們需要從實際業務場景出發,挖掘數字化銷售崗位的專業能力要求,并為他提供一些技術工具。比如有的公司會通過 Chatbot 告訴銷售人員什么樣的產品可能最適用于哪一類客戶,幫銷售實現精準化的運營和數據分析,促成成單以及售后的追蹤等等。下圖就是銷售顧問畫像的一個示例:53 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 鏈鏈接工作場景和職業生涯發展接工作場景和職
123、業生涯發展 最后一部分,我們講講企業如何對人才進行能力培養,即如何鏈接工作場景和職業生涯發展,打造人才發展新環境。作為全球變革管理的領導者,德勤認為在數字化變革項目的不同生命周期,對未來領導力及核心能力的要求也有不同側重。以下是一些課程示例:舉一個具體的案例,是我們給某世界五百強企業構建“高管團隊加速融合”領導力發展項目。這個企業規模很大,在國內投資建廠的期間產生了一個問題,就是高管團隊基本都是來自全球各國、各個行業的高端人才,大家坐在一起很難達成共識,形成有效的產出。為了解決這個問題,就必須去做高管團隊融合。下面這張圖是我們幫他們做的一張藍 54 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄
124、2023 第第二二季季 圖,包括如何看待這個項目,通過哪些方式方法去落實這件事,從頂層如何承接公司發展戰略,幾年之內要達到投產,幾年之內要達到多少銷售額和營收額等等。在這些目標之下,企業需要什么樣的領導者定位形象和人群細分。其中,我們應用了德勤的應用了德勤的 SPIRIT 方法論,也就是持續地進行敏捷迭代的方法方法論,也就是持續地進行敏捷迭代的方法。包括我們如何幫助高管去實現共同的目標,未來一年中他們的關鍵任務是什么,會遇到哪些挑戰等等。在此之前我們會做一些診斷和摸排,通過一些方法構建共同目標,形成評估的結果并進行研討,最后產出一些關鍵主題。下圖是一些示例:55 中國中國卓越技術卓越技術團隊訪
125、談錄團隊訪談錄2023 第第二二季季 當然,數字化人才培養涉及方方面面的內容,需要企業更好地鏈接工作場景和職業生涯發展,充分應用數字化技術,打造開放、共享的人才發展新環境。56 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 以德勤為例,我們每個人手上都有一個 APP,上面鏈接著我們的學習資源,既包括必修課程也包括選修課程,此外還有一些很有儀式感的進階式培訓。我們提供非常數字化的學習體驗,能滿足個性化、敏捷化、沉浸化、生態化,甚至一些游戲化的學習模式。與此同時,德勤還提供物理的學習空間,比如勤創空間 Greenhouse 創新實驗室,這里接待了非常多的企業客戶,可以提供沉浸
126、式創新體驗、全方位視覺和感官的激活、靈活多變的場景設置以及高科技支持,可以讓大家更為扁平、更為融和地在一起工作,共同來激發靈感和創新想法。嘉賓介紹嘉賓介紹 秦芹,德勤中國管理咨詢合伙人,服務于組織轉型及人力資本咨詢業務線。秦女士擁有 15 年人力資源從業經驗,加入德勤 8 年。服務于多家大型國企、先進民企、跨國公司,行業涉及高端制造、高科技、互聯網、金融服務等行業,對不同行業和不同發展階段的企業,積累了豐富的項目設計和實施經驗。秦女士在組織架構設計、組織管控、崗位職級體系、高管及員工薪酬、中長期激勵、績效管理、人力資源規劃、任職資格、人才發展、員工體驗、數字化人力資源轉型、中國員工全球海外派遣
127、等領域積累了大量的咨詢經驗,熟知國企改革、市場化機制方案的設計與落地。服務的客戶包括但不限于:海爾、小米科技、光大芯業、東軟望海、梅花集團、蒂森克虜伯、用友、聯想、神州數碼、騰訊、Intel、神州高鐵、大樹科技、永泰生物、正大天晴、濰柴動力、國投高新、萬寶礦產、中國中東歐基金、絲路基金、鐵建國投、57 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 中石油氣候基金、東風汽車有限、東風物流集團、武漢地鐵資源、河南投資集團、山東財金集團、河南交通發展集團、華夏金租、財信金控、江西金控、浦發銀行、渤海銀行、中原銀行、鄭州銀行、瀘州銀行等。58 中國中國卓越技術卓越技術團隊訪談錄團
128、隊訪談錄2023 第第二二季季 第一批因第一批因 AIGC 裁掉自家員工的老裁掉自家員工的老板該后悔了?板該后悔了?作者:核子可樂,Tina 擁抱生成式 AI 并不斷裁員,這家電商企業付出了慘重代價。自 2022 年 11 月 30 日推出后,ChatGPT 受歡迎程度迅速飆升。2023 年 3 月,Shopify 成為首批采用 ChatGPT 生成移動產品推薦的企業之一,比一些大公司和CRM 公司如 Salesforce 更為激進。Shopify 成立于 2004 年,是全球頭部電商 SaaS 服務平臺,為電商賣家提供搭建網店的技術和模版,管理全渠道的營銷、售賣、支付、物流等服務。2015年
129、Shopify正式上市。2021 年該公司在北美電商的市場份額約為 10%,僅次于亞馬遜。擁擁抱抱 AI 并不斷裁員,并不斷裁員,Shopify 的賭徒心態的賭徒心態 今年 3 月,Shopify 將 ChatGPT 助手添加到商店應用程序和網站中。Shopify 認為與ChatGPT 結合的智能客服,可以超越上一代個性化問答,解決傳統客服響應速率慢、人工成本高的痛點,降低運營成本。隨后到了 5 月份的時候,Shopify 首席執行官 Tobi Lutke 宣布公司整體裁員 20%。市場普遍認為 AIGC 的提效賦能是裁員的重要原因之一。59 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄202
130、3 第第二二季季 從這些舉措來看,Shopify 今年已經將業務重點放在了電商軟件與 AIGC 的結合上,率先投身于這場轟轟烈烈的科技界轉型大潮。一些證券投資公司因此認為,電商已經是 ChatGPT 核心應用場景之一,且有望在較快時間內落地,產生行業變革效應。60 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 7 月份,Shopify 再次推出一款名為 Sidekick 的助手,其創始人兼首席執行官 Tobi Lutke 將其描述為一個非常有能力并可隨時提供幫助的強大助手。憑借對系統和可用數據的深入了解,這個助手能夠根據每個商店的具體背景并給予銷售策略建議。在Twitte
131、r 上分享的一段視頻中,Tobi Lutke 演示了如何通過 Shopify 上的功能按鈕訪問“Sidekick”助手,響應商家咨詢、提供銷售相關趨勢信息等。這次演示效果非常炫酷,比如 Tobi Lutke 在視頻中詢問助手“為什么滑雪板銷量下降”,Sidekick 回答說這可能是因為降雪量一直在下降,并展示了一張圖表來支持這一觀點。然后,他要求打折出售所有滑雪板,Sidekick 自動更改主頁上所有相關內容,并在幾秒鐘內添加紅色折扣標簽。Tobi Lutke 隨后還演示了如何使用 Sidekick 更改整個店鋪的設計,給顧客推薦夏天的沖浪板,瞬間,店鋪主視覺從冬天變成夏天的圖像。擁抱 AI
132、技術的同時,Tobi Lutke 在 Twitter 上曾公開表達了其基本思路:公司可以用更少的員工創造更高的收入,希望借此削減成本來取悅各位股東。緊跟著到了 7 月 26 日,Tobi Lutke 向全體員工發出一封電子郵件,告訴他們部分雇員會在幾分鐘后收到裁撤通知。這次裁員涉及到了大約 1000 名員工,占其全球員工總數的 10%。Tobi Lutke 表示“裁員是必要的”,并將其原因歸于消費者恢復了以往的購物習慣,加之推動公司近期增長的網上訂單量也在不斷減少。但 Shopify 的員工并不認可這個裁員理由,一名憤怒的網名為“Joe Momma”的員工不顧保密協議(NDA)毅然披露該公司頗
133、有爭議的行為和戰略方向。這名員工表示,此番裁員是出于公司 CEO Tobi Lutke 瘋狂的賭徒心態,想嘗試用更便宜的合同工跟人工智能(AI)支持取代全職員工。61 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 并且目前這些舉措已經引發了非常嚴重的問題:由于客戶支持團隊已大部分被淘汰,Shopify 的等待時間即將飆升。Shopify 客戶雖然可以與機器人對話,但如果想要升級為人工服務,需要等待數小時。Tobi Lutke 也掏空了其他團隊,比如信任和安全,其結果是每 5 家商店就有 1 家存在欺詐或詐騙行為。這嚴重影響了消費者的安全,但也表明 Shopify 洗錢的時
134、機已經成熟。62 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 大新聞:某 shopify 員工違反保密協議,向我們透露稱 tobi:-已經在悄悄解雇位于美國、加拿大和愛爾蘭的全球客戶服務團隊;-即將用 AI 聊天機器人將其替代。祝各位 Shopify 店主好運暗無天日的時期要來了。用用 AI 取代自家員工的代價取代自家員工的代價 在帖子中,該員工介紹了 Shopify 在這一年中,試圖將 AI 應用到多個地方,期望能降低成本,包括生產產品描述、創建虛擬助手、開發仍處于 Beta 測試階段的新客服中心 AI 代理等。然而,這種成本削減策略已經對客戶滿意度產生了負面影響。員
135、工數量的減少加上把大量業務轉給外包和廉價的合同工,客服支持體驗開始嚴重滯后。很多沮喪的商家等待幾個小時,仍很難獲得明確的答復。此外,負責監控欺詐商店的團隊已經不堪重負,可能導致平臺上欺詐業務的數量有所增加。63 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 Shopify 中的一切都在轉向 AI,從產品描述到虛擬助手,再到新客服中心的 AI 代理(目前仍處于 beta 測試階段、未正式發布)。Toby 對自己的計劃毫不避諱,還在Twitter 上分享一張圖表,展示多年來 Shopify 公司如何用更少的人手賺取百萬美元收入。64 中國中國卓越技術卓越技術團隊訪談錄團隊訪談
136、錄2023 第第二二季季 該員工發布的推文也引發了人們對于其余 Shopify 員工命運的擔憂。據報道,自裁員以來,余下員工面臨著工作量增加,但卻沒有相應補償或福利的困境。不少人陷入嚴重的倦怠、焦慮和壓力過大而被迫休假的狀態。盡管這些問題已經引起公司領導層的注意,但卻被視為“系統性”問題而遭到忽視。另外,該公司似乎打算用基于 AI 的解決方案,全面取代之前依靠人工運轉的客戶服務體系。此外,帖子還強調了 Shopify 在目標市場方面出現的顯著重心轉變。Shopify 向來以支持小企業和創業者而聞名,但隨著收入模式嚴重依賴支付交易而非訂閱軟件,現在其似乎正更多優先關注大公司。Shopify 在運
137、營戰略方面的巨大轉變,導致員工和客戶開始質疑該公司的誠信度,以及為小企業賦能的使命與承諾。不少人認為該公司已經偏離了其根本,變得越來越類似于其曾經反對的那些行業巨頭。65 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 相反,公司CRO Bobby Morrison將這一切照片于“系統性”問題,并表示Shopify將增加 AI 技術的應用,借此“快速為我們的顧問和商家提供輔助?!薄霸谡业叫迯拖到y性問題的方法后,我們將大力投資于工具開發,包括幫助客服人員更好完成工作的工具,以及幫助商家更快獲取問題答案、且無需與真人交流的工具?!盨hopify 公司的領導層,包括總裁 Harl
138、ey Finkelstein,已經向員工們保證不會進一步裁員。但該公司的一系列做法、特別是在保密協議的約束下秘密精簡人手的行徑,已經令員工們對承諾產生了懷疑。盡管去年曾進行多輪裁員,但 Shopify 公司管理層的薪酬似乎基本未受影響。在今年 66 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 5 月提交的監管文件中,Shopify 公司透露 Tobi Lutke 在 2022 年拿到的總薪酬略高于2000 萬美元,與 2021 年的 2000 萬美元基本持平,且高于 2020 年的 1510 萬美元。隨著公眾監督的不斷加強,以及對其企業價值主張和商業模式的愈發擔憂,Sh
139、opify在重建信任和解決自身決策對員工/客戶的影響方面正面臨重大挑戰。不少 Twitter 網友對此爆料給予了點評:用 AI 削減成本是資本家才喜歡講的故事;Shopify 客戶服務已經很糟糕了,情況會變得更糟;“人工智能聊天機器人無法提供客戶服務支持,我保證 Shopify 很快就會發現這一點”;這將是一場徹底的災難。參考鏈接參考鏈接 https:/thedeepdive.ca/shopify-employee-breaks-nda-to-reveal-firm-quietly-replacing-laid-off-workers-with-ai/https:/ https:/ https
140、:/ https:/ 67 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 如何利用如何利用 AIGC 自動化編程提高研自動化編程提高研發效率?發效率?作者:郭煒 策劃:凌敏 前前言言 下面是一段利用 Co-Pilot 輔助開發的小視頻,這是 Apache SeaTunnel 開發者日常開發流程中的一小部分。如果你還沒有用過Co-Pilot、ChatGPT或者私有化大模型幫助你輔助開發的話,未來的 5 年,你可能很快就要被行業所淘汰。因為這些善于使用AIGC輔助編程的人可以10倍于你的速度開發相應的代碼,而你沒有這個技能。我并不是危言聳聽,讀完此文,我相信你對 AIGC 研
141、發提升研發效率會有全新的認知。視頻地址視頻地址 大大模型顛覆傳統初級程序員的培訓和輔導模型顛覆傳統初級程序員的培訓和輔導過程,讓技術和經驗“平權”過程,讓技術和經驗“平權”過去,初級程序員入職學習編程時,往往是師傅給一個任務需求,教大體的思路,然后在初級程序員寫出代碼工作當中培訓和糾正,針對不同的命題告訴不同的方案,直到初級程序員把這些經驗學會。68 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 但大模型的到來把這個過程完全改變了。大模型自己具有廣泛的知識,而且有一些基礎的推理能力,它可以經歷無數次的實踐,學習公司里各種各樣的代碼和業務定義,它所遇到的場景要比師傅當年要遇
142、到的場景多得多,同時它會根據開發者的需求和目標給出可能的答案。這個過程就像我們多了一個無所不能的“師傅”,隨叫隨到還可以給你直接寫出可能的代碼,讓你參考學習,讓一個初級的程序員快速具有“師傅”寫代碼的能力。經過自己的學習和調整,就可以提交出一個遠超你自己個人水平的代碼,讓別人 Review。那么,我們有什么理由不使用大模型來提高自己的研發效率呢?69 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 如如何使用大模型輔助編程?何使用大模型輔助編程?目前常見的工具有 ChatGPT、Co-Pilot、私有化大模型等等,在不同場景下要用不同的方法來編寫程序:可以看到,人類其實最適
143、合就是做比較有挑戰和創新的架構類產品,或者是某個新業務場景的代碼,如果中間有復用的部分或者類似的算法,可以使用 Co-Pilot 快速提升效率;ChatGPT 可以用于類似場景的代碼來自動生成,稍微修改就可以使用;私有化大模型更適合對數據和代碼安全有要求,而又需要大模型比較了解你的業務知識的場景,私有化大模型是需要 FineTune 的??赡苡腥藭f,私有化大模型普通公司玩不起的!其實這是一個誤解,如果你要原生訓練一個原生私有化大模型,估計中國能玩得起的公司不超過 5 個,而大多數公司不需要訓練大模型,只需要根據開源大模型優化(Finetune)大模型就可以讓大模型理解自己的業務了,而這個代價
144、就是 1-2 張 3090/4090 的顯卡就可以了,整個的實行過 70 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 程可能也只需要 23 個小時的配置就可以(感興趣的話可以參考下面這篇文章:用一杯星巴克的錢,訓練自己私有化的 ChatGPT,里面講的利用是 Apache DolphinScheduler 和配置好的模板,拖拽就可以訓練一個大模型的例子)。使用私有化大模型可以直接實現以下功能:軟件眾多功能中,直接找到你所需要的功能;眾多復雜的使用手冊和規則,找到你所需要的功能和說明;輔助編程,Txt2SQL,提高數據程序員的效率。使用私有化大模型來輔助編程,真的距離我們
145、一點都不遙遠。如果你還不太相信AIGC 自動化編程時代已經來臨了,那么下面這個開源項目如何利用 AIGC 提高研發效率的例子,或許可以幫助你可能更好理解。大大 模 型 自 動 化 編 程 實 例:模 型 自 動 化 編 程 實 例:Apache SeaTunel Apache SeaTunnel愿景是“連接萬源,同步如飛”,也就是可以連接市面上所有的數據源(包括數據庫、SaaS、中間件、BinLog),而且同步效率要做的最高。這對于任何一家公司都是不可能做到的事情,而面對幾千上萬的 SaaS 軟件和不斷變化的接口,甚至人類也無法做到這一點,那么 Apache SeaTunnel 核心項目團隊是
146、怎么在這個 AI時代設計這樣一款開源軟件呢?總體如下圖所示:71 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 首先,計算核心引擎部分,屬于專門為同步而生的計算引擎,它不同于 Flink、Spark,主要在同步復用內存、CPU、帶寬和確保數據一致性上下功夫,所以大部分代碼都沒有可借鑒的,需要核心開發工程師直接編寫、修正,以確?!巴饺顼w”。當然,因為是開源項目,核心引擎部分得到了眾多大廠專家的修正和討論,以確保時刻跟進全球最先進的技術。其次,數據庫的核心Connector,例如Iceberg Connector,這些接口實現比較復雜,除了保證代碼正確之外還要保證數據傳輸效
147、率很高,這時候直接使用大模型是無法達到我們所需要的效果的。因此主力還是人,但可以復用自己和云端過去常用的代碼來做,這時候使用 Co-Pilot 就是最佳方案,主導者是人,而大模型可以作為輔助來幫你補充常規算法和復用的代碼,如開頭視頻所示的樣子。面對浩如煙海的 SaaS 接口,例如 MarTech 領域的 SaaS 就超過 5000 個,靠人力對 72 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 接接口是不可能的。SeaTunnel 核心團隊就想了一個辦法,根據多次嘗試,把過去為人寫的十幾個接口進行抽象,不斷和 ChatGPT 磨合,最終變成 2 個可以讓 ChatGPT
148、理解并寫出優雅代碼的接口,然后利用 ChatGPT 可以讀懂 SaaS 接口文檔的特點,直接生成相關代碼。這在 SeaTunnel 當中叫“AI Compatible”特性,兼容 AI。我理解這更是程序員和AI的一種“和解”,大家不要相互搶飯碗,程序員為AI做好準備,AI 來做程序員無法做到的事情。這個特性在 Apache SeaTunnel 2.3.1 里面已經發布了,當然作為眾創的開源軟件,該功能還有各種各樣的缺陷有待提升。不過因為代碼是完全開源的,我相信會有越來越多的愛好者把它打磨到更加自動化。比如,我已經聽到有一個開發者要做一個GPT Coder,監控 GitHub 上的 SaaS i
149、ssue,自動化調用 ChatGPT,生成代碼并提交PR,讓機器人和人類卷到極致。73 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 大大模型自動化編程存在的問題模型自動化編程存在的問題 雖然ChatGPT、Co-Pilot可以輔助編程,但它們也不是無敵的,目前大模型生成代碼還有很多挑戰:準確率問題;無法做 code review;無法實現自動化測試;無法擔責。大模型依然會出錯,這在未來一段時間是常態,哪怕是 ChatGPT4,寫出來的代碼也就 90%的正確率,所以要盡量簡化它寫代碼的過程,否則可能會寫出來完全不對的代碼。大模型快速生成代碼之后,人類的 code revi
150、ew 會跟不上,因為機器是無法確定最終代碼實現業務邏輯是不是對的;而大模型做 code review 的話,你會發現每次都給你煞有其事地提出來不同的改進點,但其實都是無關痛癢部分,無法確定最終的邏輯正確性。同時,自動化測試案例和自動化測試也是當前大模型一個弱點,TestPilot 屬于在學術圈比較活躍的內容,大家可以參考Cornell的Large Language Models are Few-shot Testers:Exploring LLM-based General Bug Reproduction 和 Adaptive Test Generation Using a Large La
151、nguage Model都是一些比較有意思的文章,不過距離工程化使用都還有一定距離。當然,自動化編程還有最后也是最難得一關責任問題,就像自動化駕駛一樣,哪怕是做到 L5,如果出問題到底是誰的責任。就像 WhaleOps 實現了 Txt2SQL 之后,74 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 很多用戶問,為什么不直接把 SQL 執行出來變成最終的結果給我,這才是業務部門最終需要的東西。我認為這是一個哲學問題,而不是一個技術問題了。不說現在 ChatGPT90%的準確率,假設將來大模型可以做到 99.9999%,你敢直接問一句話讓它自動計算全公司的工資然后自動對接銀
152、行發工資么?如果出問題,你覺得是誰的問題呢?永遠不能幻想用技術解決所有的業務問題,大模型也是如此。未未來展望來展望 現在我們還處于大模型自動化編程的初期,很多小伙伴還在處于試用 Co-Pilot 和ChatGPT 階段,大多數程序員還沒有用上私有化大模型來根據自己公司的業務提升編程效率,不過我認為未來的 3-5 年,自動化輔助編程一定會成為我們這一屆開發者的標配工具:國產基礎大模型拉進 ChatGPT 距離,易用性提高;開源大模型準確性、性能提升,更多的公司使用私有化大模型 ROI 提升;大模型自動化門檻減低,除了 DolphinScheduler,更多的大模型訓練平民化工具誕生;技術管理者對
153、于大模型自動化編程認知提升,技術管理流程適配大模型時代;在當前經濟周期下,降本提效利用大模型提高效率勢在必行。所以,未來幾年,如果你在研發過程還是只會CRUD,不會有效利用大模型將自己的經驗和業務理解 X10 或者 X100 的話,那么不用等到 35 歲,你就會被會大模型編程 75 中國中國卓越技術卓越技術團隊訪談錄團隊訪談錄2023 第第二二季季 的那批程序員所取代,他們 X10 之后,你就是那被淘汰的 9 個人。當然,雖然有點危言聳聽,但是編程提效當中的大模型趨勢是勢不可擋的,我也只是在大模型自動化編程這方面不斷實踐摸索的小學生,我相信會有很多的技術管理者和架構師加入到大模型自動化編程的浪
154、潮中來,不斷迭代和優化在開發領域當中人和大模型之間的關系。最終,讓程序員、AI、技術研發流程更有效的為業務服務。作者介紹作者介紹 郭煒,人稱“郭大俠”,Apache Foundation Member,Apache DolphinScheduler PMC,Apache IPMC Member,ClickHouse 中國開源社區發起人和首席布道師。中國軟件行業協會智能應用服務分會副主任委員,TGO 北京董事會會長,全球中小企業創業聯合會副會長,人民大學大數據商業分析研究中心客座研究員。郭大俠一直致力于讓“數據能力平民化”的事業上,本人參與多個開源項目,促進多個開源社區在中國的落地以及中國開源項目在全球的發展,被評為 Apache Foundation Member 和2021 年中國開源最佳人物之一。