一文帶你揭祕淘寶終端技術

在這個數字化迅速發展的時代,技術的每一次飛躍都不僅僅意味着一個產品的升級,更是對未來世界的一次大膽想象。從 PC 到 iPhone,從 Model 3 到 ChatGPT,都引領了全新的一個行業。對於正處在求學階段的你們,選擇一個充滿活力、技術領先、並且可以提供巨大成長空間的團隊,無疑是邁向成功職業生涯的關鍵第一步。現在,就讓我們一同揭開淘天終端技術團隊的神祕面紗,一步步爲你揭曉爲何我們在終端技術領域獨樹一幟。

終端技術體系和代表作

我們團隊主要負責的是淘寶——這個星球上最複雜的 App(沒有之一)的基礎設施,數以億計的用戶在這個 App 上瀏覽商品 / 查看詳情 / 買賣家交流 / 下單購物 / 互動娛樂 / 消費內容等等,任何單一功能的複雜度都可以媲美市場上的一個獨立 App,把所有這些都聚合在一個巨型 App 中,我們面臨的是幾大核心矛盾:有限的包體和設備存儲空間 vs 無限增長的業務模塊、有限的終端硬件資源 vs 無限疊加的業務場景、有限的設備能耗 vs 不斷沉浸的體驗追求、碎片化的海量設備 vs 統一化的交付方式等等。

舉幾個實際的例子:

淘寶裏的業務模塊成百上千,而淘寶 Android 端的包大小居然回到了 18 年的水位(65M),處於行業前列。每天有大幾億用戶打開淘寶 App,這些用戶在淘寶上的行爲非常多樣化。

  1. 有些用戶喜歡搜,他們目的性很強,直接搜索商品關鍵字 - 進入商品詳情查看和比價 - 下單;

  2. 有些用戶喜歡逛,在首頁信息流和 ND 來回瀏覽 - 進入商詳查看 - 加購或下單;

  3. 有些用戶喜歡玩,在我的淘寶中玩些小遊戲 - 查看商品 / 店鋪 - 可能加購或下單;

  4. 有些用戶喜歡看,在 Tab2 看視頻(可賺錢)- 查看視頻中提到的感興趣的商品 - 可能加購或下單等。

我們要保障用戶在每條可能的路徑和動線上都有着絲滑的體驗,這是世界級的技術難度和挑戰!

現在國人的日常衣食住行都已經離不開手機了,而其電池技術並沒有根本性的突破,如何既能解決用戶的續航焦慮,又能提供優雅的用戶體驗,以及使用過程中不出現發燙 / 卡頓,這是操作系統級別的技術難題和挑戰!

爲了應對和解決這些技術挑戰和難題,我們長期探索這幾大技術方向:

  1. 原生技術,遵循 Platform First 理念,貼近原生系統、充分挖掘系統組件和特性,沉澱極致性能的渲染引擎 / 動態化引擎 / 原子能力集,同時與廠商深度合作,探索站內外用戶觸達多通道,用技術做用增;

  2. 底層技術,遵循 First Principle 理念,深入虛擬機 / 字節碼 / 彙編指令等,探索穩定性 / 性能 / 包體的極致邊界,深入系統底層機制與原理,必要時幫系統打補丁;

  3. 跨端技術,遵循 Cross Platform 理念,抹平多系統 / 平臺差異,充分利用業界較爲成熟的前端生態,沉澱自主可控的渲染引擎 / 圖形引擎 / 腳本引擎,向業務提供符合 W3C 標準的前端友好的基礎設施;

  4. 工程技術,遵循 Productivity First 理念,支撐大規模多團隊協作式研發,深挖工程組織 / 編譯構建 / 虛擬機調度等技術,融合前端 / 客戶端研發工作流,向業務提供高效穩定的工程體系;同時持續升級 Low Code 技術,賦能業務運營同學快速搭建頁面上線,實現產品運營需求的想發就發;

  5. 網絡技術,擁抱網絡協議新標準,重點優化移動弱網場景,以更小帶寬,實現更快的傳輸,面對複雜移動場景,提供彈性可伸縮的網絡服務,平衡前後臺的業務體驗;

  6. 應用服務技術,遵循 API First 理念,解決接口大規模穩定快速投放,擴展豐富的請求模式 / 傳輸協議 / 壓縮算法等,探索端雲交互一體化新模式和端雲研發新模式;

  7. AI 技術,依託於大模型近來的突飛猛進,我們承擔着進一步提升淘寶業務研發效率和體驗的使命,包括多模態代碼生成(一句話需求生成邏輯代碼 / 一張視覺稿生成 UI 代碼 / 基於一段真實代碼生成單測代碼)、問題診斷(線上 Crash 診斷 / 端到端問題自動定位 / 構建失敗診斷 / 場景化性能診斷調優)、研發助理(領域知識答疑 / 最佳實踐問答)等等。

每個技術方向我們都有着多年的辛勤打磨和持續沉澱,歷經了多年線上大規模用戶和流量的千錘百煉,以下是我們的部分代表作:

  1. 原生動態化技術:基於 play core 的動態化方案,具備了 Replugin(360) 和 Qigsaw(iQiyi) 合併的優勢,既支持插件化,又支持組件動態化;

  2. 原生研發框架 DX 4.0,以 Kotlin+Compose 爲標準,聲明式 / 響應式 / 狀態管理 / 一碼多屏爲特性,基於原生系統 UIKit 構建原生渲染管線、基於 KMP 構建面向多平臺的編譯體系,支持原生組件和能力的快速定製和擴展;

  3. 自繪渲染引擎 Weex 2.0,自建符合 Web 標準的自繪渲染引擎,包含執行代碼 / 節點構建 / 佈局 / 繪製 / 合成 / 光柵化 / 上屏等完整渲染管線;建立字節碼離線編譯的工程體系,編譯期可進行耗時更高更徹底的優化,並支持標準 ESM 模塊、多文件拼接、動態執行腳本、模塊搭建等能力;彈性可擴展的容器和插件能力,支持全頁 / 浮層 / 卡片 / 小部件 / Embed 等多種形態及插件;

  4. 流式 SSR 技術,業界率先嚐試零運維流式 SSR 託管服務,簡化流式 SSR 頁面研發成本,相對業內中心化 SSR 渲染方案,引入了 CDN ER 的邊緣能力,降低客戶端渲染壓力,並實現就近的渲染快照,實現極致的 FCP 時間;

  5. LSM 對象存儲技術,業界騰迅開源的 MMKV、mongodb 的子項目 realm 都是針對移動端的對象 / 鍵值存儲方案,分別使用了 MVCC 等存儲模型用於提升高併發場景的性能,但沒有針對 Flash 存儲 (SSD/UFS/) 特性的優化。sqlite 的 btree 模型對大對象鍵值存儲的讀寫放大係數較高。我們針對 Flash 存儲特性(塊讀寫機制、垃圾回收機制等)實現的 LSM Tree,支持了內存壓縮、冷熱分區、碎片化抑制等特性,在讀寫放大係數和吞吐性能上有顯著優勢,大量應用在移動端上圖片及小文件緩存等場景;

  6. 終端 APP 到全鏈路的觀測與性能技術,立足 Android/iOS 原生特性提供 APP 維度的觀測套件,以及各類 APP 高性能框架、組件,實現端性能持續優化與業務迭代;立足 OpenTelemetry 提供終端訪問雲上服務的全鏈路分佈式技術規範與觀測套件,實現終端 RPC、遠程配置、消息、大文件上傳 / 下載等高性能中間件,支撐業務鏈路優化與治理;

  7. 終端工程構建技術,以流水線爲主要支撐,通過靈活的配置插件形成統一的構建流水線,我們沉澱了終端豐富的工程構建工具鏈,支持 iOS/Android/PC/IOT 等多終端的自定義,同時結合私有化部署能夠完全開放定製整個工程構建生產鏈路;

  8. 高性能網絡技術,在 IETF 國際標準組織,主導 Multipath-QUIC 協議標準化進程 (作爲協議第一作者);有 4 篇網絡領域頂級學術會議論文和期刊收錄,包括網絡學術 Top1 頂會 SIGCOMM 21 發表論文 < XLINK>/ 頂會 NSDI 收錄 < TECC > 等;開源國內首個標準化協議庫 XQUIC(git star 1.5K)/ 開源高性能雲原生網關 Tengine(git star 12.2K);網絡領域專利授權超過 20 個以上。

面向未來,在應用底座層我們會堅持系統 + 自研結合的方式,向下深挖系統內核,向上提供豐富穩定、抹平平臺差異的系統能力;容器引擎層我們會堅持原生 + 跨端結合的方式,既要極致體驗,又要快速交付,充分利用客戶端和前端生態;工程支撐側我們會堅持融合客戶端 + 前端研發動線,支持業務高效研發和低成本運維,支撐淘寶成爲全球最小最快最穩最爽的 App。

終端技術的團隊和背後的人

技術代表作的持續演進和長期技術方向的持續探索,離不開背後的優秀工程師們,以及能持續培養出優秀工程師的土壤——團隊。

我們團隊倡導工程師文化,它不僅僅是一個口號,而是我們文化的核心。我們鼓勵團隊成員積極思考,敢於提出大膽的想法,打破現狀,併爲這些想法提供足夠的支持與資源。

我們相信,工程師文化的核心,離不開一羣優秀的技術牛人們,他們在各自技術領域擁有豐富的實踐經驗、較高的理論造詣,他們將成爲你們的技術導師,帶領你們一起成長,讓你們可以引領潮流,創造未來。

技術牛人們的代表作品讓人倍感震撼。他們參與制定了國際網絡標準,比如**【IETF】**Multipath Extension for QUIC,這是一個先進性技術的行動和舉措,改變了網絡傳輸的方式,讓網絡更加高效和穩定。同時,他們也爲 JavaScript **標準【TC39】**做出了巨大貢獻,完成 JS 語言特性提案兩個,推出了 ShadowRealm、Async Context 和 Error Cause 等創新方案標準,爲開發者們提供更加便捷和強大的工具,也爲 **CNCF OpenTelemetry JS** 語言實現 Champion 和規範作出了貢獻。

技術牛人們不僅在行業標準有着卓越的表現,他們的學術論文期刊發表也令人矚目。比如**【NSDI 2024】**的 TECC,這是一項關於 QUIC 隧道技術的研究,致力於提高 QUIC 傳輸的效率和性能;還有**【Computer Networks 2022】**的 BBRv2+,一項關於帶寬探測的研究,旨在實現對帶寬的平衡和公平;以及**【TNNLS 2023】**的 Noah,這是一項關於強化學習的研究,爲大規模電子商務服務中的微服務提供了智能的速率限制算法。

技術牛人們在開源社區也有着豐富的經驗和貢獻。他們開源了國內首個標準化協議庫 XQUIC,這是一個備受關注的項目,已經獲得 1.5K 個 star;同時,他們還爲高性能雲原生網關 Tengine**(12.2K star)** 更新換代升級,成爲了開源社區中的明星項目。

此外,我們的團隊中有 Node.js TSC voting members(要知道一共才二十個核心成員)和 Google V8 committer,還推出了一系列基於 React 的應用研發框架,如 git star 達到 17.7K 的 ice.js,廣受前端研發好評,以及 Node.js Serverless Framework 中的 midway.js,git star 達到 6.9K。還有 iOS 非侵入性能測試輸出開源項目 tidevice,已經獲得了 2K + 個 star,廣受開發者歡迎。

技術牛人們不僅有着卓越的技術實力,更重要的是他們樂於分享幫助他人

加入我們的團隊,你將有機會與這些傑出的人才們面對面交流,讓師兄師姐傾囊傳授他們的經驗和智慧。無論是在項目開發中遇到的問題還是職業規劃上的困惑,團隊都將爲你提供指導和支持,幫助你成長爲一個優秀的專業人才。

加入我們的團隊,我們有定期的內部分享會、技術研討和外部交流活動,讓你能不斷學習到新知識,拓寬見識,同時也鼓勵參加國內外技術大會,與業界大咖面對面交流,從而激發更多靈感。

無圖無真相,下面是我們最近的一些內外部分享的照片:

以及我們的團隊全家福

未來展望

未來已來,終端技術的新紀元正在向我們招手。

未來的電商終端設備將通過高效的數據分析和智能學習,瞭解我們的習慣和偏好,爲我們提供更精準的個性化服務。

未來的電商終端設備將通過先進的人機交互技術,如手勢控制、面部識別、語音助手,我們可以以最自然的方式同設備進行交互,無需學習複雜的操作,爲我們提供將更優雅的用戶體驗。

未來的電商終端設備將採用最新的加密方法和隱私保護措施,確保用戶數據的安全不被侵犯。同時,終端設備將能夠在本地處理更多的信息,減少對雲端的依賴,從而在保障功能的同時,最大限度地保護用戶隱私。

我們相信,未來的電商終端不再是冷冰冰的交易平臺,而是一個充滿人情味、智能互動、高度個性化的購物夥伴。隨着科技的進步,未來的電商終端將徹底重塑我們的購物體驗,將便利、樂趣和效率提升到前所未有的高度。

在我們團隊的帶領下,未來的終端技術正以我們的智慧和汗水孕育而生。我們不僅僅是技術的創造者和實踐者,更是未來美好生活的夢想家。我們邀請每一位對技術抱有熱情的夥伴,加入我們這個充滿激情和創意的團隊,一起憧憬並創造一個更加智能、安全、便捷的明天。

本文由 Readfog 進行 AMP 轉碼,版權歸原作者所有。
來源https://mp.weixin.qq.com/s/Ekd0XrSFnYzBTpKdzHbMzg