陳宏智：字節(jié)跳動(dòng)自研萬億級(jí)圖數(shù)據(jù)庫ByteGraph及其應(yīng)用與挑戰(zhàn)

分享嘉賓：陳宏智博士 字節(jié)跳動(dòng)

編輯整理 ：王柳月 上海對(duì)外經(jīng)貿(mào)大學(xué)

出品平臺(tái) ：DataFunTalk

導(dǎo)讀：作為一種基礎(chǔ)的數(shù)據(jù)結(jié)構(gòu) ，圖數(shù)據(jù)的應(yīng)用場(chǎng)景無處不在 ，如社交、風(fēng)控 、搜廣推 、生物信息學(xué)中的蛋白質(zhì)分析等
 。如何高效地對(duì)海量的圖數(shù)據(jù)進(jìn)行存儲(chǔ)、查詢 、計(jì)算及分析 ，是當(dāng)前業(yè)界熱門的方向。本文將介紹字節(jié)跳動(dòng)自研的圖數(shù)據(jù)庫ByteGraph及其在字節(jié)內(nèi)部的應(yīng)用和挑戰(zhàn)。

本文將圍繞以下五點(diǎn)展開 ：

• 了解圖數(shù)據(jù)庫
• 適用場(chǎng)景介紹舉例
• 數(shù)據(jù)模型和查詢語言
• ByteGraph架構(gòu)與實(shí)現(xiàn)
• 關(guān)鍵問題分析

--

01

了解圖數(shù)據(jù)庫

目前
，字節(jié)內(nèi)部有如下表三款自研的圖數(shù)據(jù)產(chǎn)品
。

1. 對(duì)比圖數(shù)據(jù)庫與關(guān)系數(shù)據(jù)庫

圖模型的基本元素包括點(diǎn) 、邊和屬性 。舉例：張三的好友所在的公司有多少名員工？傳統(tǒng)關(guān)系型數(shù)據(jù)庫需要多表join，而圖作為半結(jié)構(gòu)化數(shù)據(jù)，在圖上進(jìn)行遍歷和屬性的過濾會(huì)更加高效。

2. 什么是圖數(shù)據(jù)庫？

近五年來，圖數(shù)據(jù)庫在領(lǐng)域內(nèi)熱度上升趨勢(shì)非常明顯 ，各個(gè)大廠與開源社區(qū)都推出了自己的圖數(shù)據(jù)庫。用戶規(guī)模比較大、有一定影響力的查詢語言包括Cypher 、Apache開源項(xiàng)目的Gremlin等。從集群規(guī)模來看，過往有單機(jī)數(shù)據(jù)庫，現(xiàn)在大多圖數(shù)據(jù)庫都具備分布式能力 ，這就需要考慮數(shù)據(jù)的防丟失問題 、主副本之間的一致性 、多臺(tái)機(jī)器數(shù)據(jù)上的shard問題。

部分圖數(shù)據(jù)庫把圖數(shù)據(jù)庫與圖計(jì)算引擎二者合并在一起，目前字節(jié)內(nèi)部采用的暫時(shí)分離的兩套系統(tǒng)。

--

02

適用場(chǎng)景介紹舉例

1. ByteGraph適用的業(yè)務(wù)數(shù)據(jù)模型

ByteGraph初始立項(xiàng)是在2018年