陳宏智：字節(jié)跳動(dòng)自研萬(wàn)億級(jí)圖數(shù)據(jù)庫(kù)ByteGraph及其應(yīng)用與挑戰(zhàn)

分享嘉賓：陳宏智博士 字節(jié)跳動(dòng)

編輯整理：王柳月 上海對(duì)外經(jīng)貿(mào)大學(xué)

出品平臺(tái) ：DataFunTalk

導(dǎo)讀：作為一種基礎(chǔ)的數(shù)據(jù)結(jié)構(gòu)，圖數(shù)據(jù)的應(yīng)用場(chǎng)景無(wú)處不在 ，如社交、風(fēng)控、搜廣推、生物信息學(xué)中的蛋白質(zhì)分析等 。如何高效地對(duì)海量的圖數(shù)據(jù)進(jìn)行存儲(chǔ)
、查詢、計(jì)算及分析，是當(dāng)前業(yè)界熱門(mén)的方向 。本文將介紹字節(jié)跳動(dòng)自研的圖數(shù)據(jù)庫(kù)ByteGraph及其在字節(jié)內(nèi)部的應(yīng)用和挑戰(zhàn) 。

本文將圍繞以下五點(diǎn)展開(kāi) ：

• 了解圖數(shù)據(jù)庫(kù)
• 適用場(chǎng)景介紹舉例
• 數(shù)據(jù)模型和查詢語(yǔ)言
• ByteGraph架構(gòu)與實(shí)現(xiàn)
• 關(guān)鍵問(wèn)題分析

--

01

了解圖數(shù)據(jù)庫(kù)

目前 ，字節(jié)內(nèi)部有如下表三款自研的圖數(shù)據(jù)產(chǎn)品。

1. 對(duì)比圖數(shù)據(jù)庫(kù)與關(guān)系數(shù)據(jù)庫(kù)

圖模型的基本元素包括點(diǎn)、邊和屬性。舉例：張三的好友所在的公司有多少名員工？傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)需要多表join ，而圖作為半結(jié)構(gòu)化數(shù)據(jù)，在圖上進(jìn)行遍歷和屬性的過(guò)濾會(huì)更加高效 。

2. 什么是圖數(shù)據(jù)庫(kù)？

近五年來(lái)，圖數(shù)據(jù)庫(kù)在領(lǐng)域內(nèi)熱度上升趨勢(shì)非常明顯 ，各個(gè)大廠與開(kāi)源社區(qū)都推出了自己的圖數(shù)據(jù)庫(kù)。用戶規(guī)模比較大、有一定影響力的查詢語(yǔ)言包括Cypher、Apache開(kāi)源項(xiàng)目的Gremlin等。從集群規(guī)模來(lái)看 ，過(guò)往有單機(jī)數(shù)據(jù)庫(kù)，現(xiàn)在大多圖數(shù)據(jù)庫(kù)都具備分布式能力，這就需要考慮數(shù)據(jù)的防丟失問(wèn)題、主副本之間的一致性