數據分布式存儲原理

發布時間： 2022-07-07 10:53:00

數據分布式存儲原理，數據分布式規則?就這?怎么就數據分布式了?，F在我們把MDC對應OSD數量生成的數據分布式規則交給VBS模塊。

VBS是安裝在用戶系統中的一個代理，當用戶需要存放數據在分布式存儲中時，VBS會先接收用戶的數據，然后對用戶數據進行切塊分區(一般會把數據分成1MB大小的數據分片。

例如一個1GB的視頻文件需要存放在分布式存儲中，則會被VBS接收后分割為1024個1MB大小的數據分片)，接著對每個數據分片帶有的SCSI標識進行格式轉化，使之成為分布式存儲系統使用的Key標識。然后對key進行哈希計算，算出每個數據分片的哈希值。

可以這樣理解，其實每個數據在操作系統下發存儲的時候都會帶著一個介紹信(SCSI標識)，操作系統告訴數據拿著這個介紹信去找大V哥開房間存放數據。

分布式存儲的VBS模塊就是這個大V哥，當大V哥看到這個介紹信(SCSI標識)后就告訴數據，你的這個介紹信(SCSI標識)現在用不了了，必須重新登記一下，然后VBS就根據介紹信(SCSI標識)又開了一張票(Key)給數據，然后數據拿著這張票(Key)去找大V哥的小弟，小弟就根據票(key)來分配房卡(key帶入哈希函數進行計算算出哈希值)，開房間存放數據(如圖)。

(圖數據分片邏輯圖)

數據被VBS接收后，最終數據會變成多個1MB的小數據分片，并且每一個1MB的小數據塊都會帶著最終的哈希值。哈希值可以在0-2^32之間取整，很巧的是，MDC生成的哈希路由圓環也剛好是2^32份個分區，那么哈希值取整是多少，該1MB數據分片就歸屬于哪一個分區。

由于MDC通過對應OSD和哈希路由圓環的分區生成了一個分區對應磁盤的關系(數據分布式規則)，那么最終這個數據就存放在該分區對應的磁盤中，該磁盤的OSD會將數據持久化存放在磁盤介質中。(如圖)若上文假設中提到分區1-分區3對應OSD1，剛好現在有一個數據分片對應的哈希值取整后為3，則該1MB數據歸屬在分區3，分區3對應OSD1，則由OSD1將該1MB數據存放到該OSD對應的磁盤中，完成數據落盤。