大數(shù)據(jù)培訓(xùn)_HBase 存儲中型對象

發(fā)布時間： 2019-06-13 10:54:36

　　大數(shù)據(jù)培訓(xùn)_HBase 存儲中型對象

　　存儲中型對象（MOB）
　　數(shù)據(jù)有多種大小，并且在HBase中保存所有數(shù)據(jù)（包括圖像和文檔等二進(jìn)制數(shù)據(jù)）是理想的選擇。雖然HBase在技術(shù)上可以處理大小超過100 KB的單元格的二進(jìn)制對象，但HBase的正常讀取和寫入路徑針對小于100KB的值進(jìn)行了優(yōu)化。當(dāng)HBase處理超過此閾值的大量對象（此處稱為中型對象或MOB）時，由于拆分和壓縮引起的寫入放大，性能會降低。使用MOB時，理想情況下，您的對象將介于100KB和10MB之間（請參閱常見問題解答）。HBase?FIX_VERSION_NUMBER增加了對更好地管理大量MOB的支持，同時保持了性能，一致性和低運(yùn)營開銷。MOB支持是由HBASE-11339完成的工作提供的。要利用MOB，您需要使用HFile版本3。（可選）為每個RegionServer配置MOB文件讀取器的緩存設(shè)置（請參閱配置MOB緩存），然后配置特定列以保存MOB數(shù)據(jù)。客戶端代碼無需更改即可利用HBase MOB支持。該功能對客戶端是透明的。
　　MOB壓縮
　　在MemStore刷新后，MOB數(shù)據(jù)被刷新到MOB文件中。一段時間后會有很多MOB文件。為了減少M(fèi)OB文件數(shù)量，有一個周期性任務(wù)可以將小型MOB文件壓縮成大型MOB文件（MOB壓縮）。
　　為MOB配置列
　　為MOB配置列
　　您可以在表創(chuàng)建或更改期間配置列以支持MOB，無論是在HBase Shell中還是通過Java API。兩個相關(guān)的屬性是boolean?IS_MOB和MOB_THRESHOLD，它是一個對象被認(rèn)為是MOB的字節(jié)數(shù)，只需要IS_MOB。如果未指定MOB_THRESHOLD，則使用默認(rèn)閾值100 KB。

　　使用HBase Shell為MOB配置列：

大數(shù)據(jù)培訓(xùn)

　　示例23.使用Java API為MOB配置列：

　　配置MOB壓縮策略
　　默認(rèn)情況下，一個特定日期的MOB文件會壓縮為一個大型MOB文件。為了更多地減少M(fèi)OB文件數(shù)，還支持其他MOB壓縮策略：
　　每日（daily）策略 - 每天將MOB文件壓縮為一個大型MOB文件（默認(rèn)策略）
　　每周（weekly）策略 - 每周將MOB文件壓縮為一個大型MOB文件
　　每月（montly）策略 - 每月將MOB文件壓縮為一個大型MOB文件

　　使用HBase Shell配置MOB壓縮策略：

　　配置MOB壓縮可合并閾值

　　如果一個mob文件的大小小于默認(rèn)值1280MB，它被認(rèn)為是一個小文件，需要在mob compaction中合并。

　　測試MOB

　　HBase中提供了實用程序org.apache.hadoop.hbase.IntegrationTestIngestWithMOB以幫助測試MOB功能。該實用程序運(yùn)行如下：

　　threshold是當(dāng)cells被認(rèn)為是MOB時的閾值；默認(rèn)值為1 kB，以字節(jié)為單位表示。
　　minMobDataSize是MOB數(shù)據(jù)大小的最小值；默認(rèn)值為512 B，以字節(jié)為單位表示。
　　maxMobDataSize是MOB數(shù)據(jù)大小的較大值；默認(rèn)值為5 kB，以字節(jié)為單位表示。
　　配置MOB緩存
　　因為可以隨時存在大量MOB文件，與HFiles的數(shù)量相比，MOB文件并不總是保持打開狀態(tài)。MOB文件讀取器緩存是一個LRU緩存，它保持最近使用的MOB文件打開。要在每個RegionServer上配置MOB文件讀取器的緩存，請將以下屬性添加到RegionServer的hbase-site.xml中，根據(jù)您的環(huán)境自定義配置，然后重新啟動或滾動重新啟動RegionServer。

　　MOB緩存配置示例：

<property>
<name>hbase.mob.file.cache.size</name>
<value>1000</value>
<description>
Number of opened file handlers to cache.
A larger value will benefit reads by providing more file handlers per mob
file cache and would reduce frequent file opening and closing.
However, if this is set too high, this could lead to a "too many opened file handers"
The default value is 1000.
</description></property>
<property>
<name>hbase.mob.cache.evict.period</name>
<value>3600</value>
<description>
The amount of time in seconds after which an unused file is evicted from the
MOB cache. The default value is 3600 seconds.
</description></property>
<property>
<name>hbase.mob.cache.evict.remain.ratio</name>
<value>0.5f</value>
<description>
A multiplier (between 0.0 and 1.0), which determines how many files remain cached
after the threshold of files that remains cached after a cache eviction occurs
which is triggered by reaching the `hbase.mob.file.cache.size` threshold.
The default value is 0.5f, which means that half the files (the least-recently-used
ones) are evicted.
</description></property>
?