安裝部署Flume的步驟

發(fā)布時間： 2022-05-19 10:28:28

安裝部署Flume的步驟并不復雜，讀者可以閱讀下面的操作流程來快速部署Flume。本節(jié)給大家演示兩種部署方式：單點部署和高可用部署。

1.單點部署

提示：下面演示的是在某一臺服務器(節(jié)點)上，部署Flume并啟動進程服務。由于進程服務是在一臺服務器(節(jié)點)上運行，當該進程服務被人為停止或者因服務器宕機導致Flume進程服務停止，從而使Flume進程服務不可用時，導致數(shù)據(jù)傳輸不能正常進行，這樣的現(xiàn)象被稱為單點。

(1)下載：在Flume官方網(wǎng)站上獲取Flume版本下載地址，然后在nna節(jié)點上使用Linux命令下載軟件安裝包。操作命令如下：

提示：如果操作的集群不能連接網(wǎng)絡，可以先在本地機器上下載Flume軟件安裝包，再上傳到nna節(jié)點/data/soft/new/目錄下。

(2)解壓：將/data/soft/new/目錄下的Flume軟件安裝包進行解壓，并重命名。操作命令如下：

(3)配置環(huán)境變量：在/etc/profile文件下配置Flume的環(huán)境變量。操作命令如下：

完成環(huán)境變量配置后，使用source命令使配置的環(huán)境變量立即生效。操作命令如下：

(4)編輯Flume配置文件：在$FLUME_HOME/conf/flume-conf.properties文件中配置數(shù)據(jù)源采集路徑、數(shù)據(jù)臨時存儲路徑、數(shù)據(jù)發(fā)送路徑及類型等內容。操作內容見代碼1。

代碼1 單點Flume配置文件

(5)指定JAVA_HOME：在Flume的環(huán)境變量腳本($FLUME_HOME/conf/flume-env.sh)中，指定JAVA_HOME變量所對應的JDK路徑。操作命令如下：

(6)啟動：完成上述配置后，開始啟動Flume服務用于收集數(shù)據(jù)。操作命令如下：

啟動命令中，agent1表示配置文件中的Agent的名稱，和flume-conf.properties文件中agent1保持一致。啟動Flume服務后，在/data/flume/logdfs/目錄下模擬放置一些數(shù)據(jù)文件讓Flume Agent進行采集，若本地數(shù)據(jù)文件采集完成后，文件名會重新命名，以“.COMPLETED”后綴結尾。最后，可以到Hadoop分布式文件系統(tǒng)(HDFS)的/data/flume/logdfs/路徑下查看采集的數(shù)據(jù)，如圖1所示。

圖1 Flume采集

2.高可用部署

在單點部署Flume時，如果部署的節(jié)點發(fā)生故障會導致整個采集不可用，而高可用部署正好能解決這一問題，能夠確保在一個服務節(jié)點宕機，整個Flume采集服務依然可用。高可用部署Flume架構如圖2所示。

圖2 高可用部署Flume架構圖

(1)角色分配：本書搭建高可用Flume集群使用了3個Agent(用于客戶端采集)、2個Collector(用于提供服務)來進行部署。分布詳情如表1所示。

表1 高可用Flume集群角色分布

提示：Flume帶有故障自動轉移(Failover)機制，可以自動切換和恢復服務，所以這里配置兩個Collector用于對外提供服務。

(2)添加配置文件：在單點部署的基礎上添加兩個配置文件即可滿足高可用性，這兩個配置文件分別是flume-client.properties和flume-server.properties。具體內容見代碼2和代碼3所示。

代碼2 flume-client.properties文件