大數(shù)據(jù)培訓(xùn)_Kafka 組件的介紹

發(fā)布時間： 2019-08-30 16:24:30

　　大數(shù)據(jù)培訓(xùn)_Kafka 組件的介紹

　　Kafka定義
　　Kafka 是一個高吞吐、分布式、基于發(fā)布訂閱的消息系統(tǒng)，利用Kafka技術(shù)可在廉價PC Server上搭建起大規(guī)模消息系統(tǒng)。
　　Kafka應(yīng)用場景簡介

　　Kafka和其他組件比較，具有消息持久化、高吞吐、實(shí)時等特性，適用于離線和實(shí)時的消息消費(fèi)，如網(wǎng)站活性跟蹤、聚合統(tǒng)計系統(tǒng)運(yùn)營數(shù)據(jù)（監(jiān)控數(shù)據(jù)）、日志收集等大量數(shù)據(jù)的數(shù)據(jù)收集場景。

大數(shù)據(jù)培訓(xùn)

　　Kafka拓?fù)浣Y(jié)構(gòu)圖
　　一個典型的Kafka集群中包含若干Producer（可以是web前端產(chǎn)生的Page View，或者是服務(wù)器日志，系統(tǒng)CPU、Memory等），若干Broker（Kafka支持水平擴(kuò)展，一般broker數(shù)量越多，集群吞吐率越高），若干Consumer，以及一個Zookeeper集群。Kafka通過Zookeeper管理集群配置，選舉Leader，以及在Consumer發(fā)生變化時進(jìn)行rebalance。Producer使用push模式將消息發(fā)布到Broker，Consumer使用pull模式從Broker訂閱并消費(fèi)消息。
　　Broker：Kafka集群包含一個或多個服務(wù)實(shí)例，這些服務(wù)實(shí)例被稱為Broker。
　　Producer：負(fù)責(zé)發(fā)布消息到Kafka Broker。

　　Consumer：消息消費(fèi)者，從Kafka Broker讀取消息的客戶端。

　　Kafka Topics
　　每條發(fā)布到Kafka的消息都有一個類別，這個類別被稱為Topic，也可以理解為一個存儲消息的隊列。例如：天氣作為一個Topic，每天的溫度消息就可以存儲在“天氣”這個隊列里。

　　圖片中的藍(lán)色框為Kafka的一個Topic，即可以理解為一個隊列，每個格子代表一條消息。生產(chǎn)者產(chǎn)生的消息逐條放到Topic的末尾。消費(fèi)者從左至右順序讀取消息，使用Offset來記錄讀取的位置。

　　Kafka Partition

　　每個Topic 都有一個或者多個Partitions構(gòu)成。每個Partition都是有序且不可變的消息隊列。引入Partition機(jī)制，保證了Kafka的高吞吐能力。
　　每個topic被分成多個partition(區(qū)),每個partition在存儲層面對應(yīng)一個log文件，log文件中記錄了所有的消息數(shù)據(jù)。

　　引入Partition機(jī)制，保證了Kafka的高吞吐能力，因為Topic的多個Partition分布在不同的Kafka節(jié)點(diǎn)上，這樣一來多個客戶端（Producer和Consumer）就可以并發(fā)訪問不同的節(jié)點(diǎn)對一個Topic進(jìn)行消息的讀寫。