我們可以把互聯網比作一張大網，而爬蟲（網絡爬蟲）就是在網上爬行的蜘蛛。網絡的節點被比作一個網頁，當爬蟲爬到它的時候，相當于訪問了這個網頁，獲得了它的信息。節點之間的鏈接可以比作網頁之間的鏈接，這樣蜘蛛經過一個節點后，就可以沿著節點鏈接繼續爬行，到達下一個節點，也就是通過一個網頁繼續獲取后續的網頁，這樣整個網絡的節點就可以被蜘蛛全部爬行到，網站的數據就可以被爬行下來。

簡單來說，爬蟲就是獲取網頁并提取和保存信息的自動化程序。

1.獲取網頁

爬蟲首先要做的工作就是獲取網頁，就是獲取網頁的源代碼。源代碼李包含了網頁的部分有用信息，所以只要把源代碼獲取下來，就可以從中提取到想要的信息了。

爬蟲通過請求和響應來獲取網頁，向網站的服務器發送一個請求，返回的響應體便是網頁源代碼。所以，最關鍵的部分就是構造一個請求并發送給服務器，然后接受到響應并將其解析出來。

2.提取信息

獲取網頁源代碼后，接下來就是分析網頁源代碼，從中提取我們想要的數據。

由于網頁的結構由一定的規則，所以可以根據一些網頁節點屬性、CSS選擇器或XPath來提取網頁信息的庫。

提取信息是爬蟲非常重要的部分，它可以使雜亂的數據變得條理清晰，以便我們后續處理和分析。

3.保存數據

提取信息后，我們一般會將提取到的數據保存到一些地方以便后續使用。這里保存形式多樣，可以簡單保存為TXT文本或JSON文本，也可以保存到數據庫，如Mysql，還可以保存到遠程服務器。

爬蟲可以“爬”到怎樣的數據

在網頁中我們能看到各種各樣的信息，最常見的便是常規網頁，它們對應著HTML代碼，而最常抓取的便是HTML源代碼。另外，可能有些網頁返回的數據不是HTML代碼，而是一個JSON字符串（其中API接口大多采用這樣的格式），這種格式的數據方便傳輸和解析，它們同樣可以抓取，而且數據提取更加方便。