網絡爬蟲技術曾經成為一種十分盛行的網絡技術，關于一個內容驅動的網站來說，不可防止的會遭到網絡爬蟲技術的光臨。優秀的爬蟲技術不會干擾網站的正常運轉，而糟糕的爬蟲技術會帶來很多費事，由于他們的頁面抓取才能差，經常會有幾十個或者上百個反復懇求，增加了網絡站點的訪問壓力，導致訪問遲緩以至無法訪問。

 

為了防止這種狀況，網站會運用反抓取技術，普通從普通用戶懇求的頭、普通用戶行為、網站目錄、數據加載方式三個方面來完成反爬蟲。

 

1.用戶請求頭反爬蟲技術

 

普通用戶請求頭反爬蟲技術是最常見的反爬蟲技術戰略。很多網站會檢測Headers的User-Agent，有些網站會檢測Referer(有些資源網站的防盜鏈就是檢測Referer)。假如遇到這種反爬蟲技術機制，能夠直接給爬蟲技術添加頭，把閱讀器的User-Agent復制到爬蟲技術頭；或將Referer值修正為目的網絡站點的域名。關于檢測報頭的反爬蟲技術，在爬蟲技術中修正或添加報頭能夠很好的繞過它。

 

2.用戶行為的反爬技術

 

還有一些網站會檢測到普通的用戶行為，比方同一個IP在短時間內屢次訪問同一個頁面，或者同一個賬號在短時間內屢次做同樣的操作。

 

局部網點都是前一種狀況，關于這種狀況能夠運用IP代理，動態IP代理在全國各地都有自營的效勞器節點，有大量的IP地址，就能夠每隔幾個懇求就換一個IP，這在requests或者urllib2中很容易做到，所以能夠很容易的繞過第一道反爬蟲技術。

 

在第二種狀況下，下一個懇求能夠在每次懇求后隨機距離幾秒鐘發出。一些存在邏輯破綻的網站，能夠經過屢次懇求、注銷、再次登錄、繼續懇求的方式，繞過同一賬號不能在短時間內屢次發出相同懇求的限制。

 

3.動態頁面的反爬蟲技術

 

以上狀況大多呈現在靜態頁面，以及一些網站上。我們需求抓取的數據是經過ajax懇求獲取的，或者是Java生成的。首先，運用Firebug或HttpFox來剖析網絡懇求。假如能找到ajax懇求，剖析出詳細的參數和響應的詳細含義，就能夠采用上面的辦法，直接用requests或者urllib2模仿ajax懇求，剖析響應的json，得到需求的數據。

 

反爬蟲和爬蟲是相輔相成的，恪守目的站點的規則才是利人利己的好爬蟲，國內動態ip海品牌提供的IP池資源廣，自帶獨立機房，支持協議有PPTP/L2TP/SSTP，不同的應用場景使用不同的協議，適合很多平臺的服務。