使用爬蟲采集網(wǎng)站時，怎么樣解決被封ip的問題 ？天下數(shù)據(jù)小編總結(jié)以下幾種方法幫助大家日常使用爬蟲過程中解決ip被封鎖、IP被限制。

方法1.

經(jīng)驗如下：

1.IP必須需要，比如ADSL。如果有條件，其實可以跟機(jī)房多申請外網(wǎng)IP。

2.在有外網(wǎng)IP的機(jī)器上，部署代理服務(wù)器。

3.你的程序，使用輪訓(xùn)替換代理服務(wù)器來訪問想要采集的網(wǎng)站。

好處：

1.程序邏輯變化小，只需要代理功能。 

2.根據(jù)對方網(wǎng)站屏蔽規(guī)則不同，你只需要添加更多的代理就行了。

3.就算具體IP被屏蔽了，你可以直接把代理服務(wù)器下線就OK，程序邏輯不需要變化。

方法2.

有小部分網(wǎng)站的防范措施比較弱，可以偽裝下IP，修改X-Forwarded-for（貌似這么拼。。。）即可繞過。

大部分網(wǎng)站么，如果要頻繁抓取，一般還是要多IP。我比較喜歡的解決方案是國外VPS再配多IP，通過默認(rèn)網(wǎng)關(guān)切換來實現(xiàn)IP切換，比HTTP代理高效得多，估計也比多數(shù)情況下的ADSL切換更高效。

方法3.

ADSL + 腳本，監(jiān)測是否被封，然后不斷切換 ip

1.設(shè)置查詢頻率限制

2。正統(tǒng)的做法是調(diào)用該網(wǎng)站提供的服務(wù)接口。

方法4.

8年多爬蟲經(jīng)驗的人告訴你，國內(nèi)ADSL是王道，多申請些線路，分布在多個不同的電信區(qū)局，能跨省跨市更好，自己寫好斷線重?fù)芙M件，自己寫動態(tài)IP追蹤服務(wù)，遠(yuǎn)程硬件重置（主要針對ADSL貓，防止其宕機(jī)），其余的任務(wù)分配，數(shù)據(jù)回收，都不是大問題。我的已經(jīng)穩(wěn)定運行了好幾年了，妥妥的！

方法5.

1 user agent 偽裝和輪換 

2 使用代理 ip 和輪換 

3 cookies 的處理，有的網(wǎng)站對登陸用戶政策寬松些

友情提示：考慮爬蟲給人家網(wǎng)站帶來的負(fù)擔(dān)，be a responsible crawler :)

方法6.

盡可能的模擬用戶行為： 

1、UserAgent經(jīng)常換一換 

2、訪問時間間隔設(shè)長一點，訪問時間設(shè)置為隨機(jī)數(shù)； 

3、訪問頁面的順序也可以隨機(jī)著來

方法7.

網(wǎng)站封的依據(jù)一般是單位時間內(nèi)特定IP的訪問次數(shù). 我是將采集的任務(wù)按 目標(biāo)站點的IP進(jìn)行分組 通過控制每個IP 

在單位時間內(nèi)發(fā)出任務(wù)的個數(shù),來避免被封.當(dāng)然,這個前題是你采集很多網(wǎng)站.如果只是采集一個網(wǎng)站,那么只能通過多外部IP的方式來實現(xiàn)了.

方法8.

對爬蟲抓取進(jìn)行壓力控制；

可以考慮使用代理的方式訪問目標(biāo)站點。

-降低抓取頻率，時間設(shè)置長一些，訪問時間采用隨機(jī)數(shù) 

-頻繁切換UserAgent（模擬瀏覽器訪問） 

-多頁面數(shù)據(jù)，隨機(jī)訪問然后抓取數(shù)據(jù) 

-更換用戶IP

天下數(shù)據(jù)提供動態(tài)撥號vps服務(wù)器等，天下數(shù)據(jù)不但有全國20多個省160多個城市的動態(tài)ip撥號VPS，還有海外香港、日本、美國、臺灣、韓國、菲律賓等國家地區(qū)的動態(tài)撥號VPS。非常適合用于刷排名、網(wǎng)站優(yōu)化、網(wǎng)絡(luò)營銷、爬蟲、數(shù)據(jù)抓取、數(shù)據(jù)分析、刷單、投票等領(lǐng)域；需要的朋友請聯(lián)系天下數(shù)據(jù)客服！

本文鏈接：http://m.51huadong.com/cloundnews/11003495.html