python爬蟲有的時候會遇到被禁ip的情況，這個時候你可以找一下代理網(wǎng)站，抓取一下ip，來進(jìn)行動態(tài)的輪詢就沒問題了，也可以用別人做好的第三方ip代理平臺，比如說crawlera，crawlera是一個利用代理IP地址池來做分布式下載的第三方平臺，除了scrapy可以用以外，普通的java、php、python等都可以通過curl的方式來調(diào)用

如果不使用第三方的平臺做代理ip，我們就必須得手動抓取ip了，可以google搜索代理ip，可以找到一大堆網(wǎng)站，找?guī)讉�穩(wěn)定的代理網(wǎng)站，可以寫一個爬蟲腳本持續(xù)抓取，要是使用量不大的話，也可以手動粘貼抓取，要是土豪一點(diǎn)呢就買一點(diǎn)其實(shí)也可以，大概1塊錢可以買幾千個，還是挺值得的。

這時候如果你使用的是python，你需要自己維護(hù)一個ip池，控制每個ip的訪問次數(shù)，隨機(jī)更換ip什么的，但是如果你想做成服務(wù)化，你可以使用Squid綁定多個ip地址，做正向代理，Squid是一種在Linux系統(tǒng)下使用的比較優(yōu)秀的代理服務(wù)器軟件，把代理列表的代理ip，按照squid的cache_peer機(jī)制按照一定格式，寫在配置文件中即可。

這個就相當(dāng)于將管理和調(diào)度的問題全交給了squid來做，你只需要使用爬蟲訪問squid的服務(wù)端口就可以了。

現(xiàn)在可以將所有步驟歸納總結(jié)一下：

1.利用爬蟲腳本每天定時抓取代理網(wǎng)站上的免費(fèi)ip，或者買一定數(shù)量的ip，寫入mongodb或者其他的數(shù)據(jù)庫中，這張表作為原始表。

2.使用之前需要做一步測試，就是測試這個ip是否有效，方法就是利用curl訪問一個網(wǎng)站查看返回值，需要創(chuàng)建一張新表，循環(huán)讀取原始表有效則插入，驗(yàn)證之后將其從原始表中刪除，驗(yàn)證的同時可以利用響應(yīng)時間來計算這個ip的質(zhì)量，和最大使用次數(shù)，有一個算法可以參考一種基于連接代理優(yōu)化管理的多線程網(wǎng)絡(luò)爬蟲處理方法。

3.將有效的ip寫入squid的配置文件，重新加載配置文件。

4.讓爬蟲程序去指定的squid的服務(wù)ip和端口，進(jìn)行抓取。

天下數(shù)據(jù)專業(yè)提供python爬蟲ip代理服務(wù)器；十五年的IDC行業(yè)服務(wù)經(jīng)驗(yàn)；擁有全球超過120個國家地區(qū)的數(shù)據(jù)中心！

天下數(shù)據(jù)IDC提供香港服務(wù)器、美國服務(wù)器等全球海外服務(wù)器租用托管，是采集、智能家居、安防、視頻、物聯(lián)網(wǎng)、區(qū)域鏈、直銷、流媒體、外貿(mào)、游戲、電商等服務(wù)器解決方案首選品牌。

本文鏈接：http://m.51huadong.com/servernews/11002313.html