如果你察覺(jué)你獲取到的信息內(nèi)容和目標(biāo)網(wǎng)站所屏幕顯示的正常信息不同，換句話說(shuō)所抓取的信息是一片空白的，那麼很有可能就是你抓取的網(wǎng)站在建立網(wǎng)頁(yè)頁(yè)面的時(shí)候程序出現(xiàn)了問(wèn)題，假如爬取的頻率高過(guò)了目標(biāo)網(wǎng)上平臺(tái)的限定閥值，就會(huì)被禁止進(jìn)入訪問(wèn)。在一般來(lái)說(shuō)，IP就是網(wǎng)站的反扒中機(jī)制的依據(jù)，當(dāng)我們對(duì)網(wǎng)站進(jìn)行瀏覽的時(shí)候，我們的IP地址就會(huì)被記錄，服務(wù)器就會(huì)把你當(dāng)作是爬蟲(chóng)的程序，因此經(jīng)常的爬取就導(dǎo)致現(xiàn)有的IP地址是不可用的，這樣我們就要想辦法來(lái)改動(dòng)目前自己設(shè)備的IP地址或者是現(xiàn)有的爬蟲(chóng)程序。

因此網(wǎng)絡(luò)爬蟲(chóng)開(kāi)發(fā)人員一般須要采用兩種技術(shù)手段處理該類(lèi)問(wèn)題。

手段一：減慢爬取速率，那樣目標(biāo)網(wǎng)站的壓力就會(huì)相對(duì)性減小，可是這么做的話，單位時(shí)間之內(nèi)的爬取量就會(huì)相對(duì)的減少。

手段二：用天下數(shù)據(jù)動(dòng)態(tài)撥號(hào)vps服務(wù)器設(shè)置代理IP，攻克反爬蟲(chóng)體制進(jìn)行高頻率抓取，這樣就需要多個(gè)穩(wěn)定的代理IP。普通的基于ADSL撥號(hào)的解決方案。通常，在抓取過(guò)程中遇到禁止訪問(wèn)，可以重新進(jìn)行ADSL撥號(hào)，獲取新的IP，從而可以繼續(xù)抓取。但是這樣在多網(wǎng)站多線程抓取的時(shí)候，如果某一個(gè)網(wǎng)站的抓取被禁止了，同時(shí)也危害到了其他網(wǎng)站的抓取，總體來(lái)說(shuō)也會(huì)降低獲取速度。

另一個(gè)一種可能的解決方案，同樣也是基于ADSL撥號(hào)，不同的是，需要兩臺(tái)能夠進(jìn)行ADSL撥號(hào)的動(dòng)態(tài)撥號(hào)VPS，抓取過(guò)程中使用這兩臺(tái)服務(wù)器作為代理。 假設(shè)有A、B兩臺(tái)可以進(jìn)行ADSL撥號(hào)的服務(wù)器。爬蟲(chóng)程序在C服務(wù)器上運(yùn)行，使用A作為代理訪問(wèn)外網(wǎng)，如果在抓取過(guò)程中遇到禁止訪問(wèn)的狀況，立即將代理切換為B，然后將A進(jìn)行重新?lián)芴?hào)。如果再遇到禁止訪問(wèn)就切換為A做代理，B再撥號(hào)，如此反復(fù)。

還有很多問(wèn)題需要我們?cè)趯?shí)際抓取過(guò)程中，依據(jù)問(wèn)題實(shí)際深入分析實(shí)際解決，很大程度上來(lái)說(shuō)，爬蟲(chóng)抓取是一項(xiàng)很麻煩而且很困難的工作，因此現(xiàn)在很多軟件被研發(fā)出來(lái)，旨在解決爬蟲(chóng)程序的各種問(wèn)題。動(dòng)態(tài)撥號(hào)vps服務(wù)器需要的朋友請(qǐng)聯(lián)系天下數(shù)據(jù)客服！

本文鏈接：http://m.51huadong.com/cloundnews/11003419.html