網(wǎng)絡(luò)爬蟲(chóng)在互聯(lián)網(wǎng)上，每時(shí)每刻都在火熱開(kāi)展，無(wú)論是爬取數(shù)據(jù)參考分析，還是爬取競(jìng)爭(zhēng)對(duì)手?jǐn)?shù)據(jù)，每天互聯(lián)網(wǎng)上的爬蟲(chóng)，難以數(shù)清。但是爬蟲(chóng)也不是毫無(wú)限制的，這就是為什么爬蟲(chóng)需要配置ip代理，因?yàn)樗軌驇臀覀兺黄葡拗啤?/p>

　　讓爬蟲(chóng)能夠突破限制的方式：

　　1、減少返回的信息

　　最基本的隱藏真實(shí)的數(shù)據(jù)量，只有不斷加載才能刷新信息。還有的就更變態(tài)，會(huì)只給你展示一部分信息，人都看不到，爬蟲(chóng)也無(wú)能為力。比如CNKI，你每次搜索能夠得到的內(nèi)容就是非常有限的。這個(gè)貌似沒(méi)有很好的解決辦法，但是這么干的網(wǎng)站畢竟是少數(shù)，因?yàn)檫@種方式，其實(shí)在某種程度上是犧牲了一部分真實(shí)用戶(hù)的體驗(yàn)。

　　2、Headers限制

　　這應(yīng)該是最常見(jiàn)的，最基本的反爬蟲(chóng)手段，主要是初步判斷你是否是真實(shí)的瀏覽器在操作。這個(gè)一般很好解決，把瀏覽器中的Headers信息復(fù)制上去就OK了。

　　3、驗(yàn)證碼

　　我們?cè)诤芏嗑W(wǎng)站會(huì)遇到，如果請(qǐng)求量大了之后就會(huì)遇到驗(yàn)證碼的情況。最讓人詬病的12306，其實(shí)也是一定程度上的防止非正當(dāng)請(qǐng)求的產(chǎn)生。對(duì)于驗(yàn)證碼，可以通過(guò)OCR來(lái)識(shí)別圖片，Github上面有很多大神分享的代碼可以用，可以去看看。

　　4、IP限制

　　限制IP也是很多網(wǎng)站反爬蟲(chóng)的初衷，但是我們可以通過(guò)換IP軟件不斷更換IP的形式來(lái)繞過(guò)這種限制，通過(guò)從IP海購(gòu)買(mǎi)ip代理服務(wù)即可。

　　5、動(dòng)態(tài)加載

　　通過(guò)異步加載，一方面是為了反爬蟲(chóng)，一方面也可以給網(wǎng)頁(yè)瀏覽帶來(lái)不同的體驗(yàn)，實(shí)現(xiàn)更多的功能。很多動(dòng)態(tài)網(wǎng)站都是通過(guò)ajax或者JavaScript來(lái)加載請(qǐng)求的網(wǎng)頁(yè)。在遇到動(dòng)態(tài)加載的網(wǎng)頁(yè)的時(shí)候就需要去分析ajax請(qǐng)求，一般情況都能直接找到包含我們想要數(shù)據(jù)的json文件。如果網(wǎng)站給文件加密，那么可以通過(guò)selenium+phantomJS框架，調(diào)用瀏覽器內(nèi)核，并利用phantomJS執(zhí)行js來(lái)模擬人為操作以及觸發(fā)頁(yè)面中的js腳本。理論上selenium是比較全能的爬蟲(chóng)方案，因?yàn)檫@個(gè)確實(shí)算是真實(shí)的用戶(hù)行為。除非網(wǎng)站的反爬蟲(chóng)嚴(yán)苛到寧愿誤殺的地步。

　　未來(lái)大數(shù)據(jù)會(huì)更加滲入到不同的行業(yè)，網(wǎng)絡(luò)爬蟲(chóng)數(shù)量只會(huì)是往上增長(zhǎng)，這也意味著ip代理的使用也會(huì)更多。