要想做反爬蟲,我們首先需要知道如何寫個簡單的爬蟲。
通常編寫爬蟲需要經(jīng)過這么幾個過程:
• 分析頁面請求格式
• 創(chuàng)建合適的http請求
• 批量發(fā)送http請求,獲取數(shù)據(jù)
舉個例子,直接查看攜程生產(chǎn)url。在詳情頁點(diǎn)擊“確定”按鈕,會加載價格。假設(shè)價格是你想要的,那么抓出網(wǎng)絡(luò)請求之后,哪個請求才是你想要的結(jié)果呢? 你只需要用根據(jù)網(wǎng)絡(luò)傳輸數(shù)據(jù)量進(jìn)行倒序排列即可。因為其他的迷惑性的url再多再復(fù)雜,開發(fā)人員也不會舍得加數(shù)據(jù)量給他。
代碼:
import requests
def download_page(url):
headers={
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.80 Safari/537.36'
}
data = requests.get(url,headers=headers)
return data
if __name__ == '__main__':
url = 'https://m.ctrip.com/restapi/soa2/21881/json/HotelSearch?testab=5b9a651b08c1069815c5af78f8b2bf6df9dd42a6129be5784bb096315494619a'
download_page(url)
高級爬蟲
那么爬蟲進(jìn)階應(yīng)該如何做呢?通常所謂的進(jìn)階有以下幾種:
分布式爬蟲
Python默認(rèn)情況下,我們使用scrapy框架進(jìn)行爬蟲時使用的是單機(jī)爬蟲,就是說它只能在一臺電腦上運(yùn)行,因為爬蟲調(diào)度器當(dāng)中的隊列queue去重和set集合都只能在本機(jī)上創(chuàng)建的,其他電腦無法訪問另外一臺電腦上的內(nèi)存和內(nèi)容。
分布式爬蟲實(shí)現(xiàn)了多臺電腦使用一個共同的爬蟲程序,它可以同時將爬蟲任務(wù)部署到多臺電腦上運(yùn)行,這樣可以提高爬蟲速度,實(shí)現(xiàn)分布式爬蟲。
首先就需要配置安裝redis和scrapy-redis,而scrapy-redis是一個基于redis數(shù)據(jù)庫的scrapy組件,它提供了四種組件,通過它,可以快速實(shí)現(xiàn)簡單分布式爬蟲程序。
四種scrapy-redis組件:
Scheduler(調(diào)度):Scrapy改造了python本來的collection.deque(雙向隊列)形成了自己Scrapy queue,而scrapy-redis 的解決是把這個Scrapy queue換成redis數(shù)據(jù)庫,從同一個redis-server存放要爬取的request,便能讓多個spider去同一個數(shù)據(jù)庫里讀取。Scheduler負(fù)責(zé)對新的request進(jìn)行入列操作(加入Scrapy queue),取出下一個要爬取的request(從Scrapy queue中取出)等操作。
Duplication Filter(去重):Scrapy中用集合實(shí)現(xiàn)這個request去重功能,Scrapy中把已經(jīng)發(fā)送的request指紋放入到一個集合中,把下一個request的指紋拿到集合中比對,如果該指紋存在于集合中,說明這個request發(fā)送過了,如果沒有則繼續(xù)操作。
Item Pipline(管道):引擎將(Spider返回的)爬取到的Item給Item Pipeline,scrapy-redis 的Item Pipeline將爬取到的 Item 存?redis的 items queue
Base Spider(爬蟲):不再使用scrapy原有的Spider類,重寫的RedisSpider繼承了Spider和RedisMixin這兩個類,RedisMixin是用來從redis讀取url的類。
工作原理:
1、首先Slaver端從Master端拿任務(wù)(Request、url)進(jìn)行數(shù)據(jù)抓取,Slaver抓取數(shù)據(jù)的同時,產(chǎn)生新任務(wù)的Request便提交給 Master 處理;
2、Master端只有一個Redis數(shù)據(jù)庫,負(fù)責(zé)將未處理的Request去重和任務(wù)分配,將處理后的Request加入待爬隊列,并且存儲爬取的數(shù)據(jù)。
模擬JavaScript
模擬javascript,抓取動態(tài)網(wǎng)頁,是進(jìn)階技巧。但是其實(shí)這只是個很簡單的功能。因為,如果對方?jīng)]有反爬蟲,你完全可以直接抓ajax本身,而無需關(guān)心js怎么處理的。如果對方有反爬蟲,那么javascript必然十分復(fù)雜,重點(diǎn)在于分析,而不僅僅是簡單的模擬。
PhantomJs或者selenium
以上的用來做自動測試的,結(jié)果因為效果很好,很多人拿來做爬蟲。但是這個東西有個硬傷,就是:效率。占用資源比較多,但是爬取效果很好。
總結(jié):越是低級的爬蟲,越容易被封鎖,但是性能好,成本低。越是高級的爬蟲,越難被封鎖,但是性能低,成本也越高。
當(dāng)成本高到一定程度,我們就可以無需再對爬蟲進(jìn)行封鎖。經(jīng)濟(jì)學(xué)上有個詞叫邊際效應(yīng)。付出成本高到一定程度,收益就不是很多了。