同學(xué)們在使用scrapy-redis分布式爬蟲框架開發(fā)的時候會發(fā)現(xiàn)，其默認只能發(fā)送GET請求，不能直接發(fā)送POST請求，這就導(dǎo)致我們在開發(fā)一些爬蟲工具的時候出現(xiàn)問題，那么如何才能讓scrapy-redis發(fā)送POST請求呢？

      scrapy-redis爬蟲

      這里我們以美團網(wǎng)站為例，

      先來說一說需求，也就是說美團POST請求形式。我們以獲取某個地理坐標下，所有店鋪類別列表請求為例。獲取所有店鋪類別列表時，我們需要構(gòu)造一個包含位置坐標經(jīng)緯度等信息的表單數(shù)據(jù)，以及為了向下一層parse方法傳遞的一些必要數(shù)據(jù)，即meta，然后發(fā)起一個POST請求。

      url，請求地址，即url是固定的，如下所示：

      url = 'http://i.waimai.meituan.com/openh5/poi/filterconditions?_=1557367197922'

      url最后面的13位數(shù)字是時間戳，實際應(yīng)用時用time模塊生成一下就好了。

      表單數(shù)據(jù)：

      meta數(shù)據(jù)：

      meta數(shù)據(jù)不是必須的，但是，如果你在發(fā)送請求時，有一些數(shù)據(jù)需要向下一層parse方法（解析爬蟲返回的response的方法）中傳遞的話，就可以構(gòu)造這一數(shù)據(jù)，然后作為參數(shù)傳遞進request中。

      源碼分析

      采集店鋪類別列表時需要發(fā)送怎樣一個POST請求在上面已經(jīng)說明了，那么，在scrapy-redis框架中，這個POST該如何來發(fā)送呢？我相信，打開我這篇博文的讀者都是用過scrapy的，用scrapy發(fā)送POST肯定沒問題（重寫start_requests方法即可），但scrapy-redis不同，scrapy-redis框架只會從配置好的redis數(shù)據(jù)庫中讀取起始url，所以，在scrapy-redis中，就算重寫start_requests方法也沒用。怎么辦呢？我們看看源碼。

      我們知道，scrapy-redis與scrapy的一個很大區(qū)別就是，scrapy-redis不再繼承Spider類，而是繼承RedisSpider類的，所以，RedisSpider類源碼將是我們分析的重點，我們打開RedisSpider類，看看有沒有類似于scrapy框架中的start_requests、make_requests_from_url這樣的方法。RedisSpider源碼如下：

      很遺憾，在RedisSpider類中沒有找到類似start_requests、make_requests_from_url這樣的方法，而且，RedisSpider的源碼也太少了吧，不過，從第一行我們可以發(fā)現(xiàn)RedisSpider繼承了RedisMinxin這個類，所以我猜RedisSpider的很多功能是從父類繼承而來的（拼爹的RedisSpider）。繼續(xù)查看RedisMinxin類源碼。RedisMinxin類源碼太多，這里就不將所有源碼貼出來了，不過，驚喜的是，在RedisMinxin中，真找到了類似于start_requests、make_requests_from_url這樣的方法，如：start_requests、next_requests、make_request_from_data等。有過scrapy使用經(jīng)驗的童鞋應(yīng)該都知道，start_requests方法可以說是構(gòu)造一切請求的起源，沒分析scrapy-redis源碼之前，誰也不知道scrapy-redis是不是和scrapy一樣（后面打斷點的方式驗證過，確實一樣，話說這個驗證有點多余，因為源碼注釋就是這么說的），不過，還是從start_requests開始分析吧。start_requests源碼如下：

      直接把所有任務(wù)丟給next_requests方法，繼續(xù)：

      上面next_requests方法中，關(guān)鍵的就是那個while循環(huán)，每一次循環(huán)都調(diào)用了一個make_request_from_data方法，從函數(shù)名可以函數(shù)，這個方法就是根據(jù)從redis中讀取從來的數(shù)據(jù)，實例化一個request，那不就是我們要找的方法嗎？進入make_request_from_data方法一探究竟：

      因為scrapy-redis默認值發(fā)送GET請求，所以，在這個make_request_from_data方法中認為data只包含一個url，但如果我們要發(fā)送POST請求，這個data包含的東西可就多了，我們上面美團POST請求說明中就說到，至少要包含url、form_data。所以，如果我們要發(fā)送POST請求，這里必須改，make_request_from_data方法最后調(diào)用的make_requests_from_url是scrapy中的Spider中的方法，不過，我們也不需要繼續(xù)往下看下去了，我想諸位都也清楚了，要發(fā)送POST請求，重寫這個make_request_from_data方法，根據(jù)傳入的data，實例化一個request返回就好了。

      代碼實例

      明白上面這些東西后，就可以開始寫代碼了。修改源碼嗎？不，不存在的，改源碼可不是好習慣。我們直接在我們自己的Spider類中重寫make_request_from_data方法就好了：

      搞清楚原理之后，就是這么簡單。萬事俱備，只欠東風——將url，form_data，meta存儲到redis中。另外新建一個模塊實現(xiàn)這一部分功能：

      在啟動scrapy-redis之前，運行一下這一模塊即可。如果有很多POI（地理位置興趣點），循環(huán)遍歷每一個POI，生成request_data，push到redis中。

      最后同學(xué)們學(xué)習Python，可以參考千鋒Python培訓(xùn)班推出的Python開發(fā)學(xué)習路線，結(jié)合千鋒Python培訓(xùn)機構(gòu)名師精心錄制的全套Python視頻教程，可以讓你對學(xué)習Python需要掌握的知識有個清晰的了解，并快速入門Python開發(fā)。千鋒Python培訓(xùn)機構(gòu)視頻教程分為三個大塊：Python基礎(chǔ)視頻教程、Python高級視頻教程、Python高手晉級視頻教程。視頻講解通俗易懂，入門Python開發(fā)僅用此套視頻足矣。想要獲取免費Python學(xué)習路線和學(xué)習資料可以添加我們的Python技術(shù)交流qq群：790693323  加群找群管理領(lǐng)取即可，Python相關(guān)技術(shù)問題也可以加群解決，等你來哦~~~~