前一段時(shí)間一直在研究如何用python抓取搜索引擎結(jié)果，在實(shí)現(xiàn)的過程中遇到了很多的問題，我把我遇到的問題都記錄下來(lái)，希望以后遇到同樣問題的童鞋不要再走彎路。

1. 搜索引擎的選取

　　選擇一個(gè)好的搜索引擎意味著你能夠得到更準(zhǔn)確的搜索結(jié)果。我用過的搜索引擎有四種：Google、Bing、Baidu、Yahoo!。 作為程序員，我首選Google。但當(dāng)我看見我最愛的Google返回給我的全是一堆的js代碼，根本沒我想要的搜索結(jié)果。于是我轉(zhuǎn)而投向了Bing的陣營(yíng)，在用過一段時(shí)間后我發(fā)現(xiàn)Bing返回的搜索結(jié)果對(duì)于我的問題來(lái)說不太理想。正當(dāng)我要絕望時(shí)，Google拯救了我。原來(lái)Google為了照顧那些禁止瀏覽器使用js的用戶，還有另外一種搜索方式，請(qǐng)看下面的搜索URL：

https://www.google.com.hk/search?hl=en&q=hello

　　hl指定要搜索的語(yǔ)言，q就是你要搜索的關(guān)鍵字。 好了，感謝Google，搜索結(jié)果頁(yè)面包含我要抓取的內(nèi)容。

　　PS: 網(wǎng)上很多利用python抓取Google搜索結(jié)果還是利用 https://ajax.googleapis.com/ajax/services/search/web... 的方法。需要注意的是這個(gè)方法Google已經(jīng)不再推薦使用了，見 https://developers.google.com/web-search/docs/ 。Google現(xiàn)在提供了Custom Search API， 不過API限制每天100次請(qǐng)求，如果需要更多則只能花錢買。

2. Python抓取并分析網(wǎng)頁(yè)

　　利用Python抓取網(wǎng)頁(yè)很方便，不多說，見代碼:

def search(self, queryStr):
   queryStr = urllib2.quote(queryStr)
   url = 'https://www.google.com.hk/search?hl=en&q=%s' % queryStr
   request = urllib2.Request(url)
   response = urllib2.urlopen(request)
   html = response.read()
   results = self.extractSearchResults(html)

　　第6行的 html 就是我們抓取的搜索結(jié)果頁(yè)面源碼。使用過Python的同學(xué)會(huì)發(fā)現(xiàn)，Python同時(shí)提供了urllib 和 urllib2兩個(gè)模塊，都是和URL請(qǐng)求相關(guān)的模塊，不過提供了不同的功能，urllib只可以接收URL，而urllib2可以接受一個(gè)Request類的實(shí)例來(lái)設(shè)置URL請(qǐng)求的headers，這意味著你可以偽裝你的user agent 等(下面會(huì)用到)。

　　現(xiàn)在我們已經(jīng)可以用Python抓取網(wǎng)頁(yè)并保存下來(lái)，接下來(lái)我們就可以從源碼頁(yè)面中抽取我們想要的搜索結(jié)果。Python提供了htmlparser模塊，不過用起來(lái)相對(duì)比較麻煩，這里推薦一個(gè)很好用的網(wǎng)頁(yè)分析包BeautifulSoup，關(guān)于BeautifulSoup的用法官網(wǎng)有詳細(xì)的介紹，這里我不再多說。

　　利用上面的代碼，對(duì)于少量的查詢還比較OK，但如果要進(jìn)行上千上萬(wàn)次的查詢，上面的方法就不再有效了， Google會(huì)檢測(cè)你請(qǐng)求的來(lái)源，如果我們利用機(jī)器頻繁爬取Google的搜索結(jié)果，不多久就Google會(huì)block你的IP，并給你返回503 Error頁(yè)面。這不是我們想要的結(jié)果，于是我們還要繼續(xù)探索

　　前面提到利用urllib2我們可以設(shè)置URL請(qǐng)求的headers,  偽裝我們的user agent。簡(jiǎn)單的說，user agent就是客戶端瀏覽器等應(yīng)用程序使用的一種特殊的網(wǎng)絡(luò)協(xié)議， 在每次瀏覽器（郵件客戶端/搜索引擎蜘蛛）進(jìn)行 HTTP 請(qǐng)求時(shí)發(fā)送到服務(wù)器，服務(wù)器就知道了用戶是使用什么瀏覽器（郵件客戶端/搜索引擎蜘蛛）來(lái)訪問的。 有時(shí)候?yàn)榱诉_(dá)到一些目的，我們不得不去善意的欺騙服務(wù)器告訴它我不是在用機(jī)器訪問你。

　　于是，我們的代碼就成了下面這個(gè)樣子:

user_agents = ['Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20130406 Firefox/23.0', \
     'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:18.0) Gecko/20100101 Firefox/18.0', \
     'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/533+ \
     (KHTML, like Gecko) Element Browser 5.0', \
     'IBM WebExplorer /v0.94', 'Galaxy/1.0 [en] (Mac OS X 10.5.6; U; en)', \
     'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0)', \
     'Opera/9.80 (Windows NT 6.0) Presto/2.12.388 Version/12.14', \
     'Mozilla/5.0 (iPad; CPU OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) \
     Version/6.0 Mobile/10A5355d Safari/8536.25', \
     'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) \
     Chrome/28.0.1468.0 Safari/537.36', \
     'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.0; Trident/5.0; TheWorld)']
 def search(self, queryStr):
   queryStr = urllib2.quote(queryStr)
   url = 'https://www.google.com.hk/search?hl=en&q=%s' % queryStr
   request = urllib2.Request(url)
   index = random.randint(0, 9)
   user_agent = user_agents[index]
   request.add_header('User-agent', user_agent)
   response = urllib2.urlopen(request)
   html = response.read()
   results = self.extractSearchResults(html)

　　不要被user_agents那個(gè)list嚇到，那其實(shí)就是10個(gè)user agent 字符串，這么做是讓我們偽裝的更好一些，如果你需要更多的user agent 請(qǐng)看這里 UserAgentString。

17-19行表示隨機(jī)選擇一個(gè)user agent 字符串，然后用request 的add_header方法偽裝一個(gè)user agent。

　　通過偽裝user agent能夠讓我們持續(xù)抓取搜索引擎結(jié)果，如果這樣還不行，那我建議在每?jī)纱尾樵冮g隨機(jī)休眠一段時(shí)間，這樣會(huì)影響抓取速度，但是能夠讓你更持續(xù)的抓取結(jié)果，如果你有多個(gè)IP，那抓取的速度也就上來(lái)了。

　　github上有本文所有源代碼，需要的同學(xué)可從下面的網(wǎng)址下載:

https://github.com/meibenjin/GoogleSearchCrawler

最新評(píng)論