python實(shí)現(xiàn)爬蟲數(shù)據(jù)存到 MongoDB
在以上兩篇文章中已經(jīng)介紹到了 Python 爬蟲和 MongoDB ， 那么下面我就將爬蟲爬下來的數(shù)據(jù)存到 MongoDB 中去，首先來介紹一下我們將要爬取的網(wǎng)站, readfree 網(wǎng)站，這個(gè)網(wǎng)站非常的好，我們只需要每天簽到就可以免費(fèi)下載三本書，良心網(wǎng)站，下面我就將該網(wǎng)站上的每日推薦書籍爬下來。
利用上面幾篇文章介紹的方法，我們很容易的就可以在網(wǎng)頁的源代碼中尋找到書籍的姓名和書籍作者的信息。
找到之后我們復(fù)制 XPath ，然后進(jìn)行提取即可。源代碼如下所示
# coding=utf-8
import re
import requests
from lxml import etree
import pymongo
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
def getpages(url, total):
nowpage = int(re.search('(\d+)', url, re.S).group(1))
urls = []
for i in range(nowpage, total + 1):
link = re.sub('(\d+)', '%s' % i, url, re.S)
urls.append(link)
return urls
def spider(url):
html = requests.get(url)
selector = etree.HTML(html.text)
book_name = selector.xpath('//*[@id="container"]/ul/li//div/div[2]/a/text()')
book_author = selector.xpath('//*[@id="container"]/ul/li//div/div[2]/div/a/text()')
saveinfo(book_name, book_author)
def saveinfo(book_name, book_author):
connection = pymongo.MongoClient()
BookDB = connection.BookDB
BookTable = BookDB.books
length = len(book_name)
for i in range(0, length):
books = {}
books['name'] = str(book_name[i]).replace('\n','')
books['author'] = str(book_author[i]).replace('\n','')
BookTable.insert_one(books)
if __name__ == '__main__':
url = 'http://readfree.me/shuffle/?page=1'
urls = getpages(url,3)
for each in urls:
spider(each)
注意，在寫入數(shù)據(jù)庫的過程中不要一下子將字典中的數(shù)據(jù)寫入數(shù)據(jù)庫，我一開始就這么寫的，但是我發(fā)現(xiàn)數(shù)據(jù)庫中只有三條信息，其他信息都不見了。所以采用一條一條的寫入。
還有源代碼的開頭部分，對默認(rèn)編碼的設(shè)置一定不可以省略，否則可能會(huì)報(bào)編碼錯(cuò)誤（真心感覺 Python 在編碼這方面好容易出錯(cuò)，尷尬）。
有的人可能發(fā)現(xiàn)了，我將提取的信息轉(zhuǎn)換成了字符串，然后使用 replace() 方法將 \n 去掉了，因?yàn)槲野l(fā)現(xiàn)在提取的書籍信息前后存在換行符，看著十分礙眼。
熱情提醒一下，在程序運(yùn)行的時(shí)候別忘記將你的 Mongo DB 運(yùn)行起來，下來看看結(jié)果
好了，就這樣，如果發(fā)現(xiàn)代碼哪里存在錯(cuò)誤或者說有可以改善的地方，希望留言給我，感謝。
相關(guān)文章
這篇文章主要給大家介紹了關(guān)于MongoDB CRUD操作中的插入的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對大家學(xué)習(xí)或者使用MongoDB具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧2020-07-07
這篇文章主要給大家介紹了關(guān)于MongoDB中文檔的更新操作的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友可以參考借鑒，下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧。2017-11-11
express+mongoose實(shí)現(xiàn)對mongodb增刪改查操作詳解
這篇文章主要介紹了express+mongoose實(shí)現(xiàn)對mongodb增刪改查操作,結(jié)合實(shí)例形式分析了express+mongoose對mongodb增刪改查操作基本實(shí)現(xiàn)方法與操作注意事項(xiàng),需要的朋友可以參考下2020-05-05
MapReduce應(yīng)該算是MongoDB操作中比較復(fù)雜的了，下面這篇文章主要給大家介紹了關(guān)于MongoDB中MapReduce使用的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，需要的朋友可以參考借鑒，下面隨著小編來一起看看吧。2017-12-12
這篇文章主要給大家介紹了關(guān)于MongoDB中定時(shí)索引的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對大家學(xué)習(xí)或者使用MongoDB具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧2019-08-08
MongoDB創(chuàng)建用戶報(bào)錯(cuò)command createUser requires auth
這篇文章主要介紹了MongoDB創(chuàng)建用戶報(bào)錯(cuò)command createUser requires authentication的解決方法,文中通過代碼和圖文講解的非常詳細(xì),對大家的解決問題有一定的幫助,需要的朋友可以參考下2024-09-09
MongoDB數(shù)據(jù)庫文檔操作方法(必看篇)
下面小編就為大家?guī)硪黄狹ongoDB數(shù)據(jù)庫文檔操作方法(必看篇)。小編覺得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2017-07-07
mongodb基礎(chǔ)入門_動(dòng)力節(jié)點(diǎn)Java學(xué)院整理
這篇文章主要為大家詳細(xì)介紹了mongodb基礎(chǔ)入門的相關(guān)資料，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2017-08-08
這篇文章主要介紹了分享MongoDB修改oplog大小的4種方法，文章基于MongoDB修改oplog大小展開其方法的介紹，需要的小伙伴可以參考一下2022-04-04
對于MongoDB的多鍵查詢，創(chuàng)建復(fù)合索引可以有效提高性能。這篇文章主要給大家介紹了關(guān)于MongoDB復(fù)合索引的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面來一起看看吧。2018-03-03