Python爬取商家聯(lián)系電話以及各種數(shù)據(jù)的方法
更新時(shí)間：2018年11月10日 15:15:59 作者：well2049
今天小編就為大家分享一篇Python爬取商家聯(lián)系電話以及各種數(shù)據(jù)的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
上次學(xué)會(huì)了爬取圖片，這次就想著試試爬取商家的聯(lián)系電話，當(dāng)然，這里純屬個(gè)人技術(shù)學(xué)習(xí)，爬取過后及時(shí)刪除，不得用于其它違法用途，一切后果自負(fù)。
首先我學(xué)習(xí)時(shí)用的是114黃頁數(shù)據(jù)。
下面四個(gè)是用到的模塊，前面2個(gè)需要安裝一下，后面2個(gè)是python自帶的。
import requests from bs4 import BeautifulSoup import csv import time
然后，寫個(gè)函數(shù)獲取到頁面種想要的數(shù)據(jù)，記得最后的return返回一下，因?yàn)橄旅娴暮瘮?shù)要到把數(shù)據(jù)寫到csv里面。
def get_content(url,data=None):
header = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
'Accept-Encoding': 'gzip, deflate',
'Accept-Language': 'zh-CN,zh;q=0.8',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.104 Safari/537.36',
}
r = requests.get(url, headers=header)
soup = BeautifulSoup(r.content, 'html.parser')
data = soup.body.find('div',{'id':'news_con'})
ul = data.find('ul')
lis = ul.find_all('li')
pthons=[]
for item in lis:
rows=[]
name= item.find('h4').string
rows.append(name)
tel = item.find_all("div")[2].string
rows.append(tel)
pthons.append(rows)
time.sleep(1)
return pthons
接著：把數(shù)據(jù)寫到表格里面。我這里用到的是csv,方便閱覽。
def write_data(data,name):
file_name=name
with open(file_name, "w", newline='') as csvfile:
writer = csv.writer(csvfile)
writer.writerow(["商鋪名稱", "聯(lián)系電話"])
writer.writerows(data)
print('抓取完成')
最后就是執(zhí)行這些函數(shù)：
if __name__ == '__main__': url = 'http://ty.114chn.com/CustomerInfo/Customers?cid=008004008&page=2' mydata = get_content(url) write_data(mydata,'phone.csv')
在這里我想到應(yīng)該把url寫成動(dòng)態(tài)的，因?yàn)檫@里面有頁數(shù)。讓page寫成循環(huán)自動(dòng)+1，當(dāng)然，可以在網(wǎng)頁看到一共多少頁。寫個(gè)循環(huán)執(zhí)行。就更完美了。
以上這篇Python爬取商家聯(lián)系電話以及各種數(shù)據(jù)的方法就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
python 爬取京東指定商品評(píng)論并進(jìn)行情感分析
本文主要講述了利用Python網(wǎng)絡(luò)爬蟲對(duì)指定京東商城中指定商品下的用戶評(píng)論進(jìn)行爬取，對(duì)數(shù)據(jù)預(yù)處理操作后進(jìn)行文本情感分析，感興趣的朋友可以了解下2021-05-05
這篇文章主要介紹了Numpy的簡(jiǎn)單用法小結(jié)，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-08-08
Python3網(wǎng)絡(luò)爬蟲之使用User Agent和代理IP隱藏身份
這篇文章主要介紹了Python3網(wǎng)絡(luò)爬蟲之使用User Agent和代理IP隱藏身份,小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2017-11-11
打開一個(gè)網(wǎng)頁獲取所有的內(nèi)容、獲取Http頭、使用代理等小結(jié)2008-09-09
這篇文章主要為大家介紹了Python輸入與輸出，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助2021-12-12
滑塊密碼在很多登錄界面都可以看到，本文主要介紹了python?密碼驗(yàn)證(滑塊驗(yàn)證)，文中通過示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2022-03-03
這篇文章主要介紹了OpenCV-Python?對(duì)圖像的基本操作,本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2021-11-11
Python批量自動(dòng)修改文件名,按指定的格式自動(dòng)命名方式
這篇文章主要介紹了Python批量自動(dòng)修改文件名,按指定的格式自動(dòng)命名方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-08-08
這篇文章主要介紹了在python代碼中加入環(huán)境變量的語句操作，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2021-04-04
顯著性檢測(cè)就是使用圖像處理技術(shù)和計(jì)算機(jī)視覺算法來定位圖片中最“顯著”的區(qū)域，本文主要介紹了openCV顯著性檢測(cè)的使用，文中通過示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2022-03-03