python爬蟲爬取網(wǎng)頁表格數(shù)據(jù)
更新時間：2018年03月07日 10:41:32 作者：zhuxunyuoyi
這篇文章主要為大家詳細介紹了python爬蟲爬取網(wǎng)頁表格數(shù)據(jù)，具有一定的參考價值，感興趣的小伙伴們可以參考一下
用python爬取網(wǎng)頁表格數(shù)據(jù)，供大家參考，具體內(nèi)容如下
from bs4 import BeautifulSoup
import requests
import csv
import bs4
#檢查url地址
def check_link(url):
try:
r = requests.get(url)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
print('無法鏈接服務(wù)器?。?！')
#爬取資源
def get_contents(ulist,rurl):
soup = BeautifulSoup(rurl,'lxml')
trs = soup.find_all('tr')
for tr in trs:
ui = []
for td in tr:
ui.append(td.string)
ulist.append(ui)
#保存資源
def save_contents(urlist):
with open("D:/2016年中國企業(yè)500強排行榜.csv",'w') as f:
writer = csv.writer(f)
writer.writerow(['2016年中國企業(yè)500強排行榜'])
for i in range(len(urlist)):
writer.writerow([urlist[i][1],urlist[i][3],urlist[i][5]])
def main():
urli = []
url = "http://www.maigoo.com/news/463071.html"
rs = check_link(url)
get_contents(urli,rs)
save_contents(urli)
main()
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
TensorFlow打印tensor值的實現(xiàn)方法
今天小編就為大家分享一篇TensorFlow打印tensor值的實現(xiàn)方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-07-07
這篇文章主要為大家詳細介紹了python購物車程序的簡單代碼，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-04-04
python3.4用函數(shù)操作mysql5.7數(shù)據(jù)庫
這篇文章主要為大家詳細介紹了python3.4用函數(shù)操作mysql5.7數(shù)據(jù)庫，具有一定的參考價值，感興趣的小伙伴們可以參考一下2017-06-06
今天小編就為大家分享一篇Python將文本去空格并保存到txt文件中的實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-07-07
python神經(jīng)網(wǎng)絡(luò)MobileNetV3?small模型的復(fù)現(xiàn)詳解
這篇文章主要為大家介紹了python神經(jīng)網(wǎng)絡(luò)MobileNetV3?small模型的復(fù)現(xiàn)詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-05-05
這篇文章主要為大家介紹了Python中最強大的重試庫Tenacity使用探索,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2023-12-12
Django數(shù)據(jù)庫如何在原有表中添加新字段
這篇文章主要介紹了Django數(shù)據(jù)庫如何在原有表中添加新字段問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-09-09
任務(wù)很簡單，某個目錄下面有幾千個文件，某些文件沒有后綴名，現(xiàn)在的任務(wù)就是將所有的沒有后綴名的文件加上后綴名，python有現(xiàn)成的函數(shù)可以實現(xiàn)，但是在實現(xiàn)過程中遇到幾個問題，分享一下解決方法2012-05-05
Flask框架運用Ajax實現(xiàn)數(shù)據(jù)交互的示例代碼
使用Ajax技術(shù)網(wǎng)頁應(yīng)用能夠快速地將增量更新呈現(xiàn)在用戶界面上，而不需要重載刷新整個頁面，這使得程序能夠更快地回應(yīng)用戶的操作，本文將簡單介紹使用AJAX如何實現(xiàn)前后端數(shù)據(jù)通信2022-11-11
Anaconda安裝pytorch及配置PyCharm 2021環(huán)境
小編使用的是python3.8版本，為了防止訪問量過大導(dǎo)致http連接失敗，所以采用本地安裝，具體安裝方法本文給大家詳細介紹，在文章底部給大家提到了PyCharm 2021配置環(huán)境的方法，感興趣的朋友一起看看吧2021-06-06