使用python BeautifulSoup庫抓取58手機維修信息

更新時間：2013年11月21日 15:25:52 作者：

這篇文章主要介紹了一個使用python抓取58手機的精準商家信息，使用BeautifulSoup API的方法

直接上代碼：

復制代碼代碼如下:

#!/usr/bin/python
# -*- coding: utf-8 -*-

import urllib

import os,datetime,string

import sys

from bs4 import BeautifulSoup

reload(sys)

sys.setdefaultencoding('utf-8')

__BASEURL__ = 'http://bj.58.com/'

__INITURL__ = "http://bj.58.com/shoujiweixiu/"

soup = BeautifulSoup(urllib.urlopen(__INITURL__))

lvlELements = soup.html.body.find('div','selectbarTable').find('tr').find_next_sibling('tr')('a',href=True)

f = open('data1.txt','a')

for element in lvlELements[1:]:

f.write((element.get_text()+'\n\r' ))

url = __BASEURL__ + element.get('href')

print url

soup = BeautifulSoup(urllib.urlopen(url))

lv2ELements = soup.html.body.find('table','tblist').find_all('tr')

    for item in lv2ELements:
        addr = item.find('td','t').find('a').get_text()
        phone = item.find('td','tdl').find('b','tele').get_text()
        f.write('地址：'+addr +' 電話:'+ phone + '\r\n\r')

f.close()

直接執(zhí)行后，存在 data1.txt中就會有商家的地址和電話等信息。
BeautifulSoup api 的地址為： http://www.crummy.com/software/BeautifulSoup/bs4/doc/

您可能感興趣的文章:

相關(guān)文章

Python內(nèi)置模塊Collections的使用教程詳解
collections 是 Python 的一個內(nèi)置模塊，所謂內(nèi)置模塊的意思是指 Python 內(nèi)部封裝好的模塊，無需安裝即可直接使用。本文將詳解介紹Collections的使用方式，需要的可以參考一下
2022-03-03
numpy自動生成數(shù)組詳解
這篇文章主要介紹了numpy自動生成數(shù)組詳解，具有一定借鑒價值，需要的朋友可以參考下。
2017-12-12
如何利用Python批量處理行、列和單元格詳解
因為之后的工作可能會經(jīng)常用到excel,而且也不想荒廢Python,出于為以后做準備以防不時之需,下面這篇文章主要給大家介紹了關(guān)于如何利用Python批量處理行、列和單元格的相關(guān)資料,需要的朋友可以參考下
2021-09-09
Python腳本/代碼的幾種常見運行方式
我們知道,python腳本或者說python程序其實是一個包含了python代碼的文件,通過運行python代碼,我們可以驗證腳本/程序是否按照我們的期望執(zhí)行,在python中,有多種方式來運行腳本或程序,取決于小伙伴們的需求,接下來小編將介紹幾種常見的 python 代碼運行方式
2023-10-10
Pytorch在訓練時凍結(jié)某些層使其不參與訓練問題(更新梯度)
這篇文章主要介紹了Pytorch在訓練時凍結(jié)某些層使其不參與訓練問題(更新梯度)，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教
2022-11-11
解決python 未發(fā)現(xiàn)數(shù)據(jù)源名稱并且未指定默認驅(qū)動程序的問題
今天小編就為大家分享一篇解決python 未發(fā)現(xiàn)數(shù)據(jù)源名稱并且未指定默認驅(qū)動程序的問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2018-12-12
解決python 文本過濾和清理問題
文本過濾和清理所涵蓋的范圍非常廣泛，涉及文本解析和數(shù)據(jù)處理方面的問題。這篇文章主要介紹了解決python 文本過濾和清理問題,需要的朋友可以參考下
2019-08-08
一文教你解決所有Python中文亂碼問題
我們在編寫代碼時總是遇到各種中文亂碼的問題,所以本文就來為大家總結(jié)一下遇到的中文亂碼問題和對應(yīng)的解決方案,以及為什么會出現(xiàn)中文亂碼的問題,希望對大家有所幫助
2023-12-12
使用pymysql寫入中文的問題
這篇文章主要介紹了使用pymysql寫入中文的問題，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教
2022-03-03
圖文詳解WinPE下安裝Python
這篇文章主要以圖文結(jié)合的方式詳細介紹了WinPE下安裝Python的具體實現(xiàn)步驟，文中安裝步驟介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下
2016-05-05