詳解用Python爬蟲獲取百度企業(yè)信用中企業(yè)基本信息

更新時間：2020年07月02日 15:06:09 作者：wild_orange

這篇文章主要介紹了詳解用Python爬蟲獲取百度企業(yè)信用中企業(yè)基本信息，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧

一、背景

希望根據(jù)企業(yè)名稱查詢其經(jīng)緯度，所在的省份、城市等信息。直接將企業(yè)名稱傳給百度地圖提供的API，得到的經(jīng)緯度是非常不準確的，因此希望獲取企業(yè)完整的地理位置，這樣傳給API后結果會更加準確。
百度企業(yè)信用提供了企業(yè)基本信息查詢的功能。希望通過Python爬蟲獲取企業(yè)基本信息。目前已基本實現(xiàn)了這一需求。
本文最后會提供具體的代碼。代碼僅供學習參考，希望不要惡意爬取數(shù)據(jù)！

二、分析

以蘇寧為例。輸入“江蘇蘇寧”后，查詢結果如下：

經(jīng)過分析，這里列示的企業(yè)信息是用JavaScript動態(tài)生成的。服務器最初傳過來的未經(jīng)渲染的HTML如下：

注意其中標注出來的JS代碼。有意思的是，企業(yè)基本信息都可以直接從這段JS代碼中獲取，無需構造復雜的參數(shù)。

這是進一步查看的結果，注意那個“resultList”，后面存放的就是頁面中的企業(yè)信息。顯然，利用正則表達式提取需要的字符串，轉換成JSON就可以了。

三、源碼

以下代碼為查詢某個企業(yè)的基本信息提供了API：

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# @Author: Wild Orange
# @Email: jixuanfan_seu@163.com
# @Date:  2020-06-19 22:38:14
# @Last Modified time: 2020-07-01 17:33:13

import requests
import re
import json

headers={'User-Agent': 'Chrome/76.0.3809.132'}

#正則表達式提取數(shù)據(jù)
re_get_js=re.compile(r'<script>([\s\S]*?)</script>')
re_resultList=re.compile(r'"resultList":(\[{.+?}\]}])')

def Get_company_info(name):
	'''
		@func: 通過百度企業(yè)信用查詢企業(yè)基本信息
	'''
	url='https://xin.baidu.com/s?q=%s'%name
	res=requests.get(url,headers=headers)
	if res.status_code==200:
		html=res.text
		retVal=_parse_baidu_company_info(html)
		return retVal
	else:
		print('無法獲取%s的企業(yè)信息'%name)

def _parse_baidu_company_info(html):
	'''
		@function：解析百度企業(yè)信用提供的企業(yè)基本信息
		@output: list of dict, [{},{},...]
			pid: 跳轉到具體企業(yè)頁面的參數(shù)
			bid: 具體企業(yè)頁面URL中的參數(shù)
			name: 企業(yè)名稱
			type: 企業(yè)類型
			date: 成立日期
			address: 地址
			person: 法人代表
			status: 存續(xù)狀態(tài)
			regCap: 注冊資本
			scope: 經(jīng)營范圍
	'''
	js=re_get_js.findall(html)[1]
	data=re_resultList.search(js)
	if not data:
		return
	compant_list=json.loads(data.group(1))
	
	retVal=[]
	for x in compant_list:
		regCap=x['regCap'].replace(',','')
		if regCap[-1]=='萬':
			regCap=regCap[:-1]
		regCap=float(regCap)
		address=x['domicile'].replace('<em>','').replace('</em>','')
		
		temp_v={'pid':x['pid'],'bid':x['bid'],'name':x['titleName'],'type':x['entType'],'date':x['validityFrom'],\
				'address':address,'person':x['legalPerson'],'status':x['openStatus'],'regCap':regCap,\
				'scope':x['scope']}
		retVal.append(temp_v)
	return retVal

四、使用方法

直接將需要查詢的企業(yè)名稱傳入Get_company_info：

res=Get_company_info('江蘇蘇寧')
	print(res)

結果：

需要注意的是：

返回的是字典構成的數(shù)組，每個字典元素代表一家企業(yè)的信息。順序與瀏覽器中顯示的順序相同。字典中參數(shù)的含義已在_parse_baidu_company_info函數(shù)的注釋中說明。程序僅獲取第一頁的信息。如果要查詢多頁，可以修改源碼。程序僅獲取企業(yè)的基本信息，沒有進入企業(yè)的具體頁面，如：蘇寧物流具體頁面。不過返回結果中的pid或bid應該能用于構造查詢頁面的URL。

最后再次強調(diào)：代碼僅供學習參考，希望不要惡意爬取數(shù)據(jù)！

到此這篇關于詳解用Python爬蟲獲取百度企業(yè)信用中企業(yè)基本信息的文章就介紹到這了,更多相關Python爬蟲獲取百度企業(yè)信用內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: