使用python爬蟲獲取黃金價(jià)格的核心代碼
繼續(xù)練手,根據(jù)之前獲取汽油價(jià)格的方式獲取了金價(jià),暫時(shí)沒錢投資,看看而已
#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""
獲取每天黃金價(jià)格
@author: yufei
@site: http://www.antuan.com
2017-05-11
"""
import re
import urllib2,urllib
import random
import threading
import time
import sqlite3
import sys
from __builtin__ import exit
#Some User Agents
hds=[{'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'},\
{'User-Agent':'Mozilla/5.0 (Windows NT 6.2) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.12 Safari/535.11'},\
{'User-Agent':'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.2; Trident/6.0)'},\
{'User-Agent':'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:34.0) Gecko/20100101 Firefox/34.0'},\
{'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/44.0.2403.89 Chrome/44.0.2403.89 Safari/537.36'},\
{'User-Agent':'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50'},\
{'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50'},\
{'User-Agent':'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0'},\
{'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1'},\
{'User-Agent':'Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1'},\
{'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11'},\
{'User-Agent':'Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11'},\
{'User-Agent':'Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11'}]
'''
create table GoldPricelist(
[id] integer PRIMARY KEY autoincrement,
[name] varchar default 0,
[price] varchar default 0,
[time] datetime default (datetime('now', 'localtime'))
);
INSERT INTO OilPrice(id,name,price,time) VALUES(NULL,sss, 300, 20180404);
'''
def sqliteinto(Pricelist):
con = sqlite3.connect('F:\ID\python\sqlite3\Gold.db')
cur = con.cursor()
print Pricelist
sql = '''INSERT INTO GoldPrices (id,name,price,time) VALUES(NULL,?,?,?)'''
cur.execute(sql,Pricelist)
con.commit()
cur.close()
con.close()
def getPrice():
url='http://www.dyhjw.com/matter_gold/'
req = urllib2.Request(url=url,headers=hds[random.randint(0,len(hds)-1)])
res = urllib2.urlopen(req)
res = res.read()
#獲取的塊
re_set = re.compile(r'<dl class="main_bname">(.*?)</div>',re.S)
re_get = re.findall(re_set,res)
#獲取價(jià)格詳情
p = re.compile('target="_blank">(.*?)<span class="zd">-</span>\n ',re.S)
Pricelist = re.findall(p,re_get[0])
for i in range(0,len(Pricelist)):
p = re.compile('(.*?)</a>\n <span class="jg">(.*)</span>',re.S)
Price = re.findall(p,Pricelist[i])
gname = Price[0][0]
gprice = Price[0][1]
timep = re.compile(r"(\d+)-(\d+)-.*")
nowtime = time.strftime('%Y-%m-%d',time.localtime(time.time()))
datas = []
datas.append(gname.decode('utf8'))
datas.append(gprice)
datas.append(nowtime)
datas = tuple(datas)
sqliteinto(datas)
if __name__=="__main__":
getPrice()
最近的數(shù)據(jù)

總結(jié)
以上所述是小編給大家介紹的使用python爬蟲獲取黃金價(jià)格的核心代碼,希望對(duì)大家有所幫助,如果大家有任何疑問請(qǐng)給我留言,小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)腳本之家網(wǎng)站的支持!
相關(guān)文章
使用python進(jìn)行廣告點(diǎn)擊率的預(yù)測(cè)的實(shí)現(xiàn)
這篇文章主要介紹了使用python進(jìn)行廣告點(diǎn)擊率的預(yù)測(cè)的實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-07-07
python基于?Web?實(shí)現(xiàn)?m3u8?視頻播放的實(shí)例
這篇文章主要介紹了python基于?Web?實(shí)現(xiàn)?m3u8?視頻播放的實(shí)例的相關(guān)資料,需要的朋友可以參考下2023-06-06
Python實(shí)現(xiàn)文件按照日期命名的方法
這篇文章主要介紹了Python實(shí)現(xiàn)文件按照日期命名的方法,涉及Python針對(duì)文件的遍歷、讀寫及時(shí)間操作相關(guān)技巧,需要的朋友可以參考下2015-07-07
使用Python建立RNN實(shí)現(xiàn)二進(jìn)制加法的示例代碼
這篇文章主要介紹了使用Python建立RNN實(shí)現(xiàn)二進(jìn)制加法的示例代碼,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-03-03
OpenCV特征匹配和單應(yīng)性矩陣查找對(duì)象詳解
這篇文章主要為大家介紹了OpenCV特征匹配和單應(yīng)性矩陣查找對(duì)象詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-04-04

