最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

詳解用python寫網(wǎng)絡(luò)爬蟲-爬取新浪微博評論

 更新時間:2019年05月10日 16:33:59   作者:Joliph  
這篇文章主要介紹了python爬取新浪微博評論,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習或者工作具有一定的參考學(xué)習價值,需要的朋友們下面隨著小編來一起學(xué)習學(xué)習吧

新浪微博需要登錄才能爬取,這里使用m.weibo.cn這個移動端網(wǎng)站即可實現(xiàn)簡化操作,用這個訪問可以直接得到的微博id。

分析新浪微博的評論獲取方式得知,其采用動態(tài)加載。所以使用json模塊解析json代碼

單獨編寫了字符優(yōu)化函數(shù),解決微博評論中的嘈雜干擾字符

本函數(shù)是用python寫網(wǎng)絡(luò)爬蟲的終極目的,所以采用函數(shù)化方式編寫,方便后期優(yōu)化和添加各種功能

# -*- coding:gbk -*-
import re
import requests
import json
from lxml import html
#測試微博4054483400791767
comments=[]

def get_page(weibo_id):
  url='https://m.weibo.cn/status/{}'.format(weibo_id)
  html=requests.get(url).text
  regcount=r'"comments_count": (.*?),'
  comments_count=re.findall(regcount,html)[-1]
  comments_count_number=int(comments_count)
  page=int(comments_count_number/10)
  return page-1

def opt_comment(comment):
  tree=html.fromstring(comment)
  strcom=tree.xpath('string(.)')
  reg1=r'回復(fù)@.*?:'
  reg2=r'回覆@.*?:'
  reg3=r'//@.*'
  newstr=''
  comment1=re.subn(reg1,newstr,strcom)[0]
  comment2=re.subn(reg2,newstr,comment1)[0]
  comment3=re.subn(reg3,newstr,comment2)[0]
  return comment3

def get_responses(id,page):
  url="https://m.weibo.cn/api/comments/show?id={}&page={}".format(id,page)
  response=requests.get(url)
  return response

def get_weibo_comments(response):
  json_response=json.loads(response.text)
  for i in range(0,len(json_response['data'])):
    comment=opt_comment(json_response['data'][i]['text'])
    comments.append(comment)


weibo_id=input("輸入微博id,自動返回前5頁評論:")
weibo_id=int(weibo_id)
print('\n')
page=get_page(weibo_id)
for page in range(1,page+1):
  response=get_responses(weibo_id,page)
  get_weibo_comments(response)

for com in comments:
  print(com)
print(len(comments))

以上所述是小編給大家介紹的python爬取新浪微博評論詳解整合,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回復(fù)大家的。在此也非常感謝大家對腳本之家網(wǎng)站的支持!

相關(guān)文章

最新評論

湖南省| 陕西省| 麻城市| 神池县| 天柱县| 彰化市| 五大连池市| 江华| 黑水县| 内江市| 平阳县| 富阳市| 建昌县| 镇平县| 大理市| 封开县| 招远市| 涡阳县| 平顺县| 鄯善县| 始兴县| 鞍山市| 澳门| 札达县| 甘肃省| 黄浦区| 班戈县| 汝阳县| 长宁区| 敦煌市| 新安县| 宜川县| 建昌县| 合川市| 陆川县| 镶黄旗| 龙游县| 涡阳县| 区。| 林口县| 社旗县|