快捷導(dǎo)航

python基于selenium爬取斗魚(yú)彈幕

更新時(shí)間：2021年02月20日 16:17:21 作者：Martina_oh

這篇文章主要介紹了python如何基于selenium爬取斗魚(yú)彈幕，幫助大家更好的理解和學(xué)習(xí)使用python，感興趣的朋友可以了解下

針對(duì)彈幕的爬取我們?nèi)绻恍枰@取看到的網(wǎng)頁(yè)里面的而數(shù)據(jù)，使用selenium就能實(shí)現(xiàn)，對(duì)于直播平臺(tái)來(lái)說(shuō)，往往有第三方平臺(tái)api讓你獲取數(shù)據(jù)（可以獲取發(fā)彈幕，發(fā)彈幕者的名字禮物等等，這需要客戶(hù)端向彈幕服務(wù)器發(fā)送登錄請(qǐng)求，心跳信息的發(fā)送等等）只獲取彈幕信息儲(chǔ)存到txt文件中，上代碼，上圖片

代碼如下：

import time
from selenium import webdriver

chrome_options = webdriver.ChromeOptions()
# 使用headless無(wú)界面瀏覽器模式
# chrome_options.add_argument('--headless')
# chrome_options.add_argument('--disable-gpu')
prefs = {"profile.managed_default_content_settings.images": 2}
chrome_options.add_experimental_option("prefs", prefs)
browser = webdriver.Chrome(chrome_options=chrome_options)
url = 'https://www.douyu.com/'


def getDanmu(homeId):
  homeHref = url+str(homeId)
  browser.get(homeHref)

  while 1: 
    time.sleep(2)
    try:
      for i in browser.find_elements_by_xpath('.//div[@class=" danmu-6e95c1"]/div/div'):
        if len(i.text) > 0:
          try:
            print(i.text)
          except:
            pass
          saveDanmu(i.text)
        else:
          continue
    except:
      time.sleep(2)
      for i in browser.find_elements_by_xpath('.//div[@class=" danmu-6e95c1"]/div/div'):
        if len(i.text) > 0:
          try:
            print(i.text)
          except:
            pass
          saveDanmu(i.text)
        else:
          continue


def saveDanmu(danmu):
  with open('danmu.txt', 'a+', encoding='utf-8')as f:
    f.write(danmu+'\n')

if __name__ == '__main__':
  num = input('請(qǐng)輸入需要查詢(xún)的房間號(hào)：')
  getDanmu(num)

以上就是python基于selenium爬取斗魚(yú)彈幕的詳細(xì)內(nèi)容，更多關(guān)于python 爬取斗魚(yú)彈幕的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！

您可能感興趣的文章:

相關(guān)文章

python連接mongodb集群方法詳解
這篇文章主要介紹了python連接mongo集群方法詳解,需要的朋友可以參考下
2020-02-02
Python中動(dòng)態(tài)檢測(cè)編碼chardet的使用教程
最近利用python抓取一些網(wǎng)上的數(shù)據(jù)，遇到了編碼的問(wèn)題。非常頭痛，幸運(yùn)的是找到了解決的方法，下面這篇文章主要跟大家介紹了關(guān)于Python中動(dòng)態(tài)檢測(cè)編碼chardet的使用方法，需要的朋友可以參考借鑒，下面來(lái)一起看看吧。
2017-07-07
Python與CNN的碰撞詳解
CNN，即卷積神經(jīng)網(wǎng)絡(luò)，主要用于圖像識(shí)別，分類(lèi)。由輸入層，卷積層，池化層，全連接層(Affline層），Softmax層疊加而成。卷積神經(jīng)網(wǎng)絡(luò)中還有一個(gè)非常重要的結(jié)構(gòu):過(guò)濾器，它作用于層與層之間(卷積層與池化層），決定了怎樣對(duì)數(shù)據(jù)進(jìn)行卷積和池化
2022-12-12
Python API 操作Hadoop hdfs詳解
這篇文章主要介紹了Python API 操作Hadoop hdfs詳解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
2020-06-06
python處理csv數(shù)據(jù)的方法
這篇文章主要介紹了python處理csv數(shù)據(jù)的方法,實(shí)例分析了Python處理csv數(shù)據(jù)的技巧,需要的朋友可以參考下
2015-03-03
PyTorch搭建多項(xiàng)式回歸模型（三）
這篇文章主要為大家詳細(xì)介紹了PyTorch搭建多項(xiàng)式回歸模型，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2019-05-05
python實(shí)現(xiàn)從ftp服務(wù)器下載文件
這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)從ftp服務(wù)器下載文件，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2020-03-03
Pyinstaller打包.py生成.exe的方法和報(bào)錯(cuò)總結(jié)
今天小編就為大家分享一篇關(guān)于Pyinstaller打包.py生成.exe的方法和報(bào)錯(cuò)總結(jié)，小編覺(jué)得內(nèi)容挺不錯(cuò)的，現(xiàn)在分享給大家，具有很好的參考價(jià)值，需要的朋友一起跟隨小編來(lái)看看吧
2019-04-04
淺談Python 的枚舉 Enum
下面小編就為大家?guī)?lái)一篇淺談Python 的枚舉 Enum。小編覺(jué)得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧
2017-06-06
Python復(fù)制Excel中的行、列和單元格的操作代碼
在Excel中,復(fù)制行、列和單元格是日常工作中經(jīng)常需要進(jìn)行的操作,它可以幫助你快速調(diào)整數(shù)據(jù)布局、復(fù)制數(shù)據(jù)模板或進(jìn)行數(shù)據(jù)的批量處理,本文將詳細(xì)介紹如何使用Python將Excel中的行、列、或單元格范圍復(fù)制到指定位置,需要的朋友可以參考下
2024-09-09