最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

Python無頭爬蟲下載文件的實現(xiàn)

 更新時間:2020年04月02日 11:46:24   作者:敲鍵盤的貓  
這篇文章主要介紹了Python無頭爬蟲下載文件的實現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧

有些頁面并不能直接用requests獲取到內(nèi)容,會動態(tài)執(zhí)行一些js代碼生成內(nèi)容。這個文章主要是對付那些特殊頁面的,比如必須要進(jìn)行js調(diào)用才能下載的情況。

安裝chrome

wget [https://dl.google.com/linux/direct/google-chrome-stable\_current\_x86\_64.rpm](https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm)
yum install ./google-chrome-stable\_current\_x86\_64.rpm
yum install mesa-libOSMesa-devel gnu-free-sans-fonts wqy-zenhei-fonts

安裝chromedriver

淘寶源(推薦)  

wget http://npm.taobao.org/mirrors/chromedriver/2.41/chromedriver_linux64.zip
unzip chromedriver\_linux64.zip
move chromedriver /usr/bin/
chmod +x /usr/bin/chromedriver

感謝這篇博客

上述步驟可以選擇適合自己的版本下載,注意:chrome和chrome driver必須是匹配的版本,chrome driver會備注支持的chrome版本號。

實戰(zhàn)操作

需要引入的庫

from selenium import webdriver
from time import sleep
from selenium.webdriver.chrome.options import Options
from selenium.common.exceptions import NoSuchElementException

chrome啟動設(shè)置

chrome_options = Options()
chrome_options.add_argument('--no-sandbox')#解決DevToolsActivePort文件不存在的報錯
chrome_options.add_argument('window-size=1920x3000') #指定瀏覽器分辨率
chrome_options.add_argument('--disable-gpu') #谷歌文檔提到需要加上這個屬性來規(guī)避bug
chrome_options.add_argument('--hide-scrollbars') #隱藏滾動條, 應(yīng)對一些特殊頁面
chrome_options.add_argument('blink-settings=imagesEnabled=false') #不加載圖片, 提升速度
chrome_options.add_argument('--headless') #瀏覽器不提供可視化頁面. linux下如果系統(tǒng)不支持可視化不加這條會啟動失敗

同樣感謝上面的博客

設(shè)置額外參數(shù),比如下載不彈窗和默認(rèn)下載路徑

prefs = {'profile.default_content_settings.popups': 0, 'download.default_directory': './filelist'}
chrome_options.add_experimental_option('prefs', prefs)

初始化驅(qū)動

cls.driver=webdriver.Chrome(options=chrome_options)

退出驅(qū)動

cls.driver.quit()

請求一個url

cls.driver.get(url)

執(zhí)行指定js代碼

cls.driver.execute_script('console.log("helloworld")')

查找指定元素

subtitle = cls.driver.find_element_by_class_name("fubiaoti").text

到此這篇關(guān)于Python無頭爬蟲下載文件的實現(xiàn)的文章就介紹到這了,更多相關(guān)Python無頭爬蟲下載文件內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

最新評論

晴隆县| 突泉县| 临城县| 嘉义县| 都匀市| 来凤县| 石柱| 泾源县| 嫩江县| 荥阳市| 行唐县| 修水县| 依兰县| 贺兰县| 南皮县| 靖远县| 抚顺市| 巴南区| 仁怀市| 闽侯县| 汽车| 周宁县| 梁河县| 长寿区| 鄂托克前旗| 长汀县| 普格县| 台中市| 抚远县| 鹤岗市| 临安市| 湛江市| 信宜市| 黎川县| 临武县| 廊坊市| 方山县| 赣州市| 湖南省| 漳州市| 无锡市|