在linux系統(tǒng)下部署selenium爬蟲程序介紹
更新時間：2021年11月25日 17:02:04 作者：崔子末
大家好，本篇文章主要講的是在linux系統(tǒng)下部署selenium爬蟲程序介紹，感興趣的同學(xué)速來圍觀哦，記得收藏本篇文章方便下次瀏覽
前言
我這里是工作需要把selenium 爬蟲程序部署到Linux 服務(wù)器上面 順便跟大家交流一下 如果有興趣的話可以看一下
一、selenium是什么？
Selenium是一個用于Web應(yīng)用程序測試的工具。Selenium測試直接運行在瀏覽器中，就像真正的用戶在操作一樣, 爬蟲用它來抓取一些js動態(tài)加載的數(shù)據(jù)
二、使用步驟
1.引入庫
代碼如下
from selenium.webdriver import Chrome
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options # 使用無頭瀏覽器
from selenium.webdriver import ChromeOptions
chrome_options = Options()
options = ChromeOptions()
options.add_experimental_option('excludeSwitches', ['enable-automation']) # =>去掉瀏覽器正在受到自動測試軟件的控制
options.add_experimental_option('useAutomationExtension', False)
chrome_options.add_argument("--headless") # => 為Chrome配置無頭模式
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--disable-dev-shm-usage')
2.測試代碼
代碼如下：
s = Service(r"/home/driver/chromedriver")
driver = Chrome(
service=s, options=chrome_options
)
driver.get("https://www.baidu.com")
print(diiver.title)
三、部署程序
1.安裝chrome
命令如下：
yum install https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm 檢查chrome的版本 google-chrome --version
2.安裝chromedriver驅(qū)動
命令如下：
按照對應(yīng)的chrome版本下載chromedriver驅(qū)動 地址: https://npm.taobao.org/mirrors/chromedriver 我的版本號是: 96.0.4664.45 wget https://npm.taobao.org/mirrors/chromedriver/96.0.4664.45/chromedriver_linux64.zip yum install -y unzip zip unzip chromedriver_linux64.zip # 解壓zip文件 mkdir driver #新建文件夾用來存放驅(qū)動 chmod 777 driver/chromedriver # 這是權(quán)限 我這里給的是 777
3.運行測試代碼
新建test.py文件
vi test.py
保存 test.py run 一下看看
看到這個我么就算請求成功了
總結(jié)
到此這篇關(guān)于在linux系統(tǒng)下部署selenium爬蟲程序介紹的文章就介紹到這了,更多相關(guān)linux selenium爬蟲程序內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
您可能感興趣的文章:
相關(guān)文章
這篇文章主要介紹了linux系統(tǒng)安裝msf的過程，本文給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-05-05
gdb調(diào)試中設(shè)置監(jiān)控點watch,rwatch,awatch的區(qū)別及說明
這篇文章主要介紹了gdb調(diào)試中設(shè)置監(jiān)控點watch,rwatch,awatch的區(qū)別及說明,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-09-09
Apache多虛擬主機(jī)多站點配置的兩種實現(xiàn)方案
本文介紹了在Apache服務(wù)器上配置多虛擬主機(jī)的兩種方案：基于IP地址的虛擬主機(jī)配置和基于域名的虛擬主機(jī)配置,詳細(xì)說明了每個方案的配置步驟,以實現(xiàn)在同一臺服務(wù)器上托管多個網(wǎng)站的目的,感興趣的可以了解一下2024-09-09
Ubuntu服務(wù)器下搭建php運行環(huán)境的方法
這篇文章主要介紹了Ubuntu服務(wù)器下搭建php運行環(huán)境的方法,簡單分析了Ubuntu操作系統(tǒng)環(huán)境下搭建Apache、php及mysql模塊相關(guān)步驟、命令與操作技巧,需要的朋友可以參考下2018-04-04
Linux系統(tǒng)中,logrotate工具用于管理和輪轉(zhuǎn)日志文件,防止系統(tǒng)因日志文件過大導(dǎo)致磁盤爆滿,通過配置/etc/logrotate.conf和/etc/logrotate.d/下的文件,用戶可以定義日志處理規(guī)則,如壓縮、備份2024-10-10
ubuntu下chorme提示輸入秘鑰環(huán)的解決方法
這篇文章主要給大家介紹了ubuntu下chorme提示輸入秘鑰環(huán)的解決方法，文中介紹的非常詳細(xì)，對大家具有一定的參考價值，需要的朋友們下面來一起看看吧。2017-04-04
Linux 下dmidecode查看內(nèi)存條數(shù)的命令介紹
下面小編就為大家?guī)硪黄狶inux 下dmidecode查看內(nèi)存條數(shù)的命令介紹。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2016-11-11
詳解Centos7源碼編譯安裝 php7.2之生產(chǎn)篇
這篇文章主要介紹了詳解Centos7源碼編譯安裝 php7.2之生產(chǎn)篇,小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-06-06
Ubuntu 16.04引入了snap包管理，它是一種全新的軟件包安裝管理方式。它和dpkg/apt有本質(zhì)的區(qū)別。下面這篇文章就來給大家詳細(xì)介紹了關(guān)于ubuntu中snap包的安裝、更新刪除與簡單使用的相關(guān)資料，需要的朋友可以參考借鑒，下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧。2017-11-11
Ubuntu環(huán)境編譯安裝PHP和Nginx的方法
這篇文章主要介紹了Ubuntu環(huán)境編譯安裝PHP和Nginx的方法,較為詳細(xì)的分析了Ubuntu環(huán)境編譯安裝PHP和Nginx的具體步驟、相關(guān)命令與操作技巧,需要的朋友可以參考下2019-08-08