Docker 部署Scrapy的詳解
假設(shè)我們要在10臺Ubuntu 部署爬蟲如何搞之？用傳統(tǒng)的方法會吐血的，除非你記錄下來每個步驟，然后步驟之間的次序還完全一樣，這樣才行。但是這樣還是累啊，個別軟件下載又需要時間。所以Docker出現(xiàn)了。Docker把系統(tǒng)，各種需要的應(yīng)用，還有設(shè)置編譯成一個image，然后 run一下就可以了。跟虛擬機的區(qū)別是不需要而外的物理支持，共用的。
1. 部署步驟
1.1 上傳本地scrapy爬蟲代碼除了settings外到git 服務(wù)器
1.2 編寫Dockerfile文件，把settings和requirements.txt 也拷貝到image里，一起打包成一個image
Dockerfile內(nèi)容：
FROM ubuntu RUN apt-get update RUN apt-get install -y git RUN apt-get install -y nano RUN apt-get install -y redis-server RUN apt-get -y dist-upgrade RUN apt-get install -y openssh-server RUN apt-get install -y python3.5 python3-pip RUN apt-get install -y zlib1g-dev libffi-dev libssl-dev RUN apt-get install -y libxml2-dev libxslt1-dev RUN mkdir /code WORKDIR /code ADD ./requirements.txt /code/ ADD ./settings.py /code/ RUN mkdir /code/myspider RUN pip3 install -r requirements.txt VOLUME [ "/data" ]
requirements.txt 內(nèi)容：
BeautifulSoup4 scrapy setuptools scrapy_redis redis sqlalchemy pymysql pillow
整個目錄結(jié)構(gòu)：
docker build -t fox6419/scrapy:scrapyTag .
fox6419是用戶名，scrapyTag是tag
成功后，執(zhí)行docker images可以在本地看到image
1.3 打包的image 上傳到docker hub中
docker push username/repository:tag
push的命令格式是這樣的，我這邊就是：
docker push fox6419/scrapy:scrapyTag
1.4 在DigitalOcean這種主機商創(chuàng)建帶docker應(yīng)用的Ubuntu 16.04版本
1.5 登陸docker，拉下1.3的image，然后run起來
docker run -it fox6419/scrapy:scrapyTag /bin/bash
1.6 命令進去后，git clone 1.1中的爬蟲，然后復(fù)制images里的settings到爬蟲目錄，然后執(zhí)行scrapy crawl xxx即可
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
- windows10系統(tǒng)中安裝python3.x+scrapy教程
- python使用scrapy發(fā)送post請求的坑
- Python爬蟲框架scrapy實現(xiàn)downloader_middleware設(shè)置proxy代理功能示例
- Python爬蟲框架scrapy實現(xiàn)的文件下載功能示例
- Python爬蟲框架Scrapy常用命令總結(jié)
- 詳解Python安裝scrapy的正確姿勢
- Scrapy基于selenium結(jié)合爬取淘寶的實例講解
- 利用Anaconda簡單安裝scrapy框架的方法
- 基于scrapy的redis安裝和配置方法
- mac下給python3安裝requests庫和scrapy庫的實例
- 利用scrapy將爬到的數(shù)據(jù)保存到mysql（防止重復(fù)）
- Centos7 Python3下安裝scrapy的詳細步驟
- Windows下安裝Scrapy
相關(guān)文章
詳解基于docker 如何部署surging分布式微服務(wù)引擎
這篇文章主要介紹了詳解基于docker 如何部署surging分布式微服務(wù)引擎，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-06-06
Docker容器Container鏡像Image如何存儲詳解
本文主要介紹Docker容器（Container）和鏡像（Image）是如何進行數(shù)據(jù)存儲詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2023-09-09
cordon節(jié)點drain驅(qū)逐節(jié)點delete節(jié)點詳解
這篇文章主要為大家介紹了cordon節(jié)點drain驅(qū)逐節(jié)點delete節(jié)點詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-11-11
詳細講解Docker-Compose部署Kafka?KRaft集群環(huán)境
這篇文章主要為大家介紹了Docker-Compose部署Kafka?KRaft集群環(huán)境的全面詳細講解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2023-01-01
本文主要介紹了docker?screen命令的使用,Screen命令則提供了強大的多會話管理功能,讓我們可以實時監(jiān)控和操作容器,具有一定的參考價值,感興趣的可以了解一下2024-01-01
關(guān)于Docker部署postgresql數(shù)據(jù)庫的問題
這篇文章主要介紹了Docker部署postgresql數(shù)據(jù)庫的相關(guān)知識，本文給大家介紹的非常詳細，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2022-03-03
文章介紹了在Docker中設(shè)置容器定時關(guān)閉和啟動的兩種方法：使用系統(tǒng)級定時任務(wù)（如cron）和使用Docker特定的解決方案,通過配置CronJob、DockerCompose或DockerSwarm,可以實現(xiàn)容器的定時啟動和關(guān)閉2024-12-12
docker容器化可以使得環(huán)境相對獨立,減少污染,這篇文章主要給大家介紹了關(guān)于Docker容器在系統(tǒng)啟動時自動運行配置的相關(guān)資料,文中通過代碼介紹的非常詳細,需要的朋友可以參考下2023-09-09
使用Docker安裝向量數(shù)據(jù)庫milvus并且安裝圖形化界面的方法
文章介紹了如何在Windows上使用Docker安裝并配置Milvus向量數(shù)據(jù)庫,包括啟用WSL2、安裝Ubuntu、配置Docker倉庫、安裝Milvus服務(wù)端和用戶圖形界面Attu,并提供了一個修改后的Dockerfile以提高Attu的安裝速度,感興趣的朋友一起看看吧2025-02-02
Docker Compose一鍵ELK部署的方法實現(xiàn)
這篇文章主要介紹了Docker Compose一鍵ELK部署的方法實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-01-01