詳解Docker 容器跨主機多網(wǎng)段通信解決方案

更新時間：2020年08月11日 10:27:26 作者：張九冫

這篇文章主要介紹了Docker 容器跨主機多網(wǎng)段通信解決方案，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧

一、MacVlan

實現(xiàn)Docker的跨主機網(wǎng)絡通信的方案有很多，如之前博文中寫到的通過部署 Consul服務實現(xiàn)Docker容器跨主機通信

Macvlan工作原理：

Macvlan是Linux內(nèi)核支持的網(wǎng)絡接口。要求的Linux內(nèi)部版本是v3.9–3.19和4.0+；
通過為物理網(wǎng)卡創(chuàng)建Macvlan子接口，允許一塊物理網(wǎng)卡擁有多個獨立的MAC地址和IP地址。虛擬出來的子接口將直接暴露在相鄰物理網(wǎng)絡中。從外部看來，就像是把網(wǎng)線隔開多股，分別接受了不同的主機上一樣；
物理網(wǎng)卡收到包后，會根據(jù)收到包的目的MAC地址判斷這個包需要交給其中虛擬網(wǎng)卡。

當容器需要直連入物理網(wǎng)絡時，可以使用Macvlan。Macvlan本身不創(chuàng)建網(wǎng)絡，本質(zhì)上首先使宿主機物理網(wǎng)卡工作在‘混雜模式'，這樣物理網(wǎng)卡的MAC地址將會失效，所有二層網(wǎng)絡中的流量物理網(wǎng)卡都能收到。接下來就是在這張物理網(wǎng)卡上創(chuàng)建虛擬網(wǎng)卡，并為虛擬網(wǎng)卡指定MAC地址，實現(xiàn)一卡多用，在物理網(wǎng)絡看來，每張?zhí)摂M網(wǎng)卡都是一個單獨的接口。

使用Macvlan注意：

容器直接連接物理網(wǎng)絡，由物理網(wǎng)絡負責分配IP地址，可能的結(jié)果是物理網(wǎng)絡IP地址被耗盡，另一個后果是網(wǎng)絡性能問題，物理網(wǎng)絡中接入的主機變多，廣播包占比快速升高而引起的網(wǎng)絡性能下降問題；
宿主機上的某張網(wǎng)上需要工作在‘混亂模式'下；
前面說到，工作在混亂模式下的物理網(wǎng)卡，其MAC地址會失效，所以，此模式中運行的容器并不能與外網(wǎng)進行通信，但是不會影響宿主機與外網(wǎng)通信；
從長遠來看bridge網(wǎng)絡與overlay網(wǎng)絡是更好的選擇，原因就是虛擬網(wǎng)絡應該與物理網(wǎng)絡隔離而不是共享。

工作示意圖：

二、配置實例

實例1（實現(xiàn)容器基于macvlan的單網(wǎng)段跨主機通信）

實現(xiàn)效果：

兩臺centos 7.3，分別運行著docker服務；
兩臺docker服務器創(chuàng)建相同的一個MacVlan網(wǎng)絡，使docker服務器上的容器可以實現(xiàn)跨主機通信。

開始配置

1、第一臺docker服務器配置如下

[root@docker01 ~]# ip link set ens33 promisc on       # 開啟ens33網(wǎng)卡的混雜模式
[root@docker01 ~]# ip link show ens33   # 確定查看的信息包含以下標紅的字樣
2: ens33: <BROADCAST,MULTICAST,'PROMISC',UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP mode DEFAULT group default qlen 1000
  link/ether 00:0c:29:9f:33:9f brd ff:ff:ff:ff:ff:ff
[root@docker01 ~]# docker network create -d macvlan --subnet 172.22.16.0/24 --gateway 172.22.16.1 -o pa
rent=ens33 mac_net1
#創(chuàng)建macvlan網(wǎng)絡，指定網(wǎng)關、網(wǎng)段等信息，“-o”指定綁定在哪張網(wǎng)卡之上
[root@docker01 ~]# docker run -itd --name test1 --ip 172.22.16.10 --network mac_net1 busybox   # 基于新創(chuàng)建的macvlan網(wǎng)絡運行一個容器，并指定其IP

確認運行的容器的IP地址

[root@docker01 ~]# docker exec test1 ip a   # 查看IP，確定以下標紅與配置的一樣
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000
  link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
  inet 127.0.0.1/8 scope host lo
    valid_lft forever preferred_lft forever
6: eth0@if2: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue 
  link/ether 02:42:ac:16:10:0a brd ff:ff:ff:ff:ff:ff
  inet '172.22.16.10/24' brd 172.22.16.255 scope global eth0
    valid_lft forever preferred_lft forever

2、第二臺docker服務器配置如下（與第一臺docker服務器基本相似）

[root@docker02 ~]# ip link set ens33 promisc on    # 開啟混雜模式
[root@docker02 ~]# ip link show ens33 
2: ens33: <BROADCAST,MULTICAST,'PROMISC',UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP mode DEFAULT group default qlen 1000
  link/ether 00:0c:29:b5:bc:ed brd ff:ff:ff:ff:ff:ff
[root@docker02 ~]# docker network create -d macvlan --subnet 172.22.16.0/24 --gateway=172.22.16.1 -o parent=ens33 mac_net1
#創(chuàng)建一個與第一臺docker服務器的網(wǎng)段、網(wǎng)關相同的macvlan。并綁定到物理網(wǎng)卡上。
#為了可以直觀的看出其他docker服務器上的macvlan和第這臺是在同一個網(wǎng)段的。所以，建議設置的網(wǎng)絡名稱一樣。
[root@docker02 ~]# docker run -itd --name test2 --ip 172.22.16.11 --network mac_net1 busybox
#運行一個容器，并指定是基于macvlan網(wǎng)絡的
#注意，其IP地址不要與其他docker服務器上的容器IP地址沖突

確認運行的容器的IP地址

[root@docker02 ~]# docker exec test2 ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000
  link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
  inet 127.0.0.1/8 scope host lo
    valid_lft forever preferred_lft forever
6: eth0@if2: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue 
  link/ether 02:42:ac:16:10:0b brd ff:ff:ff:ff:ff:ff
  inet '172.22.16.11/24' brd 172.22.16.255 scope global eth0
    valid_lft forever preferred_lft forever

使用第二臺docker服務器上的容器test2對第一臺docker服務器上的容器test1進行ping測試

OK，跨主機的容器通信就通過macvlan實現(xiàn)了。由于使用混雜模式會造成物理網(wǎng)卡的MAC地址失效，所以容器并不能通過此模式進行與外網(wǎng)的通信。

實例2（基于macvlan的跨主機網(wǎng)絡多網(wǎng)段的解決方案）

實現(xiàn)的效果如下：

兩臺centos 7.3，分別運行著docker服務；
每臺宿主機創(chuàng)建了兩個MacVlan網(wǎng)段供容器使用（172.10.16.0/24和172.20.16.0/24）；
第一臺docker服務器上運行容器test1和test2，第二臺docker服務器運行容器test3和test4。
最終實現(xiàn)跨主機的同網(wǎng)段容器互相通信。

開始配置：

1、第一臺docker服務器配置如下

[root@docker01 ~]# ip link set ens33 promisc on       # 開啟ens33網(wǎng)卡的混雜模式
#也就是開啟網(wǎng)卡的多個虛擬interface（接口） 
[root@docker01 ~]# ip link show ens33   # 確定查看的信息包含以下標紅的字樣
2: ens33: <BROADCAST,MULTICAST,'PROMISC',UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP mode DEFAULT group default qlen 1000
  link/ether 00:0c:29:9f:33:9f brd ff:ff:ff:ff:ff:ff
[root@docker01 ~]# modinfo 8021q
 #查看是否加載8021q模塊，如果有信息返回，則表示該模塊已經(jīng)加載

modinfo 8021q命令返回的信息如下

[root@docker01 ~]# modprobe 8021q   #若沒有加載8021q模塊，則執(zhí)行此命令
[root@docker01 ~]# cd /etc/sysconfig/network-scripts/
[root@docker01 network-scripts]# vim ifcfg-ens33 
           ...................
BOOTPROTO=manual       # 將此配置項改為“manual”，也是手動的意思
[root@docker01 network-scripts]# cp -p ifcfg-ens33 ifcfg-ens33.10       # 復制一份網(wǎng)卡配置文件，-p保留原本文件的屬性
[root@docker01 network-scripts]# vim ifcfg-ens33.10 
BOOTPROTO=none 
NAME=ens33.10        #注意更改名稱
DEVICE=ens33.10   #注意更改名稱
ONBOOT=yes
IPADDR=192.168.10.11       # 給虛擬網(wǎng)卡設置一個IP
PREFIX=24
GATEWAY=192.168.10.2
VLAN=yes
[root@docker01 network-scripts]# cp ifcfg-ens33.10 ifcfg-ens33.20 
[root@docker01 network-scripts]# vim ifcfg-ens33.20 
BOOTPROTO=none
NAME=ens33.20
DEVICE=ens33.20
ONBOOT=yes
IPADDR=192.168.20.10        # 注意，此處的IP與ens33.10并不在同一網(wǎng)段
PREFIX=24
GATEWAY=192.168.20.2
VLAN=yes
[root@docker01 network-scripts]# ifdown ens33;ifup ens33     #重啟網(wǎng)卡，使更改生效
[root@docker01 network-scripts]# ifup ens33.10   # 啟動該網(wǎng)卡
[root@docker01 network-scripts]# ifup ens33.20   # 啟動
[root@docker01 ~]# docker network create -d macvlan --subnet 172.10.16.0/24 --gateway 172.10.16.1 -o parent=ens33.10 mac_net10
#創(chuàng)建一個macvlan網(wǎng)絡，給其定義一個網(wǎng)段、網(wǎng)關及綁定到ens33.10
[root@docker01 ~]# docker network create -d macvlan --subnet 172.20.16.0/24 --gateway 172.20.16.1 -o parent=ens33.20 mac_net20
#創(chuàng)建一個macvlan網(wǎng)絡，給其定義一個網(wǎng)段、網(wǎng)關及綁定到ens33.20
#接下來分別基于剛剛創(chuàng)建的macvlan網(wǎng)絡運行一個容器

2、第二臺docker服務器配置如下（基本與第一臺操作類似，要注意IP不要沖突）

[root@docker02 ~]# ip link set ens33 promisc on    # 開啟混雜模式
[root@docker02 ~]# ip link show ens33 
2: ens33: <BROADCAST,MULTICAST,'PROMISC',UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP mode DEFAULT group default qlen 1000
  link/ether 00:0c:29:b5:bc:ed brd ff:ff:ff:ff:ff:ff
[root@docker02 ~]# modinfo 8021q
返回信息可參考圖一

[root@docker02 ~]# modprobe 8021q   #若沒有加載8021q模塊，則執(zhí)行此命令
[root@docker02 ~]# cd /etc/sysconfig/network-scripts/
[root@docker02 network-scripts]# vim ifcfg-ens33 
      ...............#省略部分內(nèi)容
BOOTPROTO=manual    
[root@docker02 network-scripts]# scp root@192.168.171.151:/etc/sysconfig/network-scripts/ifcfg-ens33.* .         # 要注意后面的“.”
ifcfg-ens33.10                            100% 128  83.4KB/s  00:00  
ifcfg-ens33.20                            100% 124  75.0KB/s  00:00 
[root@docker02 network-scripts]# vim ifcfg-ens33.10 
BOOTPROTO=none
NAME=ens33.10
DEVICE=ens33.10
ONBOOT=yes
IPADDR=192.168.10.11      # 更改IP，以防和第一臺沖突
PREFIX=24
GATEWAY=192.168.10.2
VLAN=yes
[root@docker02 network-scripts]# vim ifcfg-ens33.20 

BOOTPROTO=none
NAME=ens33.20
DEVICE=ens33.20
ONBOOT=yes
IPADDR=192.168.20.11
PREFIX=24
GATEWAY=192.168.20.2
VLAN=yes
[root@docker02 network-scripts]# ifdown ens33;ifup ens33     # 重啟網(wǎng)卡 ，使配置生效
[root@docker02 network-scripts]# ifup ens33.10   # 啟動網(wǎng)卡
[root@docker02 network-scripts]# ifup ens33.20
#接下來創(chuàng)建macvlan網(wǎng)絡，與第一臺docker服務器創(chuàng)建的網(wǎng)絡一樣
[root@docker02 ~]# docker network create -d macvlan --subnet 172.10.16.0/24 --gateway 172.10.16.1 -o parent=ens33.10 mac_net10
[root@docker02 ~]# docker network create -d macvlan --subnet 172.20.16.0/24 --gateway 172.20.16.1 -o parent=ens33.20 mac_net20 
[root@docker02 ~]# docker run -itd --name test3 --network mac_net10 --ip 172.10.16.11 busybox
[root@docker02 ~]# docker run -itd --name test4 --network mac_net20 --ip 172.20.16.21 busybox

配置至此，即可進行ping測試了，如果配置無誤，則test3應該和test1互通（因為其都是基于mac_net10網(wǎng)絡）；test4應該和test2互通（同理）。

但test3和test1不能和test4和test2互通（因為其不是基于同一個虛擬局域網(wǎng)）。

容器test3 ping 容器test1測試（注意：若是使用vmware虛擬機進行測試，由于vmware的特性，需將其網(wǎng)絡適配器改為“橋接模式”，而不是NAT模式等。否則無法通信）

容器test4 ping 容器test2測試：

至此，跨主機網(wǎng)絡多網(wǎng)段已經(jīng)實現(xiàn)，同樣，各個容器無法與外網(wǎng)進行通信。若有耐心，還是建議閱讀docker官方文檔

到此這篇關于Docker 容器跨主機多網(wǎng)段通信解決方案的文章就介紹到這了,更多相關Docker 容器跨主機多網(wǎng)段通信內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！

您可能感興趣的文章:

使用Docker安裝SonarQube的詳細教程
這篇文章主要介紹了Docker安裝SonarQube的教程，本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下
2021-10-10
如何使用Docker部署Xxl-Job分布式任務調(diào)度中心
XXL-Job是一個開源的分布式任務調(diào)度中心,它提供了一個可視化的任務管理界面,可以方便地創(chuàng)建、編輯和監(jiān)控任務,本文詳細的講解了如何使用Docker部署xxl-job分布式任務調(diào)度服務，感興趣的朋友跟隨小編一起看看吧
2024-03-03
使用Docker快速部署ES單機方式
這篇文章主要介紹了使用Docker快速部署ES單機方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
2024-07-07
Docker nacos集群部署的實現(xiàn)
本文將深入探討如何使用Docker來部署Nacos集群,從而實現(xiàn)服務的快速擴展、高可用性和可維護性,具有一定的參考價值,感興趣的可以了解一下
2024-01-01
從源碼構(gòu)建docker-ce的過程分析
這篇文章主要介紹了從源碼構(gòu)建docker-ce的過程，本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下
2022-12-12
Docker中安裝和配置Apache Pulsar實現(xiàn)
本文介紹了在Docker中安裝和配置Apache Pulsar集群,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
2025-01-01
如何清理docker的overlay2 目錄
本文介紹了如何清理Docker的overlay2目錄,包括確認overlay2目錄的位置、清理未使用的容器和鏡像、手動清理overlay2目錄、清理日志文件、限制日志大小以及檢查磁盤空間,感興趣的朋友一起看看吧
2025-03-03
Docker Compose的安裝和使用步驟
Docker Compose是一個工具，用于定義和運行多容器應用程序的工具，接下來通過本文給大家分享Docker Compose的安裝和使用教程一起看看吧
2021-09-09
使用Docker部署Spring Boot的實現(xiàn)方法
這篇文章主要介紹了使用Docker部署Spring Boot的實現(xiàn)方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
2019-08-08
Docker教程:使用容器(簡單示例)
今天小編就為大家分享一篇關于Docker教程:使用容器(簡單示例)，小編覺得內(nèi)容挺不錯的，現(xiàn)在分享給大家，具有很好的參考價值，需要的朋友一起跟隨小編來看看吧
2018-10-10