运维进行时

一、前言
        Kubernetes 是Google开源的容器集群管理系统，基于Docker构建一个容器的调度服务，提供资源调度、均衡容灾、服务注册、动态扩缩容等功能套件，目前最新版本为0.6.2。本文介绍如何基于Centos7.0构建Kubernetes平台，在正式介绍之前，大家有必要先理解Kubernetes几个核心概念及其承担的功能。以下为Kubernetes的架构设计图：

1. Pods
        在Kubernetes系统中，调度的最小颗粒不是单纯的容器，而是抽象成一个Pod，Pod是一个可以被创建、销毁、调度、管理的最小的部署单元。比如一个或一组容器。
2. Replication Controllers
        Replication Controller是Kubernetes系统中最有用的功能，实现复制多个Pod副本，往往一个应用需要多个Pod来支撑，并且可以保证其复制的副本数，即使副本所调度分配的主宿机出现异常，通过Replication Controller可以保证在其它主宿机启用同等数量的Pod。Replication Controller可以通过repcon模板来创建多个Pod副本，同样也可以直接复制已存在Pod，需要通过Label selector来关联。
3、Services
        Services是Kubernetes最外围的单元，通过虚拟一个访问IP及服务端口，可以访问我们定义好的Pod资源，目前的版本是通过iptables的nat转发来实现，转发的目标端口为Kube_proxy生成的随机端口，目前只提供GOOGLE云上的访问调度，如GCE。如果与我们自建的平台进行整合？请关注下篇《kubernetes与HECD架构的整合》文章。
4、Labels
        Labels是用于区分Pod、Service、Replication Controller的key/value键值对，仅使用在Pod、Service、 Replication Controller之间的关系识别，但对这些单元本身进行操作时得使用name标签。
5、Proxy
        Proxy不但解决了同一主宿机相同服务端口冲突的问题，还提供了Service转发服务端口对外提供服务的能力，Proxy后端使用了随机、轮循负载均衡算法。

        说说个人一点看法，目前Kubernetes 保持一周一小版本、一个月一大版本的节奏，迭代速度极快，同时也带来了不同版本操作方法的差异，另外官网文档更新速度相对滞后及欠缺，给初学者带来一定挑战。在上游接入层官方侧重点还放在GCE（Google Compute Engine）的对接优化，针对个人私有云还未推出一套可行的接入解决方案。在v0.5版本中才引用service代理转发的机制，且是通过iptables来实现，在高并发下性能令人担忧。但作者依然看好Kubernetes未来的发展，至少目前还未看到另外一个成体系、具备良好生态圈的平台，相信在V1.0时就会具备生产环境的服务支撑能力。

一、环境部署
1、平台版本说明
    1）Centos7.0 OS
    2）Kubernetes V0.6.2
    3）etcd version 0.4.6
    4）Docker version 1.3.2

2、平台环境说明


3、环境安装
    1）系统初始化工作（所有主机）
    系统安装-选择[最小化安装]
    
    CentOS 7.0默认使用的是firewall作为防火墙，这里改为iptables防火墙（熟悉度更高，非必须）。
    1.1、关闭firewall：
    
    1.2、安装iptables防火墙
    
    2）安装Etcd（192.168.1.10主机）
    
    启动服务etcd服务，如有提供第三方管理需求，另需在启动参数中添加“-cors='*'”参数。
    
    配置etcd服务防火墙，其中4001为服务端口，7001为集群数据交互端口。
  

    3）安装Kubernetes（涉及所有Master、Minion主机）
    通过yum源方式安装，默认将安装etcd, docker, and cadvisor相关包。
    
    升级至v0.6.2，覆盖bin文件即可，方法如下：
    
    校验安装结果，出版以下信息说明安装正常。
    
    4）Kubernetes配置（仅Master主机）
    master运行三个组件,包括apiserver、scheduler、controller-manager，相关配置项也只涉及这三块。
4.1、【/etc/kubernetes/config】
# Comma seperated list of nodes in the etcd cluster KUBE_ETCD_SERVERS="--etcd_servers=http://192.168.1.10:4001" # logging to stderr means we get it in the systemd journal KUBE_LOGTOSTDERR="--logtostderr=true" # journal message level, 0 is debug KUBE_LOG_LEVEL="--v=0" # Should this cluster be allowed to run privleged docker containers KUBE_ALLOW_PRIV="--allow_privileged=false"
4.2、【/etc/kubernetes/apiserver】
# The address on the local server to listen to. KUBE_API_ADDRESS="--address=0.0.0.0" # The port on the local server to listen on. KUBE_API_PORT="--port=8080" # How the replication controller and scheduler find the kube-apiserver KUBE_MASTER="--master=192.168.1.200:8080" # Port minions listen on KUBELET_PORT="--kubelet_port=10250" # Address range to use for services KUBE_SERVICE_ADDRESSES="--portal_net=10.254.0.0/16" # Add you own! KUBE_API_ARGS=""
4.3、【/etc/kubernetes/controller-manager】
# Comma seperated list of minions KUBELET_ADDRESSES="--machines= 192.168.1.201,192.168.1.202" # Add you own! KUBE_CONTROLLER_MANAGER_ARGS=""
4.4、【/etc/kubernetes/scheduler】
# Add your own! KUBE_SCHEDULER_ARGS=""
    启动master侧相关服务
    
    5）Kubernetes配置（仅minion主机）
        minion运行两个组件,包括kubelet、proxy，相关配置项也只涉及这两块。
    Docker启动脚本更新
    # vi /etc/sysconfig/docker
    添加：-H tcp://0.0.0.0:2375，最终配置如下，以便以后提供远程API维护。
    OPTIONS=--selinux-enabled -H tcp://0.0.0.0:2375 -H fd://

    修改minion防火墙配置，通常master找不到minion主机多半是由于端口没有连通。
    iptables -I INPUT -s 192.168.1.200 -p tcp --dport 10250 -j ACCEPT

    修改kubernetes minion端配置，以192.168.1.201主机为例，其它minion主机同理。
5.1、【/etc/kubernetes/config】
# Comma seperated list of nodes in the etcd cluster KUBE_ETCD_SERVERS="--etcd_servers=http://192.168.1.10:4001" # logging to stderr means we get it in the systemd journal KUBE_LOGTOSTDERR="--logtostderr=true" # journal message level, 0 is debug KUBE_LOG_LEVEL="--v=0" # Should this cluster be allowed to run privleged docker containers KUBE_ALLOW_PRIV="--allow_privileged=false"
5.2、【/etc/kubernetes/kubelet】
### # kubernetes kubelet (minion) config # The address for the info server to serve on (set to 0.0.0.0 or "" for all interfaces) KUBELET_ADDRESS="--address=0.0.0.0" # The port for the info server to serve on KUBELET_PORT="--port=10250" # You may leave this blank to use the actual hostname KUBELET_HOSTNAME="--hostname_override=192.168.1.201" # Add your own! KUBELET_ARGS=""
5.3、【/etc/kubernetes/proxy】
KUBE_PROXY_ARGS=""
启动kubernetes服务
    
3、校验安装(在master主机操作，或可访问master主机8080端口的client api主机)
  1) kubernetes常用命令
    
    或者通过Server api for REST方式（推荐，及时性更高）：
    
注：在新版kubernetes中，所有的操作命令都整合至kubectl，包括kubecfg、kubectl.sh、kubecfg.sh等

  2）创建测试pod单元
   # /home/kubermange/pods && cd /home/kubermange/pods
   # vi apache-pod.json
{   "id": "fedoraapache",   "kind": "Pod",   "apiVersion": "v1beta1",   "desiredState": {     "manifest": {       "version": "v1beta1",       "id": "fedoraapache",       "containers": [{         "name": "fedoraapache",         "image": "fedora/apache",         "ports": [{           "containerPort": 80,           "hostPort": 8080         }]       }]     }   },   "labels": {     "name": "fedoraapache"   } }
    # kubectl create -f apache-pod.json
    # kubectl get pod

    启动浏览器访问http://192.168.1.202:8080/，对应的服务端口切记在iptables中已添加。效果图如下：

    观察kubernetes在etcd中的数据存储结构


    观察单个pods的数据存储结构，以json的格式存储。


二、实战操作
    任务：通过Kubernetes创建一个LNMP架构的服务集群，以及观察其负载均衡，涉及镜像“yorko/webserver”已经push至registry.hub.docker.com，大家可以通过“docker pull yorko/webserver”下载。
    
1、 创建一个replication ，本例直接在replication模板中创建pod并复制，也可独立创建pod再通过replication来复制。
【replication/lnmp-replication.json】
{   "id": "webserverController",   "kind": "ReplicationController",   "apiVersion": "v1beta1",   "labels": {"name": "webserver"},   "desiredState": {     "replicas": 2,     "replicaSelector": {"name": "webserver_pod"},     "podTemplate": {       "desiredState": {          "manifest": {            "version": "v1beta1",            "id": "webserver",            "volumes": [              {"name":"httpconf", "source":{"hostDir":{"path":"/etc/httpd/conf"}}},              {"name":"httpconfd", "source":{"hostDir":{"path":"/etc/httpd/conf.d"}}},              {"name":"httproot", "source":{"hostDir":{"path":"/data"}}}             ],            "containers": [{              "name": "webserver",              "image": "yorko/webserver",              "command": ["/bin/sh", "-c", "/usr/bin/supervisord -c /etc/supervisord.conf"],              "volumeMounts": [                {"name":"httpconf", "mountPath":"/etc/httpd/conf"},                {"name":"httpconfd", "mountPath":"/etc/httpd/conf.d"},                {"name":"httproot", "mountPath":"/data"}               ],              "cpu": 100,              "memory": 50000000,              "ports": [{                "containerPort": 80,              },{                "containerPort": 22,             }]            }]          }        },        "labels": {"name": "webserver_pod"},       },   } }
    执行创建命令
    #kubectl create -f lnmp-replication.json
    观察生成的pod副本清单：
[root@SN2014-12-200 replication]# kubectl get pod

2、创建一个service，通过selector指定 "name": "webserver_pod"与pods关联。
【service/lnmp-service.json】
{   "id": "webserver",   "kind": "Service",   "apiVersion": "v1beta1",   "selector": {     "name": "webserver_pod",   },   "protocol": "TCP",   "containerPort": 80,   "port": 8080 }
    执行创建命令：
    # kubectl create -f lnmp-service.json

    登录minion主机（192.168.1.201），查询主宿机生成的iptables转发规则（最后一行）
    # iptables -nvL -t nat

    访问测试，http://192.168.1.201:40689/info.php，刷新浏览器发现proxy后端的变化，默认为随机轮循算法。



三、测试过程
    1、pods自动复制、销毁测试，观察kubernetes自动保持副本数（6份）
删除replicationcontrollers中一个副本fedoraapache
[root@SN2014-12-200 pods]# kubectl delete pods fedoraapache
I1219 23:59:39.305730    9516 restclient.go:133] Waiting for completion of operation 142530
fedoraapache

#自动生成出一个副本，保持6份的效果

2、测试不同角色模块中的hostPort
    1）pod中hostPort为空，而replicationcontrollers为指定端口，则异常；两侧都指定端口，相同或不同时都异常；pod的hostport为指定，另replicationcon为空，则正常；pod的hostport为空，另replicationcon为空，则正常；结论是在replicationcontrollers场景不能指定hostport，否则异常，待持续测试。
    2）结论：在replicationcontronllers.json中，"replicaSelector": {"name": "webserver_pod"}要与"labels": {"name": "webserver_pod"}以及service中的"selector": {"name": "webserver_pod"｝保持一致；

请关注下篇《kubernetes与HECD架构的整合》，近期推出。

参考文献：
https://github.com/GoogleCloudPlatform/kubernetes/blob/master/docs/getting-started-guides/fedora/fedora_manual_config.md
https://github.com/GoogleCloudPlatform/kubernetes/blob/master/DESIGN.md
http://www.infoq.com/cn/articles/Kubernetes-system-architecture-introduction

转载请注明来源 http://blog.liuts.com/post/247/

        Docker的生态日趋成熟，开源社区也不断孵化出优秀的周边项目，覆盖网络、监控、维护、部署、开发等方面。帮助开发、运维人员快速构建、运营Docker服务环境，其中也不乏有大公司的影子，如Google、IBM、Redhat，甚至微软也宣称后续将提供Docker在Windows平台的支持。Docker的发展前景一片大好。但在企业当中，如何选择适合自己的Docker构建方案？可选的方案有kubernetes与CoreOS（都已整合各类组件），另外一种方案为Haproxy+etcd+confd，采用松散式的组织结构，但各个组件之间的通讯是非常严密的，且扩展性更强，定制也更加灵活。下面详细介绍如何使用Haproxy+etcd+confd构建一个高可用及自动发现的Docker基础架构。
一、架构优势
        约定由Haproxy+etcd+confd+Docker构建的基础服务平台简称“HECD” 架构，整合了多种开源组件，看似松散的结构，事实上已经是一个有机的整体，它们互相联系、互相作用，是Docker生态圈中最理想的组合之一，具有以下优势：
      自动、实时发现及无感知服务刷新；
      支持任意多台Docker主宿机；
      支持多种APP接入且打散至不分主宿机；
      采用Etcd存储信息，集群支持可靠性高；
      采用Confd配置引擎，支持各类接入层，如Nginx；
      支持负载均衡、故障迁移；
      具备资源弹性，伸缩自如（通过生成、销毁容器实现）；

二、架构说明
        在HECD架构中，首先管理员操作Docker Client，除了提交容器（Container）启动与停止指令外，还通过REST-API方式向Etcd（K/V）存储组件注册容器信息，包括容器名称、主宿机IP、映射端口等。Confd配置组件会定时查询Etcd组件获取最新的容器信息，根据定义好的配置模板生成Haproxy配置文件Haproxy.cfg，并且自动reload haproxy服务。用户在访问业务服务时，完全没有感知后端APP的上线、下线、切换及迁移，达到了自动发现、高可用的目的。详细架构图见图1-1。

图1-1 平台架构图

        为了方便大家理解各组件间的关系，通过图1-2进行架构流程梳理，首先管理员通过Shell或api操作容器，下一步将容器信息注册到Etcd组件，Confd组件会定时查询Etcd，获取已经注册到Etcd中容器信息，最后通过Confd的模板引擎生成Haproxy配置，整个流程结束。

图1-2架构流程图

        了解架构流程后，我们逐一对流程中各组件进行详细介绍。
1、Etcd介绍
        Etcd是一个高可用的 Key/Value 存储系统，主要用于分享配置和服务发现。
          简单：支持 curl 方式的用户 API (HTTP+JSON)
          安全：可选 SSL 客户端证书认证
          快速：单实例可达每秒 1000 次写操作
          可靠：使用 Raft 实现分布式
2、Confd介绍
        Confd是一个轻量级的配置管理工具。通过查询Etcd，结合配置模板引擎，保持本地配置最新，同时具备定期探测机制，配置变更自动reload。
3、Haproxy介绍
        HAProxy是提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。（来源百科）

三、架构部署
        平台环境基于Centos6.5+Docker1.2构建，其中Etcd的版本为etcd version 0.5.0-alpha，Confd版本为confd 0.6.2，Haproxy版本为HA-Proxy version 1.4.24。下面对平台的运行环境、安装部署、组件说明等进行详细说明，环境设备角色表如下：


1、组件安装
    1.1 Docker安装
        SSH终端登录192.168.1.22服务器，执行以下命令：
# yum -y install docker-io # service docker start # chkconfig docker on
    1.2 Haproxy、confd安装
        SSH终端登录192.168.1.20服务器，执行以下命令：
1、haproxy # yum –y install haproxy 2、confd # wget https://github.com/kelseyhightower/confd/releases/download/v0.6.3/confd-0.6.3-linux-amd64 # mv confd /usr/local/bin/confd # chmod +x /usr/local/bin/confd # /usr/local/bin/confd -version confd 0.6.2
    1.3 Etcd(v0.4.6)安装
        SSH终端登录192.168.1.21服务器，执行以下命令：
# mkdir -p /home/install && cd /home/install # wget https://github.com/coreos/etcd/releases/download/v0.4.6/etcd-v0.4.6-linux-amd64.tar.gz # tar -zxvf etcd-v0.4.6-linux-amd64.tar.gz # cd etcd-v0.4.6-linux-amd64 # cp etcd* /bin/ # /bin/etcd -version etcd version 0.4.6
2、组件配置
    2.1 Etcd配置
        由于etcd是一个轻量级的K/V存储平台，启动时指定相关参数即可，无需配置。
# mkdir /data/etcd # /bin/etcd -name etcdserver -peer-addr 192.168.1.21:7001 -addr 192.168.1.21:4001 -data-dir /data/etcd -peer-bind-addr 0.0.0.0:7001 -bind-addr 0.0.0.0:4001 &
        由于etcd具备多机支持，参数“-peer-addr”指定与其它节点通讯的地址；参数“-addr”指定服务监听地址；参数“-data-dir”为指定数据存储目录。
        由于etcd是通过REST-API方式进行交互，常见操作如下：
    1) 设置(set) key操作
# curl -L http://192.168.1.21:4001/v2/keys/mykey -XPUT -d value="this is awesome" {"action":"set","node":{"key":"/mykey","value":"this is awesome","modifiedIndex":28,"createdIndex":28}}
    2) 获取(get) key信息
# curl -L http://192.168.1.21:4001/v2/keys/mykey {"action":"get","node":{"key":"/mykey","value":"this is awesome","modifiedIndex":28,"createdIndex":28}}
    3) 删除key信息
# curl -L http://192.168.1.21:4001/v2/keys/mykey -XDELETE         {"action":"delete","node":{"key":"/mykey","modifiedIndex":29,"createdIndex":28},"prevNode":{"key":"/mykey","value":"this is awesome","modifiedIndex":28,"createdIndex":28}}
    更多操作API见https://github.com/coreos/etcd/blob/master/Documentation/api.md。

2.2 Confd+Haproxy配置
        由于Haproxy的配置文件是由Confd组件生成，要求Confd务必要与haproxy安装在同一台主机上，Confd的配置有两种，一种为Confd资源配置文件，默认路径为“/etc/confd/conf.d”目录，另一种为配置模板文件，默认路径为“/etc/confd/templates”。具体配置如下：
创建配置文件目录
# mkdir -p /etc/confd/{conf.d,templates}
（1）配置资源文件
        详细见以下配置文件，其中“src”为指定模板文件名称（默认到路径/etc/confd/templates中查找）；“dest”指定生成的Haproxy配置文件路径；“keys”指定关联Etcd中key的URI列表；“reload_cmd”指定服务重载的命令，本例中配置成haproxy的reload命令。
【/etc/confd/conf.d/ haproxy.toml】
[template] src = "haproxy.cfg.tmpl" dest = "/etc/haproxy/haproxy.cfg" keys = [   "/app/servers", ] reload_cmd = "/etc/init.d/haproxy reload"
（2）配置模板文件
        Confd模板引擎采用了Go语言的文本模板，更多见http://golang.org/pkg/text/template/，具备简单的逻辑语法，包括循环体、处理函数等，本示例的模板文件如下，通过range循环输出Key及Value信息。
【/etc/confd/templates/haproxy.cfg.tmpl】
global         log 127.0.0.1 local3         maxconn 5000         uid 99         gid 99         daemon defaults         log 127.0.0.1 local3         mode http         option dontlognull         retries 3         option redispatch         maxconn 2000         contimeout  5000         clitimeout  50000         srvtimeout  50000 listen frontend 0.0.0.0:80         mode http         balance roundrobin         maxconn 2000         option forwardfor         {{range gets "/app/servers/*"}}         server {{base .Key}} {{.Value}} check inter 5000 fall 1 rise 2         {{end}}         stats enable         stats uri /admin-status         stats auth admin:123456         stats admin if TRUE
（3）模板引擎说明
        本小节详细说明Confd模板引擎基础语法与示例，下面为示例用到的KEY信息。
# curl -XPUT http://192.168.1.21:4001/v2/keys/app/servers/backstabbing_rosalind -d value="192.168.1.22:49156" # curl -XPUT http://192.168.1.21:4001/v2/keys/app/servers/cocky_morse -d value="192.168.1.22:49158" # curl -XPUT http://192.168.1.21:4001/v2/keys/app/servers/goofy_goldstine -d value="192.168.1.22:49160" # curl -XPUT http://192.168.1.21:4001/v2/keys/app/servers/prickly_blackwell -d value="192.168.1.22:49162"
1、base
    作为path.Base函数的别名，获取路径最后一段。
{{ with get "/app/servers/prickly_blackwell"}}
    server {{base .Key}} {{.Value}} check
{{end}}
prickly_blackwell 192.168.1.22:49162
2、get
    返回一对匹配的KV，找不到则返回错误。
{{with get "/app/servers/prickly_blackwell"}}
    key: {{.Key}}
    value: {{.Value}}
{{end}}
/app/servers/prickly_blackwell 192.168.1.22:49162
3、gets
    返回所有匹配的KV，找不到则返回错误。
{{range gets "/app/servers/*"}}
    {{.Key}} {{.Value}}
     {{end}}
    /app/servers/backstabbing_rosalind 192.168.1.22:49156     /app/servers/cocky_morse 192.168.1.22:49158     /app/servers/goofy_goldstine 192.168.1.22:49160    /app/servers/prickly_blackwell 192.168.1.22:49162
4、getv
    返回一个匹配key的字符串型Value，找不到则返回错误。
{{getv "/app/servers/cocky_morse"}}
192.168.1.22:49158
5、getvs
    返回所有匹配key的字符串型Value，找不到则返回错误。
        {{range getvs "/app/servers/*"}}
           value: {{.}}
        {{end}}
       value: 192.168.1.22:49156        value: 192.168.1.22:49158        value: 192.168.1.22:49160        value: 192.168.1.22:49162
6、split
    对输入的字符串做split处理，即将字符串按指定分隔符拆分成数组。
        {{ $url := split (getv "/app/servers/cocky_morse") ":" }}
          host: {{index $url 0}}
          port: {{index $url 1}}
          host: 192.168.1.22           port: 49158
7、ls
    返回所有的字符串型子key，找不到则返回错误。
{{range ls "/app/servers/"}}
   subkey: {{.}}
{{end}}
   subkey: backstabbing_rosalind    subkey: cocky_morse    subkey: goofy_goldstine    subkey: prickly_blackwell
8、lsdir
    返回所有的字符串型子目录，找不到则返回一个空列表。
{{range lsdir "/app/"}}
   subdir: {{.}}
{{end}}
subdir: servers
（4）启动confd及haproxy服务
        下面为启动Confd服务命令行，参数“interval”为指定探测etcd的频率，单位为秒，参数“-node”为指定etcd监听服务主地址，以便获取容器信息。
# /usr/local/bin/confd -verbose -interval 10 -node '192.168.1.21:4001' -confdir /etc/confd > /var/log/confd.log & # /etc/init.d/haproxy start
3、容器配置
        前面HECD架构说明内容，有讲到容器的操作会即时注册到etcd组件中，是通过curl命令进行REST-API方式提交的，下面详细介绍通过SHELL及Python-api两种方式的实现方法，支持容器启动、停止的联动。

    3.1、SHELL实现方法
        实现的原理是通过获取“Docker run ***”命令输出的Container ID，通过“docker inspect Container ID”得到详细的容器信息，分析出容器服务映射的外部端口及容器名称，将以“/app/servers/容器名称”作为Key，“主宿机: 映射端口”作为Value注册到etcd中。其中Key信息前缀(/app/servers)与“/etc/confd/conf.d/haproxy.toml”中的keys参数是保持一致的。
【docker.sh】
#!/bin/bash if [ -z $1 ]; then         echo "Usage: c run <image name>:<version>"         echo "       c stop <container name>"         exit 1 fi if [ -z $ETCD_HOST ]; then   ETCD_HOST="192.168.1.21:4001" fi if [ -z $ETCD_PREFIX ]; then   ETCD_PREFIX="app/servers" fi if [ -z $CPORT ]; then   CPORT="80" fi if [ -z $FORREST_IP ]; then   FORREST_IP=`ifconfig eth0| grep "inet addr" | head -1 | cut -d : -f2 | awk '{print $1}'` fi function launch_container {         echo "Launching $1 on $FORREST_IP ..."         CONTAINER_ID=`docker run -d --dns 172.17.42.1 -P -v /data:/data -v /etc/httpd/conf:/etc/httpd/conf -v /etc/httpd/conf.d:/etc/httpd/conf.d -v /etc/localtime:/etc/localtime:ro $1 /bin/sh -c "/usr/bin/supervisord -c /etc/supervisord.conf"`         PORT=`docker inspect $CONTAINER_ID|grep "\"Ports\"" -A 50|grep "\"$CPORT/tcp\"" -A 3| grep HostPort|cut -d '"' -f4|head -1`         NAME=`docker inspect $CONTAINER_ID | grep Name | cut -d '"' -f4 | sed "s/\///g"|sed -n 2p`         echo "Announcing to $ETCD_HOST..."         curl -XPUT "http://$ETCD_HOST/v2/keys/$ETCD_PREFIX/$NAME" -d value="$FORREST_IP:$PORT"         echo "$1 running on Port $PORT with name $NAME" } function stop_container {         echo "Stopping $1..."         CONTAINER_ID=`docker ps -a| grep $1 | awk '{print $1}'`         echo "Found container $CONTAINER_ID"         docker stop $CONTAINER_ID   echo http://$ETCD_HOST/v2/keys/$ETCD_PREFIX/$1         curl -XDELETE http://$ETCD_HOST/v2/keys/$ETCD_PREFIX/$1 &> /dev/null         echo "Stopped." } if [ $1 = "run" ]; then   launch_container $2 else   stop_container $2 fi
docker.sh使用方法:
    1) 启动一个容器
    # ./docker.sh run yorko/webserver:v3(镜像)
    2) 停止一个容器
    # ./docker.sh stop berserk_hopper(容器名)

3.2、Docker-py API实现方法
        通过Python语言调用Docker-py的API实现容器的远程操作（创建、运行、停止），并结合python-etcd模块对etcd进行操作(set、delete)，达到与SHELL方式一样的效果，很明显，Docker-py方式更加容易扩展，可以无缝与现有运营平台对接。
        为兼顾到远程API支持，需对docker启动文件“exec”处进行修改，详细见如下：
# vi /etc/init.d/docker
$exec -H tcp://0.0.0.0:2375 -H unix:///var/run/docker.sock -d &>> $logfile &
启动容器的程序如下：
【docker_run.py】
#!/usr/local/Python/bin/python import docker import etcd import sys Etcd_ip="192.168.1.21" Server_ip="192.168.1.22" App_port="80" App_protocol="tcp" Image="yorko/webserver:v3" Port="" Name="" idict={} rinfo={} try:     c = docker.Client(base_url='tcp://'+Server_ip+':2375',version='1.14',timeout=15) except Exception,e:     print "Connection docker server error:"+str(e)     sys.exit() try:     rinfo=c.create_container(image=Image,stdin_open=True,tty=True,command="/usr/bin/supervisord -c /etc/supervisord.conf",volumes=['/data','/etc/httpd/conf','/etc/httpd/conf.d ','/etc/localtime'],ports=[80,22],name=None)     containerId=rinfo['Id'] except Exception,e:     print "Create docker container error:"+str(e)     sys.exit() try:     c.start(container=containerId, binds={'/data':{'bind': '/data','ro': False},'/etc/httpd/conf':{'bind': '/etc/httpd/conf','ro': True},'/etc/httpd/conf.d':{'bind': '/etc/htt pd/conf.d','ro': True},'/etc/localtime':{'bind': '/etc/localtime','ro': True}}, port_bindings={80:None,22:None}, lxc_conf=None,publish_all_ports=True, links=None, privileged=F alse,dns='172.17.42.1', dns_search=None, volumes_from=None, network_mode=None,restart_policy=None, cap_add=None, cap_drop=None) except Exception,e:     print "Start docker container error:"+str(e)     sys.exit() try:     idict=c.inspect_container(containerId)     Name=idict["Name"][1:]     skey=App_port+'/'+App_protocol     for _key in idict["NetworkSettings"]["Ports"].keys():         if _key==skey:             Port=idict["NetworkSettings"]["Ports"][skey][0]["HostPort"] except Exception,e:     print "Get docker container inspect error:"+str(e)     sys.exit() if Name!="" and Port!="":     try:         client = etcd.Client(host=Etcd_ip, port=4001)         client.write('/app/servers/'+Name, Server_ip+":"+str(Port))         print Name+" container run success!"     except Exception,e:         print "set etcd key error:"+str(e) else:     print "Get container name or port error."
停止容器的程序如下：
【docker_stop.py】
#!/usr/local/Python/bin/python import docker import etcd import sys Etcd_ip="192.168.1.21" Server_ip="192.168.1.22" containerName="grave_franklin" #指定需要停止容器的名称 try:     c = docker.Client(base_url='tcp://'+Server_ip+':2375',version='1.14',timeout=10)     c.stop('furious_heisenberg') except Exception,e:     print str(e)     sys.exit() try:     client = etcd.Client(host=Etcd_ip, port=4001)     client.delete('/app/servers/'+containerName)     print containerName+" container stop success!" except Exception,e: print str(e)
注意：
        由于容器是无状态的，尽量让其以松散的形式存在，映射端口选项要求使用“-P”参数，即使用随机端口的模式，减少人手干预。

四、业务上线
        HECD架构已部署完毕，接下来就是让其为我们服务，案例中使用的镜像“yorko/webserver:v3”为已经构建好的LAMP平台。类似的镜像也可以在docker-pub中下载到，开始跑起,运行dockery.sh创建两个容器：
# ./docker.sh run yorko/webserver:v3 Launching yorko/webserver:v3 on 192.168.1.22 ... Announcing to 192.168.1.21:4001... {"action":"set","node":{"key":"/app/servers/berserk_hopper","value":"192.168.1.22:49170","modifiedIndex":33,"createdIndex":33}} yorko/webserver:v3 running on Port 49170 with name berserk_hopper # ./docker.sh run yorko/webserver:v3 Launching yorko/webserver:v3 on 192.168.1.22 ... Announcing to 192.168.1.21:4001... {"action":"set","node":{"key":"/app/servers/lonely_meitner","value":"192.168.1.22:49172","modifiedIndex":34,"createdIndex":34}} yorko/webserver:v3 running on Port 49172 with name lonely_meitner
        访问Haproxy监控地址：http://192.168.1.20/admin-status，刚创建的容器已经添加到haproxy中，见图1-3。

图1-3 Haproxy监控后台截图

        1）观察Haproxy的配置文件(更新部分)：
# vi /etc/haproxy/haproxy.cfg … … listen frontend 0.0.0.0:80         mode http         balance roundrobin         maxconn 2000         option forwardfor         server berserk_hopper 192.168.1.22:49170 check inter 5000 fall 1 rise 2         server lonely_meitner 192.168.1.22:49172 check inter 5000 fall 1 rise 2 … …
        2）访问php测试文件http://192.168.1.20/info.php

图1-4 php测试文件截图

        从图1-4可以看出，获取的服务器端IP为容器本身的IP地址（172.17.0.11），在System环境变量处输出容器名为“598cf10a50a2”的信息。

参考：
http://ox86.tumblr.com/post/90554410668/easy-scaling-with-docker-haproxy-and-confd
https://github.com/AVGP/forrest/blob/master/forrest.sh