中小团队落地配置中心详解

不知道配置文件上次什么时候修改的、修改了什么内容？改了配置文件还要重新发布项目或者手动触发重启服务？无缘无故发现配置文件错了影响到线上正常部署？你是否正在因为这些问题而困扰？50+线上项目，数百+配置文件，我们经常被这些配置文件虐的生无可恋，是时候作出改变了！本文将带你解决这些问题，喝着咖啡轻松运维

配置中心选型

选型的原则：简单，易落地，不挑平台，不挑语言，尽量少的依赖。

对比了Disconf、Apollo等方案，最终选择了Etcd+Confd的方案，基本符合上边的原则，且Etcd我们在部署Kubernetes的时候已经有过使用，算是轻车熟路。

配置中心架构图

配置中心整体采用C/S的模式，用Etcd作为服务端来存储数据，Confd作为客户端去Etcd取数据更新
为了更方便的管理写了WebUI，实际上是一个Etcd服务的WebUI，主要与Etcd服务交互，去Etcd存取数据
Confd根据配置文件去Etcd集群拉取数据，然后根据模板文件将数据按照设定的格式填充的固定的位置生成最终的配置文件
配置文件生成后还可以配合check_cmd和reload_cmd命令对配置文件进行检查和重新加载

配置中心部署

Etcd集群

系统环境
- System：Debian 8
- Etcd：v3.3.9
服务器地址
- 192.168.107.101
- 192.168.107.102
- 192.168.107.103

所有服务器都需要执行以下命令来安装etcd和创建目录

1.下载etcd安装包并解压

# wget https://github.com/coreos/etcd/releases/download/v3.3.9/etcd-v3.3.9-linux-amd64.tar.gz
# tar -zxvf etcd-v3.3.9-linux-amd64.tar.gz

2.拷贝程序到/usr/bin目录下方便执行，etcd为go编写，直接可运行，主要有两个文件etcd和ectdctl，

# mv etcd-v3.3.9-linux-amd64/etcd* /usr/bin/

3.创建etcd配置文件目录/etc/etcd和数据存放目录/home/data/etcd

# mkdir /etc/etcd /home/data/etcd

三个node节点etcd配置文件分别如下

node1配置

# cat /etc/etcd/etcd.conf 
name: 'node1'
data-dir: /home/data/etcd

listen-peer-urls: http://192.168.107.101:2380
listen-client-urls: http://192.168.107.101:2379,http://127.0.0.1:2379

initial-cluster-state: 'new'
initial-cluster-token: 'etcd-cluster-conf'
advertise-client-urls: http://192.168.107.101:2379
initial-advertise-peer-urls: http://192.168.107.101:2380
initial-cluster: node1=http://192.168.107.101:2380,node2=http://192.168.107.102:2380,node3=http://192.168.107.103:2380

node2配置

# cat /etc/etcd/etcd.conf 
name: 'node2'
data-dir: /home/data/etcd

listen-peer-urls: http://192.168.107.102:2380
listen-client-urls: http://192.168.107.102:2379,http://127.0.0.1:2379

initial-cluster-state: 'new'
initial-cluster-token: 'etcd-cluster-conf'
advertise-client-urls: http://192.168.107.102:2379
initial-advertise-peer-urls: http://192.168.107.102:2380
initial-cluster: node1=http://192.168.107.101:2380,node2=http://192.168.107.102:2380,node3=http://192.168.107.103:2380

node3配置

# cat /etc/etcd/etcd.conf 
name: 'node3'
data-dir: /home/data/etcd

listen-peer-urls: http://192.168.107.103:2380
listen-client-urls: http://192.168.107.103:2379,http://127.0.0.1:2379

initial-cluster-state: 'new'
initial-cluster-token: 'etcd-cluster-conf'
advertise-client-urls: http://192.168.107.103:2379
initial-advertise-peer-urls: http://192.168.107.103:2380
initial-cluster: node1=http://192.168.107.101:2380,node2=http://192.168.107.102:2380,node3=http://192.168.107.103:2380

每个节点配置完成后均启动

需要放在后台运行，推荐使用screen工具

# /usr/bin/etcd --config-file /etc/etcd/etcd.conf

三个节点全部启动完成后，可通过etcdctl member list命令查看集群列表，确认集群状态

# etcdctl member list
732ca490026f580d: name=node3 peerURLs=http://192.168.107.103:2380 clientURLs=http://192.168.107.103:2379 isLeader=false
bc16d35c3ad1c5ee: name=node2 peerURLs=http://192.168.107.102:2380 clientURLs=http://192.168.107.102:2379 isLeader=true
f7a043d3b65cd4a4: name=node1 peerURLs=http://192.168.107.101:2380 clientURLs=http://192.168.107.101:2379 isLeader=false

Confd

1.下载confd并放到/usr/bin/目录下方便使用

# wget https://github.com/kelseyhightower/confd/releases/download/v0.16.0/confd-0.16.0-linux-amd64
# mv confd-0.16.0-linux-amd64 /usr/bin/confd
# chmod +x /usr/bin/confd

2.新建confd配置文件目录

# mkdir /etc/confd/{conf.d,templates}

3.新建资源文件，.toml文件结尾已经成了固定格式

# cat /etc/confd/conf.d/nginx.conf.toml 
[template]
src = "nginx.conf.tmpl"
dest = "/tmp/nginx.conf"

keys = [
   "/conf/project/env/nginx/nginx.conf",
]

check_cmd = "/usr/sbin/nginx -t -c {{.src}}"
reload_cmd = "/usr/sbin/service nginx reload"

这里我们新建了一个nginx配置的资源文件，参数解释：

src：指定模板文件的位置，也就是nginx配置文件模板tmpl的位置
dest：指定最终生成或更新的配置文件绝对路径，这里为了测试我们给指定到/tmp/下
keys：模板文件里边要用到的key，也就是etcd里边对应的这个项目配置文件的key
check_cmd：在更新配置文件完成后执行的check命令，这里我们就check下nginx配置文件是否有语法错误
reload_cmd：在check通过后可以执行这里配置的命令，上一步的check没有问题，就会执行reload命令重新加载配置文件
prefix：配置key的前缀，例如我们的key都是以/conf开头的，那么可以增加个配置prefix="/conf"，在下边keys里就可以省略掉/conf了
owner：配置生成配置文件的用户
mode：配置生成配置文件的权限

4.新建模板文件

# cat /etc/confd/templates/nginx.conf.tmpl 
{{getv "/conf/project/env/nginx/nginx.conf"}}

confd的模板语法有很多，这里不赘述，具体可查官网
我们是把整个配置文件的内容作为一个value存在etcd里边的，所以这里只需要一个getv指令获取到value的值填充到目标文件就可以了

联调测试

部署好了etcd集群和confd服务，接下来我们就要测试下他们是否能够正常协同工作了

1.在Etcd服务器新建一个KV值

# etcdctl set /conf/project/env/nginx/nginx.conf 'user  www-data;
> worker_processes 4;
> 
> pid        /var/run/nginx.pid;
> error_log  /home/logs/nginx/error.log  warn;
> 
> events  {
>     use epoll;
>     worker_connections 51200;
> }
> 
> http {
>     default_type  application/octet-stream;
> 
>     server {
>         listen       80;
>         server_name  domain.com;
> 
>         root /home/project/webroot;
>         index index.shtml index.html;
>     }
> }'

# 查看设置key的内容
# etcdctl get /conf/project/env/nginx/nginx.conf
user  www-data;
worker_processes 4;

pid        /var/run/nginx.pid;
error_log  /home/logs/nginx/error.log  warn;

events  {
    use epoll;
    worker_connections 51200;
}

http {
    default_type  application/octet-stream;

    server {
        listen       80;
        server_name  domain.com;

        root /home/project/webroot;
        index index.shtml index.html;
    }
}

Etcd API分v2和v3版本，两个版本差别较大，v3优化了很多，但考虑兼容性等问题我们这里使用v2版本
默认为v2版本，可以通过环境变量export ETCDCTL_API=3来切换到v3版本，v2通过etcdctl -v可以查看api版本，v3通过etcdctl version查看api版本

2.启动confd

# confd -watch -backend etcd -node=http://192.168.107.101:2379 -node=http://192.168.107.102:2379 -node=http://192.168.107.103:2379
2018-08-23T13:46:13+08:00 onlinegame.i.nease.net confd[17084]: INFO Backend set to etcd
2018-08-23T13:46:13+08:00 onlinegame.i.nease.net confd[17084]: INFO Starting confd
2018-08-23T13:46:13+08:00 onlinegame.i.nease.net confd[17084]: INFO Backend source(s) set to http://192.168.107.101:2379, http://192.168.107.102:2379, http://192.168.107.103:2379
2018-08-23T13:46:13+08:00 onlinegame.i.nease.net confd[17084]: INFO Target config /tmp/nginx.conf out of sync
2018-08-23T13:46:13+08:00 onlinegame.i.nease.net confd[17084]: INFO Target config /tmp/nginx.conf has been updated

配置参数说明

-watch：开启watch模式，监听etcd配置中心文件变化，一旦有变这边立即更新，没有这个选项配置中心修改client不会更新
-backend：后端类型，目前支持etcd、zookeeper、consul、vault、redis、file、rancher等多种类型，confd也有一些针对不通后端类型的单独配置，具体可以通过confd --help命令查看
-node：etcd节点地址，有多个节点的话就这么写多个-node就好了，我们etcd是三个节点的集群所以这里写三次'-node'
-onetime：可用来替换上边的-watch参数，表示运行一次就退出，如果你不想让配置文件实时更新，只是想更新一次，可以用这个参数
-interval：可用来替换上边的-watch参数，表示每隔多少秒去backend取一次数据，如果想降低etcd服务器压力，又想让客户端配置文件能自动更新，可以通过这个参数来控制

3.通过上边日志可以看到/tmp/nginx.conf文件已经正常同步且更新了，查看/tmp/nginx.conf确定内容正确

WebUI Kerrigan

总不能所有的配置文件更新都通过命令行的方式吧？为了方便管理，花了三天（真的是三天）写了个WebUI，命名为Kerrigan，能够实现目录树，在线查看配置、修改配置、查看配置更新历史等实用功能

配置页面，通过这个页面可以配置etcd的连接信息

首页，左侧项目列表（项目信息同步CMDB）

点击项目列表后，根据对应规则去etcd里边取出目录结构按树状呈现出来

点击配置文件，右侧会展示当前配置文件内容

点击“编辑”按钮可以编辑这个配置，新建页面一样，只是编辑不允许修改路径

点击“历史”按钮，则跳转到配置文件的历史页面，这个页面展示了这个配置文件所有的修改历史

写在最后

是不是要说这个界面丑爆了！没办法，前端后端测试加上线都我一人干，没有设计细胞，就这么看吧，并且最重要的不是功能好用么
为什么不用K8S的configmap？我们最初是想用K8S的configmap来做配置中心的，但是并非所有的项目都跑在K8S里，且修改configmap也需要重启容器才能生效，所以就没有采用了
etcd谁都可以修改么，感觉不安全啊？实际上我们是用了账号密码认证的，且只在内网，限制IP，安全一点吧，另一种解决方案是etcd走ssl，但client端要放证书比较麻烦没有采用
怎么确认Client端配置文件更新成功了？如果你是一次性启动可以在启动命令之后判断启动命令是否正常执行，如果你是watch模式或者interval，那么。。只能人肉check了吧，我也没有好方法

能看到这里一定是真爱，关注一下吧

运维咖啡吧

享受技术带来的乐趣，体验生活给予的感动