自学内容网 自学内容网
自学内容网 > 正文

Centos7，部署etcd集群，基于二进制包，https安全通讯

🕗 发布于 2024-04-13 08:19 etcd  https  安全  

由于etcd集群https通讯，所以需要自建CA数字证书，学习使用https部署etcd集群前，可以先完成一下，基于http通信的etcd集群：

关于CA原理以及工作可以阅读，以下两篇文章：
CA工作原理
对称加密与非对称加密

关于如何自建CA数字证书可以参考: 手动生成证书，文章介绍了，3种创建证书的方法，本文选择 openssl 来创建证书。

主机信息

etcd-01192.168.44.186
etcd-02192.168.44.187
etcd-03192.168.44.188

环境配置：

  1. 设置主机名
 # 分别在每台执行
 hostnamectl set-hostname etcd-01
 hostnamectl set-hostname etcd-02
 hostnamectl set-hostname etcd-03
  1. 配置本地解析
# 每台都执行
cat >> /etc/hosts << EOF
192.168.44.186  etcd-01
192.168.44.187  etcd-02
192.168.44.188  etcd-03
EOF
  1. 关闭防火墙，selinux
 # 每台都执行
 systemctl disable firewalld --now
 setenforce 0
 sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
  1. 配置时间同步
 # 每台都执行
 yum install chrony -y && systemctl enable --now chronyd

下载二进制包，并创建启动目录

# 每台都执行
cd /opt
wget https://github.com/etcd-io/etcd/releases/download/v3.5.13/etcd-v3.5.13-linux-amd64.tar.gz
tar -zxvf etcd-v3.5.13-linux-amd64.tar.gz
# 创建etcd工作目录： bin存放二进制目录，cfg存放配置文件目录，ssl存放证书目录
mkdir -p  /usr/local/etcd/{bin,cfg,ssl}
# 将二进制文件送到  /usr/local/etcd/bin目录
cp etcd-v3.5.13-linux-amd64/etcd* /usr/local/etcd/bin/
# 配置环境变量
echo 'export ETCD_HOME=/usr/local/etcd' >> /etc/profile
echo 'export PATH=$PATH:$ETCD_HOME/bin' >> /etc/profile
source /etc/profile
# 现在可以查看etcd版本
etcd --version

生成证书
可以选择在任意台节点上生成证书，然后copy到其他节点。

# 在节点etcd-01上执行
 cd /usr/local/etcd/ssl/
# 生成CA私钥
 openssl genrsa -out ca.key 2048
# 使用CA私钥生成CA根证书， -days 设置过期时间
 openssl req -x509 -new -nodes -key ca.key -subj "/CN=etcd" -days 10000 -out ca.crt 
# 生成服务端私钥
 openssl genrsa -out server.key 2048
# 创建一个用于生成证书签名请求（CSR）的配置文件，etcd-csr.conf，内容如下：
# 需要注意 [ alt_names ] 块，为集群的成员，需要把所有的集群成员IP都写进去，也可以多写入，为以后做扩展

[ req ]
default_bits = 2048
prompt = no
default_md = sha256
req_extensions = req_ext
distinguished_name = dn

[ dn ]
C = cn
ST = fujian
L = xiamen
O = etcd
OU = etcd
CN = etcd

[ req_ext ]
subjectAltName = @alt_names

[ alt_names ]
IP.1 = 192.168.44.186
IP.2 = 192.168.44.187
IP.3 = 192.168.44.188

[ v3_ext ]
authorityKeyIdentifier=keyid,issuer:always
basicConstraints=CA:FALSE
keyUsage=keyEncipherment,dataEncipherment
extendedKeyUsage=serverAuth,clientAuth
subjectAltName=@alt_names

# 基于etcd-csr.conf证书请求配置文件，生成证书签名请求：
 openssl req -new -key server.key -out server.csr -config etcd-csr.conf
# 基于 ca.key、ca.crt 和 server.csr 等三个文件生成服务端证书：
 openssl x509 -req -in server.csr -CA ca.crt -CAkey ca.key  -CAcreateserial -out server.crt -days 10000 -extensions v3_ext -extfile etcd-csr.conf -sha256
 # 查看所有的文件

[root@localhost ssl]# ll
总用量 28
-rw-r--r--. 1 root root 1082 4月  12 14:26 ca.crt
-rw-r--r--. 1 root root 1675 4月  12 14:24 ca.key
-rw-r--r--. 1 root root   17 4月  12 14:36 ca.srl
-rw-r--r--. 1 root root  486 4月  12 14:35 etcd-csr.conf
-rw-r--r--. 1 root root 1285 4月  12 14:36 server.crt
-rw-r--r--. 1 root root 1050 4月  12 14:35 server.csr
-rw-r--r--. 1 root root 1679 4月  12 14:26 server.key

# 查看证书签名请求：
 openssl req  -noout -text -in ./server.csr
# 查看证书：
 openssl x509  -noout -text -in ./server.crt
# 将所有证书文件分发到 etcd-02 , etcd-03 节点
 scp * etcd-02:/usr/local/etcd/ssl/
 scp * etcd-03:/usr/local/etcd/ssl/

启动集群

  1. 创建etcd配置文件

如果有部署http协议的etcd集群的经验，观察配置文件就可以看出，就是配置了变量，将之前运行时的参数写入到了配置文件中， 协议由http改成了https。

# etcd-01
cat > /usr/local/etcd/cfg/etcd.conf << EOF
#[Member]
ETCD_NAME="etcd-01"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.44.186:2380"
ETCD_LISTEN_CLIENT_URLS="https://192.168.44.186:2379"

#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.44.186:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.44.186:2379"
ETCD_INITIAL_CLUSTER="etcd-01=https://192.168.44.186:2380,etcd-02=https://192.168.44.187:2380,etcd-03=https://192.168.44.188:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"
EOF

# etcd-02
cat > /usr/local/etcd/cfg/etcd.conf << EOF
#[Member]
ETCD_NAME="etcd-02"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.44.187:2380"
ETCD_LISTEN_CLIENT_URLS="https://192.168.44.187:2379"

#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.44.187:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.44.187:2379"
ETCD_INITIAL_CLUSTER="etcd-01=https://192.168.44.186:2380,etcd-02=https://192.168.44.187:2380,etcd-03=https://192.168.44.188:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"
EOF

# etcd-03
cat > /usr/local/etcd/cfg/etcd.conf << EOF
#[Member]
ETCD_NAME="etcd-03"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.44.188:2380"
ETCD_LISTEN_CLIENT_URLS="https://192.168.44.188:2379"

#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.44.188:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.44.188:2379"
ETCD_INITIAL_CLUSTER="etcd-01=https://192.168.44.186:2380,etcd-02=https://192.168.44.187:2380,etcd-03=https://192.168.44.188:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"
EOF

参数详情讲解：

ETCD_NAME	      				etcd的节点名字,自定义名字,etcd节点的名字不能相同
ETCD_DATA_DIR    				etcd的数据存储目录
ETCD_LISTEN_CLIENT_URLS			用于当前节点与客户端交互的URL地址，每个节点同样可以向客户端提供多个URL地址，多个地址使用道号分隔节课,端口一般保持默认2379即可
ETCD_LISTEN_PEER_URLS	   		用于集群内各个节点之间通信的URL地址，每个节点可以监听多个URL地址,集群内部将通过这些URL地址进行数据交互,例如，Leader节点的选举、Message消息传输或是快照传输等,端口一般保持默认2380即可
ETCD_ADVERTISE_CLIENT_URLS		建议使用的客户端通信url,该值用于etcd 代理或etcd成员与etcd节点通信,与listen-client-urls参数值保持一致即可
ETCD_INITIAL_ADVERTISE_PEER_URLS	建议用于集群内部节点之间交互的URL地址,节点间将以该值进行通信,与listen-peer-urls参数值保持一致即可
ETCD_INITIAL_CLUSTER				集群中所有的initial-advertise-peer-urls的合集,etcd启动的时候,会通过这个配置找到其他etcd节点的列表
ETCD_INITIAL_CLUSTER_TOKEN 			节点的token值,该值可自定义,设置该值后集群将生成唯一id,并为每个节点也生成唯一id,当使用相同配置文件再启动一个集群时,只要该token值不一样,etcd 集群就不会相互影响
ETCD_INITIAL_CLUSTER_STATE			初始化时集群的状态,可取值:new和existing,new代表新建的集群,existing 代表加入已经存在的集群
  1. 创建etcd.service文件，将etcd服务加入到systemd系统进程
# 每台节点都执行
cat > /usr/lib/systemd/system/etcd.service << EOF
[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target

[Service]
Type=notify
EnvironmentFile=/usr/local/etcd/cfg/etcd.conf
ExecStart=/usr/local/etcd/bin/etcd \
--cert-file=/usr/local/etcd/ssl/server.crt \
--key-file=/usr/local/etcd/ssl/server.key \
--peer-cert-file=/usr/local/etcd/ssl/server.crt \
--peer-key-file=/usr/local/etcd/ssl/server.key \
--trusted-ca-file=/usr/local/etcd/ssl/ca.crt \
--peer-trusted-ca-file=/usr/local/etcd/ssl/ca.crt \
--logger=zap
Restart=on-failure
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target
EOF
# 加载systemd 配置文件
systemctl daemon-reload

参数详情讲解：

EnvironmentFile		配置文件路径
ExecStart			二进制启动文件路径
--cert-file			客户端服务器TLS证书文件的路径
--key-file			客户端服务器TLS密钥文件的路径
--peer-cert-file	与集群其他成员通讯TLS证书文件的路径
--peer-key-file		与集群其他成员通讯TLS密钥文件的路径
--trusted-ca-file	客户端服务器TLS可信CA证书文件的路径
--peer-trusted-ca-file		与集群其他成员通讯TLS可信CA证书文件的路径
--logger=zap		zap结构化日志记录（目前只支持“zap”进行结构化日志记录。）

  1. 启动

     # 同时启动etcd
  systemctl start etcd
 # 自启
  systemctl enable etcd

查看etcd集群状态

etcdctl \
 --cacert="/usr/local/etcd/ssl/ca.crt"  \
 --cert="/usr/local/etcd/ssl/server.crt" \
 --key="/usr/local/etcd/ssl/server.key" \
 --endpoints="https://192.168.44.186:2379,https://192.168.44.187:2379,https://192.168.44.186:2379" \
 endpoint status  --write-out=table

+-----------------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
|          ENDPOINT           |        ID        | VERSION | DB SIZE | IS LEADER | IS LEARNER | RAFT TERM | RAFT INDEX | RAFT APPLIED INDEX | ERRORS |
+-----------------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
| https://192.168.44.186:2379 | 21465eba80fe786a |  3.5.13 |   25 kB |     false |      false |         2 |          8 |                  8 |        |
| https://192.168.44.187:2379 | 5d144d32bb3de813 |  3.5.13 |   25 kB |     false |      false |         2 |          8 |                  8 |        |
| https://192.168.44.186:2379 | 21465eba80fe786a |  3.5.13 |   25 kB |     false |      false |         2 |          8 |                  8 |        |
+-----------------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+

查看etcd集群是否健康

etcdctl \
 --cacert="/usr/local/etcd/ssl/ca.crt"  \
 --cert="/usr/local/etcd/ssl/server.crt" \
 --key="/usr/local/etcd/ssl/server.key" \
 --endpoints="https://192.168.44.186:2379,https://192.168.44.187:2379,https://192.168.44.186:2379" \
 endpoint health  --write-out=table

+-----------------------------+--------+-------------+-------+
|          ENDPOINT           | HEALTH |    TOOK     | ERROR |
+-----------------------------+--------+-------------+-------+
| https://192.168.44.187:2379 |   true |  17.89323ms |       |
| https://192.168.44.186:2379 |   true |  20.69533ms |       |
| https://192.168.44.186:2379 |   true | 21.574465ms |       |
+-----------------------------+--------+-------------+-------+

列出节点成员

etcdctl \
 --cacert="/usr/local/etcd/ssl/ca.crt"  \
 --cert="/usr/local/etcd/ssl/server.crt" \
 --key="/usr/local/etcd/ssl/server.key" \
 --endpoints="https://192.168.44.186:2379,https://192.168.44.187:2379,https://192.168.44.186:2379" \
 member list  --write-out=table

+------------------+---------+---------+-----------------------------+-----------------------------+------------+
|        ID        | STATUS  |  NAME   |         PEER ADDRS          |        CLIENT ADDRS         | IS LEARNER |
+------------------+---------+---------+-----------------------------+-----------------------------+------------+
| 21465eba80fe786a | started | etcd-01 | https://192.168.44.186:2380 | https://192.168.44.186:2379 |      false |
| 51f535e47d80fd93 | started | etcd-03 | https://192.168.44.188:2380 | https://192.168.44.188:2379 |      false |
| 5d144d32bb3de813 | started | etcd-02 | https://192.168.44.187:2380 | https://192.168.44.187:2379 |      false |
+------------------+---------+---------+-----------------------------+-----------------------------+------------+

为etcdctl设置别名
在使用etcdctl时，默认要加入证书参数，集群参数很不方便，所以可以把那串固定的指令设置一个别名
例如：
临时设置别名：

取消别名： unalias etcdctl

alias etcdctl='etcdctl \
 --cacert="/usr/local/etcd/ssl/ca.crt"  \
 --cert="/usr/local/etcd/ssl/server.crt" \
 --key="/usr/local/etcd/ssl/server.key" \
 --endpoints="https://192.168.44.186:2379,https://192.168.44.187:2379,https://192.168.44.186:2379"'

永久设置别名
将指令添加到环境变量文件即可。
例如：

# 添加到用户环境变量
cat >> ~/.bashrc << EOF
alias etcdctl='etcdctl \
 --cacert="/usr/local/etcd/ssl/ca.crt"  \
 --cert="/usr/local/etcd/ssl/server.crt" \
 --key="/usr/local/etcd/ssl/server.key" \
 --endpoints="https://192.168.44.186:2379,https://192.168.44.187:2379,https://192.168.44.186:2379"'
EOF
source ~/.bashrc

# 或者添加上全局变量
cat >> /etc/profile << EOF
alias etcdctl='etcdctl \
 --cacert="/usr/local/etcd/ssl/ca.crt"  \
 --cert="/usr/local/etcd/ssl/server.crt" \
 --key="/usr/local/etcd/ssl/server.key" \
 --endpoints="https://192.168.44.186:2379,https://192.168.44.187:2379,https://192.168.44.186:2379"'
EOF
source /etc/profile

查看效果

[root@etcd-01 ~]# etcdctl endpoint status  --write-out=table
+-----------------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
|          ENDPOINT           |        ID        | VERSION | DB SIZE | IS LEADER | IS LEARNER | RAFT TERM | RAFT INDEX | RAFT APPLIED INDEX | ERRORS |
+-----------------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
| https://192.168.44.186:2379 | 21465eba80fe786a |  3.5.13 |   25 kB |     false |      false |         2 |         11 |                 11 |        |
| https://192.168.44.187:2379 | 5d144d32bb3de813 |  3.5.13 |   25 kB |     false |      false |         2 |         11 |                 11 |        |
| https://192.168.44.186:2379 | 21465eba80fe786a |  3.5.13 |   25 kB |     false |      false |         2 |         11 |                 11 |        |
+-----------------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+

原文地址：https://blog.csdn.net/qq_50247813/article/details/137674446

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

相关文章

  • Internxt：适用于Linux开源安全云存储平台

    有无数的云存储平台为您的文件提供安全可靠的存储空间。可在 Linux 上安装的热门云存储应用程序包括Dropbox、Nextcloud和Google Drive，遗憾的是，后者迄今为止不提供 Linu

    阅读更多2024-07-27
  • 数据结构-C语言-排序（4）

    归并排序、计数排序

    阅读更多2024-07-27
  • ArrayMap是何方神圣

    2.在数据量较小的情况下，ArrayMap比HashMap更节省内存，ArrayMap的查找、删除、插入操作通常比HashMap快，因为它避免了HashMap因哈希计算、哈希冲突和动态扩容带来的性能开

    阅读更多2024-07-27
  • OpenAI的《Her》为何迟迟未能面世？

    这一细节暴露了视频通话部分的延迟问题：语音部分的问题已经处理完毕，而视觉部分还在处理之前的镜头，即手机刚被拿起时摄像头拍到的木桌。5月14日，OpenAI发布了GPT-4o及其端到端实时音视频对话模式

    阅读更多2024-07-27
  • 数据结构（2）

    为建立数据元素之间的线性关系，对每个链表结点，除存放元素自身的信息之外，还需要存放一个指向其后继的指针。为指针域，存放其后继结点的地址。由于单链表的元素离散地分布在存储空间中，因此是非随机存取的存储结

    阅读更多2024-07-27
  • 全球耐火胶粘剂市场规模预测：未来六年年复合增长率CAGR为3.6%

    本报告旨在提供对全球耐火胶粘剂市场的全面分析，包括市场规模、发展趋势、供应链结构及未来增长潜力等方面。据恒州诚思研究，2023年全球耐火胶粘剂市场的规模约为17亿元，预计到2030年将接近22亿元，未

    阅读更多2024-07-27
  • ES里面常用的查询语句有哪些？

    ES里面常用的查询语句有哪些？

    阅读更多2024-07-27
  • 顺序表算法题

    后，了解的顺序表的结构以及相关概念后就可以来试着完成一些顺序表的算法题了，在本篇中将对三道顺序表相关的算法题进行讲解，希望能对你有所帮助，一起加油吧！

    阅读更多2024-07-27
  • K8s-工作负载Pod

    Pod是Kubernetes中最小的部署单元，是一个或多个紧密关联容器的组合。

    阅读更多2024-07-27
  • 项目中自定义python异常类

    在这个例子中，基类直接pass，然后JsonPathFindError重写__init__、__str__方法，这样是不是 更好，我的理由是（1）既然自定义类当然有自定义内容，不止是名称（2）Erro

    阅读更多2024-07-27
自学内容网
Copyright © 2015-2024