债务管理
matplotlib
中间件
驱动开发
MQTT
globalmapper
前后端分离项目
美食论坛系统
web前端
委托传值
storm
ReentrantLock
保险
同步锁
密度泛函理论
自定义类型
滤波
PIC
PMD
建造者模式
etcd
2024/4/12 1:24:36
微服务自动化.etcd跨主机集群
目录 一、容器间内部通信
二、跨主机通信
1、直接路由
2、Pipework
3、Flannel
①、Flannel特点
三、环境搭建
ETCD版本问题
①、修改配置文件
②、api 2 使用方法
③、 api 3 使用方法 4、 ETCD中保存网络信息
①、使用v2版的set命令向ETCD中保存flannel覆盖网络信…
云原生|kubernetes|centos7下的kubeadm部署的集群内在线部署kubesphere（外部etcd）
前言：
本文将主要就在centos7操作系统下已有的一个利用kubeadm部署的集群内在线安装kubesphere做一个介绍，该kubernetes集群是使用的etcd外部集群。
kubernetes集群的搭建本文不做过多介绍，具体的搭建流程见我的博客：
云原生|k…
patroni+etcd+antdb高可用
patronietcdantdb高可用架构图
Patroni组件功能
自动创建并管理主备流复制集群，并且通过api接口往dcs(Distributed Configuration Store，通常指etcd、zookeeper、consul等基于Raft协议的键值存储)读取以及更新键值来维护集群的状态。键值包括集群状态、…
通过命令行查看etcd数据
etcd2和etcd3是不兼容的，两者的api参数也不一样，详细请查看 etcdctl -h
api2 使用方法
ETCDCTL_API2 etcdctl ls /api3 使用方法 从kubernetes 1.6开始，etcd集群使用version 3
export ETCDCTL_API31.查看版本
etcdctl version2.查看etcd数…
etcd-14 _ etcd watch：etcd 如何实现 watch
etcd-14 _ etcd watch：etcd 如何实现 watch参考 [拉钩教育 etcd核心原理]
etcd-15 _ etcd lease：etcd 如何实现租约？
etcd-15 _ etcd lease：etcd 如何实现租约？参考 [拉钩教育 etcd核心原理]
Etcd安装以及操作
Etcd介绍 etcd 是一个高度一致的分布式键值 (key-value) 存储，它提供了一种可靠的方式来存储需要由分布式系统或机器集群访问的数据。它可以优雅地处理网络分区期间的领导者选举，即使在 领导者节点中也可以容忍机器故障。 etcd 是用 Go 语言编写的&a…
为了解决 Prometheus 大内存问题，我竟然强行将 Prometheus Operator 给肢解了。。
想获得更好的阅读体验，可以在浏览器中打开链接https://fuckcloudnative.io/posts/aggregate-metrics-user-prometheus-operator/ 直接阅读原文Promtheus 本身只支持单机部署，没有自带支持集群部署，也不支持高可用以及水平扩容，它的…
深入 kubernetes API 的源码实现
很多同学应该像我一样，第一次打开 Github 上面 kubernetes 项目源码的时候就被各种仓库搞晕了，kuberentes 组织下有很多个仓库，包括 kubernetes、client-go、api、apimachinery 等，该从哪儿仓库看起？kubernetes 仓库应…
真香！使用 Goland 网页版实现真正的云开发
云原生玩家往往都是左手 MacBook，右手 Goland，但由于大部分人的 MacBook 硬件资源有限，基本上无法丝滑地使用 Goland。即使你是 8C16G 的高富帅，多开几个 PornHub 标签页也会撑不住的，许多人不得不忍痛转向 VSCode。现…
《Kubernetes部署篇：Ubuntu20.04基于外部etcd+部署kubernetes1.24.16集群(多主多从）》
一、架构图 如下图所示： 二、环境信息 1、部署规划 主机名K8S版本系统版本内核版本IP地址备注k8s-master-631.24.16Ubuntu 20.04.5 LTS5.15.0-69-generic192.168.1.63master节点 + etcd节点k8s-master-641.24.16Ubuntu 20.04.5 LTS5.15.0-69-generic192.168.1.64master节点 + …
如何做好一个配置中心
我们知道，在程序中不应该把代码或流程写死，而应该把一些流程提取成开关、变量等。这样，就可以在不改变代码的情况下，在程序运行时执行不同的功能。这些开关、变量的集合一般放在一个或者多个文件里，称之为配置文件。一…
Kubernetes 常用功能
引言
前面我们已经简单地介绍了 Kubernetes 是什么以及如何使用，本文我们将更加全面的介绍 Kubernetes 常用的资源(或者说其中定义的一些概念)。更多相关文章和其他文章均收录于贝贝猫的文章目录。
常用功能介绍
上一章已经大致介绍了在 Kubernetes 中创建的基本…
Kubernetes 网络实现——Service网络
引言
本文介绍 Kubernetes 网络中 Service 网路部分的实现方案。更多相关文章和其他文章均收录于贝贝猫的文章目录。 Service 网络
service network 比较特殊，每个新创建的 service 会被分配一个 service IP，它实际上只是一个存在于 iptables 中的路由…
CentOS 安装etcd集群 —— 筑梦之路
环境说明
192.168.1.11
192.168.1.12
192.168.1.13
yum在线安装
yum install etcd -y
#etcd01
cat > /etc/etcd/etcd.conf <<EOF
ETCD_NAMEetcd01
ETCD_LISTEN_PEER_URLS"http://0.0.0.0:2380"
ETCD_LISTEN_CLIENT_URLS"http://0.0.0.0:2379&quo…
Kubernetes 网络实现——Pod网络
引言
前面我们已经介绍了 Kubernetes 的各方面实现方案，但是网络这块比较复杂，所以我们这里单独用来进行介绍，网络部分主要分 5 个部分，即 Pod 网络，Service 网络，外网通讯、LoadBalance、Ingress…
etcd-03 _ etcdctl：客户端操作 etcd 服务端的工具
etcd-03 _ etcdctl：客户端操作 etcd 服务端的工具参考 [拉钩教育 etcd核心原理]
华为云云耀云服务器L实例评测｜华为云上安装etcd
文章目录 华为云云耀云服务器L实例评测｜华为云上安装etcd一、什么是etcd官方硬件建议 二、华为云主机准备三、etcd安装1. 安装预构建的二进制文件2. 从源代码构建 四、etcd服务注册与发现1. 配置etcd2. 使用systemctl 管理启动etcd服务3. 注册服务4. 发现服务 五、其…
ETCD安装部署与etcdctl常用命令
ETCD安装部署与etcdctl常用命令 单机部署集群部署静态配置服务发现etcd自发现模式DNS自发现模式 etcdctl常用命令key的常规操作key的历史与watchwatch压缩 租约 etcd常用配置参数member相关参数cluster相关参数proxy相关参数安全相关参数日志相关参数不安全相关参数统计相关参数…
Kubernetes — etcd 数据库应用与操作
目录 文章目录 目录etcdetcd 的 K/V 存储etcd 的特色功能etcd 的应用场景1. 消息订阅与发布（Message Subscription and Publication）2. 服务注册与发现（Service Registration and Discovery）3. 配置共享与变更（Configuration Share and Changes）etcd 的部署单点部署模式编…
镜像仓库 Harbor 对接 MinIO 对象存储
❝本文转自大数据老司机，原文：https://www.cnblogs.com/liugp/p/16632616.html，版权归原作者所有。欢迎投稿，投稿请添加微信好友：cloud-native-yangHarbor 的部署之前使用的存储是 NFS，虽然可以使用 rsynci…
墙裂推荐：这可能是CAP理论的最好解释
> 英文蓝本：http://ksat.me/a-plain-english-introduction-to-cap-theorem 经过小码甲意译、原创配图, 建议收藏。你可能经常听到CAP定理， 这个定理描述了在设计分布式系统时的天然约束。就像其他文章一样， 本文以现实场景对比理解CAP定理…
etcd注册为systemctl服务
概述
etcd通常是bin方式安装，启动和关闭都不方便，特别是启动需要输入一大串参数。使用systemctl方式会方便很多，需要自己写service脚本，配置参数也可以使用配置文件的方式。
开始
创建systecmctl service启动脚本etcd.service …
有关Quartz.NET，与一线码农大佬对个线?
跟[一线码农大佬]翻译的某技术文对个线最近看到一线码农大佬翻译的《如何在 ASP.NET Core 中使用 Quartz.NET 执行任务调度》，行文思路：安装Quartz.NETQuartz.NET 中的Job,triggers 和 Schedulers创建 Scheduler开启和停止 scheduler创建 job 工厂创建 J…
OpenShift 4 - 对 OpenShift 的 etcd 数据库加密
《OpenShift / RHEL / DevSecOps 汇总目录》 说明：本文已经在 OpenShift 4.14 的环境中验证 文章目录 加密 etcd 数据库验证加密的 etcd 数据库解密 etcd 数据库 加密 etcd 数据库
OpenShift 对 etcd 数据库加密时只加密值，而不加密键。而资源类型、命…
ETCD原理详细解析
从etcd的架构开始，深入到源码中解析etcd 1 架构 从etcd的架构图中我们可以看到，etcd主要分为四个部分。
HTTP Server： 用于处理用户发送的API请求以及其它etcd节点的同步与心跳信息请求。Store：用于处理etcd支持的各类功能的事务…
etcd技术解析：构建高可用分布式系统的利器
1. 引言
随着云原生技术的兴起，分布式系统的构建变得愈发重要。etcd作为一个高可用的分布式键值存储系统，在这个领域发挥着至关重要的作用。本文将深入探讨etcd的技术细节，以及如何利用它构建高可用的分布式系统。 2. etcd简介
etcd是一个开…
kubeadm init 失败: failed to pull image k8s.gcr.io/etcd:3.4.13-0
一. kubeadm init 失败
报错:
error execution phase preflight: [preflight] Some fatal errors occurred:[ERROR ImagePull]: failed to pull image k8s.gcr.io/kube-apiserver:v1.19.3: output: Error response from daemon: Get https://k8s.gcr.io/v2/: net/http: reque…
k8s的二进制部署master 和 etcd
k8s的基本架构
k8smaster01： 20.0.0.70 kube-apiserver kube-controller-manager kube-scheduler etcd
k8smaster02：20.0.0.71 kube-apiserver kube-controller-manager kube-scheduler
node节点01：20.0.0.72 kubelet kube-proxy etcd
no…
利用etcd选举sdk实践master/slave故障转移
本次记录[利用etcd选主sdk实践master/slave故障转移]， 并利用etcdctl客户端验证选主sdk的工作原理。master/slave高可用集群本文目标在异地多机房部署节点，slave作为备用实例启动，但不接受业务流量， 监测到master宕机，…
源码解读etcd heartbeat,election timeout之间的拉锯
转一个我在知乎上回答的有关raft election timeout/ heartbeat interval 的回答吧。答：准确来讲：election是timeout，而heartbeat 是interval， 这样就很容易理解了。heartbeat interval 是leader 安抚folower的时间，这…
Redis学习指南(11)-Redis的有序集合数据类型介绍
文章目录 特点和用途常用命令插入操作查询操作删除操作 示例总结 Redis的有序集合数据类型是一种高效的数据结构，能够存储多个成员和对应的分值，并能够根据分值进行快速的查找、插入和删除操作。本文将详细介绍Redis的有序集合数据类型，包括其…
终于可以像使用 Docker 一样丝滑地使用 Containerd 了！
有追求的工程师一般都是有技术洁癖的，云原生的世界更是如此，Kubernetes 虽然制定了容器运行时接口（CRI）标准，但早期能用的容器运行时只有 Docker，而 Docker 又不适配这个标准，于是给 Docker 开了…
Calico 网络策略深度解析
本文主要探讨 Calico 项目如何实现 Kubernetes 的网络策略（Network Policy）。网络策略是一种以应用为中心的结构，设置规则来指定 Pod 如何与各类网络“实体”通信。NetworkPolicies are an application-centric construct which allow you to…
为什么Pod突然就不见了？
最近发生一件很诡异的事情, 某个 ns 下的 pods 会莫名其妙地被删了, 困扰了好一阵子，排查后发现问题的起因还是挺有意思。问题现象交代一下背景, 这些 pod 都是由 argo-workflow 发起的 pod, 执行完特定的任务之后就会变成 Succeeded, 如果执行时有问题，…
真◉彻底解决 gcr、quay、DockerHub 镜像下载难题！
该文章随时会有校正更新，公众号无法更新，欢迎订阅博客查看最新内容：https://fuckcloudnative.io前言在使用 Docker 和 Kubernetes 时，我们经常需要访问 gcr.io 和 quay.io 镜像仓库，由于众所周知的原因，这些…
不好，WireGuard 与 Kubernetes CNI 摩擦生火了。。
写了这么多篇 WireGuard 相关的保姆教程，今天终于牵扯到 Kubernetes 了，不然怎么对得起“云原生”这三个字。如果看到这篇文章的你仍然是个 WireGuard 新手，请务必按照以下顺序阅读每一篇文章：????WireGuard 教程：…
一个简单的ETCD GUI工具
使用ETCD没有好用的GUI工具，随手用c#写了一个，
做得好玩的一个ETCD GUI工具，后面加上CLI 工具，类似于 redis Cli工具一样，简化在 Linux下面的操作，不知道有没有必要， git 地址如下，…
Go 实现watch dog的样板
Go 实现watch dog的样板
package mainimport ("fmt"
)func main() {wd : NewWatchDog()wd.Register("price", NewPrice())wd.Register("quote", NewQuote())wd.Run()
}type Dog interface {Start()
}type WatchDog struct {
}var dogMap map[s…
K8s组件：etcd安装、使用及原理（Linux）
K8s组件：etcd安装、使用及原理（Linux）
1 介绍及安装
1.1 介绍
分布式系统架构中对一致性要求很高，etcd就满足了分布式系统中的一致性要求。
实现了分布式一致性键值对存储的中间件，支持跨平台，有活跃的…
Kubernetes二进制部署（单节点）
文章目录实验环境实验过程1.Etcd集群部署2.docker引擎部署3.flannel网络部署4.部署master节点5.部署node节点实验故障及如何处理实验环境
主机名 IP地址 安装软件
Master01：14.0.0.50 kube-apiserver kube-controller-manager kube-scheduler etcd
…
ETCD中MVCC的运用
MVCC 并发与锁从来都是密不可分的两个东西，在一个请求的过程中，难免会操作各种各样的资源，那么在多个请求同时到来的时候，各个请求处理资源是无序的，肯定就会造成干扰，那么普遍的做法就是加锁。 但是&#…
K8S学习指南(67)-脚手架工具KubeBuilder
文章目录 引言KubeBuilder 的历史发展KubeBuilder 的设计理念1. 约定优于配置2. CRD 和控制器的生成3. 可插拔的架构4. 集成了测试框架 KubeBuilder 的使用1. 安装 KubeBuilder2. 创建一个新的 KubeBuilder 项目3. 创建一个新的 API 对象4. 实现控制器逻辑5. 生成 CRD 和控制器…
etcd 与 Consul 的一致性读对比
本文分享和对比了 etcd 和 Consul 这两个存储的一致性读的实现。 作者：戴岳兵，爱可生研发中心工程师，负责项目的需求开发与维护工作。 爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。 本…
GoZero微服务个人探索之路（一）Etcd：context deadline exceeded原因探究及解决
产生错误原因就是与etcd交互时候需要指定：
证书文件的路径
客户端证书文件的路径
客户端密钥文件的路径
（同时这貌似是强制默认就需要指定了） 但我们怎么知道这三个文件路径呢，如下方法
1. 找到etcd的配置文件，里…
性能调优之 ETCD
磁盘 IOPS 调整
etcd 对磁盘写入延迟非常敏感，通常需要 50 顺序写入 IOPS(例如: 7200RPM 磁盘)。对于负载较重的集群，建议使用 500 顺序写入 IOPS(例如，典型的本地 SSD 或高性能虚拟化块设备)。请注意，大多数云服务器或者云存储提…
etcd 04 etcd 网关模式
etcd 网关模式 构建 etcd 集群的门户 etcd 网关是一个简单的TCP 代理
什么时候使用 etcd 网关模式
必须知道所要访问的 etcd 集群实例的地址多个应用程序访问相同的 etcd 集群需要知道 etcd 集群的广播的客户端端点地址对于客户端应用程序来说，不会感知到集群实…
ETCD本地多成员集群部署
目录安装部署etcdctl 操作etcd使用http请求操作etcd本地多成员集群搭建python获取成员信息参考安装部署
按照官网文档，安装release版本
https://etcd.io/docs/v3.4/install/
[rootVM-33-162-centos /usr/local/bin]# etcd --version
etcd Version: 3.4.16
Git SH…
在 Kubernetes 中部署高可用 Harbor 镜像仓库
该文章随时会有校正更新，公众号无法更新，欢迎订阅博客查看最新内容：https://fuckcloudnative.io前言系统环境：kubernetes 版本：1.18.10Harbor Chart 版本：1.5.2Harbor 版本：2.1.2Helm 版本&…
K8S核心组件etcd详解（上）
1 介绍 https://etcd.io/docs/v3.5/ etcd是一个高可用的分布式键值存储系统，是CoreOS（现在隶属于Red Hat）公司开发的一个开源项目。它提供了一个简单的接口来存储和检索键值对数据，并使用Raft协议实现了分布式一致性。etcd广泛应用…
CKA 真题练习（十六）备份还原etcd
题目：
首先，为运行在 https://11.0.1.111:2379 上的现有 etcd 实例创建快照并将快照保存到 /var/lib/backup/etcd-snapshot.db (注意，真实考试中，这里写的是 https://127.0.0.1:2379) 为给定实例创建快照预计能在几秒钟内完成。 …
go-zero 开发之安装 etcd
本文只涉及 Linux 上的安装。
二进制安装
下载二进制安装包
#ETCD_VERv3.4.28
ETCD_VERv3.5.10
DOWNLOAD_URLhttps://github.com/etcd-io/etcd/releases/download
INSTALL_DIR/tmprm -f ${INSTALL_DIR}/etcd-${ETCD_VER}-linux-amd64.tar.gz
rm -rf ${INSTALL_DIR}/etcd-dow…
K8S篇之etcd数据备份与恢复
一、etcd备份与恢复
基本了解： 1、k8s 使用etcd数据库实时存储集群中的数据，安全起见，一定要备份。 2、备份只需要在一个节点上备份就可以了，每个节点上的数据是同步的；但是数据恢复是需要在每个节点上进行。 3、etcd…
K8S学习指南(70)-K8S中的informa机制
引言
在 Kubernetes 集群中，Informer 是一种重要的机制，用于监控和处理集群中资源对象的变化。它是基于观察者模式设计的，允许开发者注册对某类资源对象的关注，并在对象发生变化时得到通知。本文将深入介绍 Kubernetes 中的 Info…
处理go中clientv3连接etcd包异常
目录 1、创建任意项目
2、出现异常
3、处理异常 1、创建任意项目
go mod init go-test
项目代码内容：
package main//go.etcd.io/etcd/clientv3重点处理这个包
import ("context""fmt""go.etcd.io/etcd/clientv3""log""ti…
SpringBoot中的线程池，你真的会用么？
点击上方“果汁简历”，选择“置顶公众号”前言前两天做项目的时候，想提高一下插入表的性能优化，因为是两张表，先插旧的表，紧接着插新的表，一万多条数据就有点慢了后面就想到了线程池ThreadPoolExecutor&…
K8S：二进制安装K8S(单台master)安装etcd和master
系列文章目录 文章目录 系列文章目录一、安装K8S1.系统初始化配置2.部署docker引擎3.部署etcd集群 二、1.2. 总结 一、安装K8S
1.系统初始化配置
注意：该操作在所有node节点上进行，为k8s集群提供适合的初始化部署环境
#所有节点执行
systemctl stop f…
记一次 K8s 控制平面排障的血泪经历！
集群以及环境信息的信息：k8s v1.18.43 节点 Master 均为 8 核 16Gi, 50Gi-SSD差异化配置的 19 节点 Minioncontrol-plane 组件 (kube-apiserver,etcd,kube-controller-manager, kube-scheduler) 以 static-pod 的模式进行部署3 个 kube-apiserver 前端有一个 VIP 进…
摸鱼还有段位？请勿对号入座...
承认吧！很多时候的加班就是为了弥补工作时间摸鱼的亏空而摸鱼，也是有段位和技巧的——1 各显神通 2 团队脑暴 3 带薪拉屎 4 手速比拼 5 里应外合 6 定时发送 7 天然优势 8 幡然醒悟 9 分工明确 一个月后——你周围的职场摸鱼达人多吗？你见过哪…
CentOS8 安装/测试 etcd
可通过这篇笔记先简单了解下etcd：《etcd 介绍（笔记）》
一，下载及安装etcd
etcd ：https://etcd.io/docs/v3.4.0/demo/
git 地址：https://github.com/etcd-io/etcd 我用了最新的安装包
wget http://githu…
etcd的使用（GO）
文章目录1. 下载1.1 windows2. 连接2.1 修改环境变量（window）3. 简单使用3.1 etcdctlputgetdel3.2 Go语言安装 Golang 的 Etcd 包连接ETCDPUTGETDeleteLease续租Op 获取设置联合操作Txn事务操作Watch 监听操作etcd是一个非常可靠的kv存储系统，…
【云原生etcd】etcd的快速入门
在云计算时代，如何让服务快速透明地接入到计算集群中，如何让共享配置信息快速被集群中的所有机器发现，更为重要的是，如何构建这样一套高可用、安全、易于部署以及响 应快速的服务集群，已经成为了迫切需要解决的问题。目…
【etcd】的限流设计
一、etcd限流实现
从etcd v3.4版本开始，etcd开始使用golang.org/x/time/rate库来实现限流器。这个库提供了一个简单的令牌桶算法来实现速率限制。etcd使用这个库来控制客户端请求的速率，以防止过载和服务中断。 golang.org/x/time/rate库的主要功能包括…
kubectl之后发生了什么
1、kubectl 接收到命令后随即调用 apiserver ,写入一条数据到etcd。 2、deployment controller 监听到有一条创建dp的要创建，于是创建了一个replica set，写入到etcd 3、replicat set controller发现有一个replica set,下面一个pod也没有，于是…
初识分布式键值对存储etcd
欢迎大家到我的博客浏览。胤凯 (oyto.github.io)大家好，今天我带大家来学习一下 etcd。
一、什么是 etcd
etcd 是一个开源的分布式键值存储系统，主要用于构建分布式系统中那点服务发现、配置管理、分布式锁等场景。它采用 Raft 一致性算法来确保所有节…
Kuberntes 系统下的 `rm -rf /`，执行完就可以跑路了
本文档主要用于展示 Docker 特权模式的危害，请谨慎操作。1. 直接删除全部资源 如果能登陆机器，收拾好东西，执行命令:kubectl delete all --all --all-namespaces但是也有可能没那么大权限，那么就试试下面的方法吧。下面的方法依赖…
使用Docker镜像部署etcd集群
使用Docker镜像部署etcd集群 参考： 官方参考 https://github.com/coreos/etcd/blob/master/Documentation/op-guide/container.md#docker etcd使用 http://blog.csdn.net/u010424605/article/details/44592533 docker网络配置 http://www.infoq.com/cn/articles/doc…
kubeadm部署k8s1.27.2版本高可用集群(外部etcd集群带TLS认证）
文章目录 环境软件版本服务器系统初始化etcd 证书生成etcd集群部署负载均衡器部署部署k8s集群部署网络组件FAQ 环境
控制平面节点主机的配置最少是2C2G,否则kubeadm init的时候会报错
主机名IP组件系统os128192.168.177.128etcd、kube-apiserver、kube-controller-manager、k…
CoreDNS实战(三)-CoreDNS+ETCD实现DNS负载均衡
1 概述
DNS负载均衡简单来说就是通过一个域名绑定多个IP地址，当客户端访问域名时，DNS服务器将轮询返回其中一个IP，实现客户端分流的作用。 在K8s环境中CoreDNS作为容器服务的DNS服务器，那么就可以通过CoreDNS来实现DNS负载均衡&a…
go语言 | etcd源码导读（一）
参考
本文参考https://zhuanlan.zhihu.com/p/600893553 https://www.topgoer.com/%E6%95%B0%E6%8D%AE%E5%BA%93%E6%93%8D%E4%BD%9C/go%E6%93%8D%E4%BD%9Cetcd/etcd%E4%BB%8B%E7%BB%8D.html 前沿etcd 与 raft
etcd是使用Go语言开发的一个开源的、高可用的分布式key-value存储系…
CKA认证之Etcd备份与恢复
题目介绍： 资料参考： https://kubernetes.io/zh-cn/docs/tasks/administer-cluster/configure-upgrade-etcd 解题： 1、备份
#参考模板列出 etcdctl 可用的各种选项。
#例如，你可以通过指定端点、证书和密钥来制作快照࿰…
Kubernetes Etcd不可用日志:NOSPACE 的问题修复
两套k8s集群同一天同时出现etcd集群空间超过配额，kubectl get cs时发现所有的etcd均返回503报错，查看etcd的告警发现有NO SPACE的信息且 etcdctl --endpoints${ETCD_ENDPOINT} --cert${ETCD_CERTFILE} --key${ETCD_KEYFILE} --cacert${ETCD_CAFILE} endp…
admin配置k8s
系列文章目录 文章目录 系列文章目录一、实验1.实验要求2.3. 所有节点安装docker4.所有节点安装kubeadm，kubelet和kubectl5.部署K8S集群6./所有节点部署网络插件flannel7./在master节点查看节点状态 总结 一、实验
1.实验要求
master（2C/4G，…
记一次延时队列的打怪升级之路
作者 | 李增光企鹅杏仁后端工程师：只有变秃，才能变强！何为延迟队列？顾名思义，首先它要具有队列的特性，再给它附加一个延迟消费队列消息的功能，也就是说可以指定队列中的消息在哪个时间点被消费。…
听说你还不会归并排序？
作者 | 张琼芳不忘初心，方得始终归并排序 MergeSort 是在计算机上实现的最早的算法之一， 由冯诺伊曼 John von Neumann 在 1945 年发表" 101 报告"时提出，后在 1951 年完成的 EDVAC 计算机上应用了这一算法。归并排序是在归并的基础…
etcd数据备份数据恢复数据压缩碎片整理
在这#!/usr/bin/python3
# encoding: utf-8
#filename: etcd-backups-restore-compress-defragmentation.py
#author: gaohaixiang
#writetime:202401161055"""
脚本功能：
etcd 数据备份，使用备份数据进行数据库重构，数据压缩…
Centos7 安装 Etcd
Github上下载并解压安装包
wget https://github.com/coreos/etcd/releases/download/v3.4.10/etcd-v3.4.10-linux-amd64.tar.gz
tar xzvf etcd-v3.4.10-linux-amd64.tar.gz
mv etcd-v3.4.10-linux-amd64 /opt/etcd解压后是一些文档和两个二进制文件etcd和etcdctl。etcd是serve…
即使累死自己，也要饿死同行——网页压缩算法值得你收藏！
作者 | 谭军一虽然过去不能改变，“未来” 可以 ！网页数据或者图像数据往往比较大，对于传输和存储都不太友好，我们在请求静态资源时能看到 Request Headers的accept-encoding 通常会包含 gzip, deflate, br 三种格式，其…
Kubernetes探针踩坑记
1. 荒腔走板最近一两个月生产K8s集群频繁出现短时503 Service Temporarily Unavailable，还不能主动复现，相当郁闷，压力山大。HTTP 5xx响应状态码用于定义服务端错误。500 Internal Server Error：所请求的服务器遇到意外的情况并阻…
Kubernetes 网络实现——外网通讯
引言
本文介绍 Kubernetes 网络中外网通讯、LoadBalance 以及 Ingress 部分的实现方案。更多相关文章和其他文章均收录于贝贝猫的文章目录。 与外网通讯
到目前为止，我们已经清楚了 Kubernetes 集群内部的网络通讯原理，但是我们还没有讲清楚外部世界的…
流水线中使用 docker in pod 方式构建容器镜像
上个月参加了 Rancher 社区举办的 《Dockershim 即将被移除，你准备好了么？[1]》直播分享后，得知自 1.24 版本之后，Kubernetes 社区将正式放弃对 docker CRI 的支持，docker CRI 这部分代码则由 cri-dockerd[2] 项目来接…
(二)kubernets集群二进制单节点部署
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、CA证书1、制作官方颁发的证书2、制作master端的证书3、制作node瑞证书4、证书有效期二、k8s二进制部署1、ETCD集群部署1.1、创建cfssl类型工具下载脚本2.2、…
Go gRPC etcd实现服务注册发现与负载均衡
一、前置
如果不了解go grpc 调用方式和实现细节，可以参考上一篇文章 golang grpc配置使用实战教程
涉及技术点
技术点版本描述golang1.19基础版本grpcv1.41.0gRPC golang包etcd server3.5.0注册中心etcd clientv3.5.8客户端服务发现和负载均衡
服务注册
服务…
Kubernetes CRI 分析 - kubelet 创建 Pod 分析
作者：良凯尔，云原生爱好者，目前在某互联网大厂，主要负责 Kubernetes 相关的研发工作。kubelet CRI 创建 Pod 调用流程下面以 kubelet dockershi 创建 Pod 调用流程为例做一下分析。kubelet 通过调用 dockershim 来创建并启动容器&…
什么鬼，Kubelet 重启之后容器也跟着重启了？
更多奇技淫巧欢迎订阅博客：https://fuckcloudnative.io1. 问题描述在修复 cgroup 泄漏问题时会现停掉 kubelet，待修复完成后启动 kubelet 组件，重启后收到业务反馈，业务容器重启了。2. 问题排查这个问题具体原因的排查还是花了一定…
教你一分钟内导出 Grafana 所有的 Dashboard
该文章随时会有校正更新，公众号无法更新，欢迎订阅博客查看最新内容：https://fuckcloudnative.io前言目前我们 k8s 集群的 Grafana 使用 ceph 作为持久化存储，一但我将 Grafana 的 Deployment 删除重建之后，之前的所有数…
又超时了！Etcd分布式锁你用明白了吗？
现象线上程序报错，错误信息：lock failed: context deadline exceeded, retry问题排查很明显的是获取锁超时了，由于用的 etcd 的分布式锁，可能是 etcd 出问题了，此时看到大量 etcd 日志，rejected connection…
Kubernetes 常见问题排查与解决方案！（纯干货）
毫无疑问，Kubernetes 是个伟大的开源作品，给作者所在团队中极大地提高了生产力，但在使用过程中，相信很多人跟作者一样，会遇到各种各样的问题，有时候解决的过程也是非常享受，某些问题还可能反复遇…
KubeSphere 核心架构浅析
作者简介：万宏明，KubeSphere 核心贡献者，专注于云原生安全领域。KubeSphere 是在 Kubernetes 之上构建的面向云原生应用的容器混合云管理系统。支持多云与多集群管理，提供全栈的自动化运维能力，帮助企业用户简化 DevOp…
K8S学习指南(65)-Operator介绍
文章目录 引言什么是 Operator？Operator 的优势1. 自动化操作2. 定制资源3. 增强运维功能4. 增强 K8S 原生 API Operator 的优缺点优点：1. 自动化运维2. 定制资源3. 跨平台性4. 增强 K8S API缺点：1. 学习成本2. 复杂性3. 需要专业知识 Operat…
CoreDNS实战(二)-CoreDNS+ETCD实现DNS服务发现
1 引言
在前面的文章中讲了如何搭建一个内网的DNS服务，但是这里有个问题，mxsm-register.local表示局域网的注册中心域名，如果需要将每台部署了注册中心的IP地址写到CoreDNS的配置文件中。这样就需要每次都去修改 Corefile 配置文件。那有没有…
go语言操作etcd
首先在后台启动etcd 写一段go代码 package mainimport ("context""fmt"clientv3 "go.etcd.io/etcd/client/v3""time"
)func main() {// 创建客户端，连接etcdcli, err : clientv3.New(clientv3.Config{Endpoints: []strin…
etcd集群部署安装
环境信息主机名称IP地址操作系统Etcd-1172.31.6.163Amazon Linux2Etcd-2172.31.11.115Amazon Linux2Etcd-3172.31.14.107Amazon Linux2利用cfssl生成etcd所需的相关证书证书的生成仅需要在一个节点上配置即可，当然也可使用管理服务器做升级下载源码并构建二进制文件…
【etcd】编译与安装
一、前言 etcd是一个分布式键值存储系统，用于共享配置和服务发现，是Kubernetes等系统的基石。在本文中，我们将介绍如何在Linux环境下编译和安装etcd技术组件。 二、环境准备
操作系统：Ubuntu 18.04 LTS或CentOS 7.x编译环境&…
Go Etcd 分布式锁实战
1 分布式锁概述
谈到分布式锁，必然是因为单机锁无法满足要求，在现阶段微服务多实例部署的情况下，单机语言级别的锁，无法满足并发互斥资源的安全访问。常见的单机锁如Java的jvm锁Lock、synchronized，golang的Mutex等 对…
k8s-高可用etcd集群 26
reset掉k8s2，k8s3，k8s4节点 清理完网络插件后重启 快速创建一个k8s集群
修改初始化文件 添加master节点 备份 查看etcd配置 启动docker 将etcd二进制命令从容器拷贝到本机 备份 查看快照状态 删除集群资源 恢复 停掉所有的核心组件 从快照恢复 重启所有…
K8S学习指南(64)-K8S源代码走读之Kubelet
文章目录 前言Kubelet 的代码结构Kubelet 的核心逻辑1. Pod 生命周期管理1.1 Pod 启动逻辑1.2 Pod 状态管理1.3 Pod 事件处理 2. 容器启动和监控2.1 容器启动逻辑2.2 容器监控 3. 容器网络和存储3.1 容器网络3.2 容器存储 4. 资源管理4.1 资源分配 5. 启动和注册 Kubelet5.1 启…
在 K8s 中部署企业级发布订阅消息系统 Apache Pulsar
时间过得比较久了，在开始今天的学习之前先回顾一下前面已经学习的 13 节的内容。阶段复习Pulsar 是一个支持多租户的、高性能的、分布式的 Pub-Sub 消息系统。了解 Pulsar 的架构。Pulsar 提供了一个比 Cluster 更高级别的抽象 Instance。一个 Pulsar Instance 由多…
etcd-05 _ gRPC 代理模式：实现可伸缩的 etcd API
etcd-05 _ gRPC 代理模式：实现可伸缩的 etcd API参考 [拉钩教育 etcd核心原理]
Etcd 常用命令与备份恢复
1. etcd简介
官方网站：etcd.io 官方文档：etcd.io/docs/v3.5/op-guide/maintenance 官方硬件推荐：etcd.io/docs/v3.5/op-guide/hardware github地址：github.com/etcd-io/etcd
etcd是CoreOS团队于2013年6月发起的开源项目…
etcd TLS集群
概述
etcd集群默认情况下使用明文互相通讯，在某些场景下不安全，etcd走的都是HTTP协议，当然可以使用TLS/SSL方式加密通讯。 etcd集群用到三个证书：
client证书：用于客户端程序，如etcdctl连接
server证书&…
第28关 k8s监控实战之Prometheus(四)
------> 课程视频同步分享在今日头条和B站
大家好，我是博哥爱运维。这节课我们利用prometheus来监控二进制部署的ETCD集群。
作为K8s所有资源存储的关键服务ETCD，我们也有必要把它给监控起来，正好借这个机会，完整的演示一次利…
APISIX 中ETCD 的问题
1. 问题1 ： Error: client: etcd cluster is unavailable or misconfigured; error #0: client: endpoint http://etcd:2379 exceeded header timeout error #0: client: endpoint http://etcd:2379 exceeded header timeout 修改APISIX config ETCD_ADVERTISE_CL…
Etcd数据恢复机制
WAL简介 使用过存储软件的都知道，为了应对写入性能和灾难恢复，各个存储软件都有相关的机制来保障， 比如： mysql的redo log 和undo logzookeeper的事务日志etcd的wal日志 等等，那为啥都需要额外写入这样一种日志呢&…
饮用水用 降低COD的树脂，医药行业除COD
Tulsimer A-722 MP具有控制孔径的大孔强碱性Ⅰ型阴离子交换树脂
Tulsimer A-722 MP 是一款具有便于颜色和有机物去除的控制孔径的，专门开发的大孔强碱性Ⅰ型阴离子交换树脂。
Tulsimer A-722 MP（氯型）专门应用于去除COD以及其他有机物…
etcd-workbench一款免费好用的ETCD客户端，支持SSHTunnel、版本对比等功能
介绍
今天推荐一款完全免费的ETCD客户端，可以私有化部署: etcd-workbench
开源地址：https://github.com/tzfun/etcd-workbench Gitee地址：https://gitee.com/tzfun/etcd-workbench
下载
本地运行
从 官方Release 下载最新版的 jar 包&am…
解锁高性能工具etcd大牛们常用的命令
目录
1.前言
2. 常用命令
3. 总结 1.前言 etcd简介：etcd是CoreOS团队于2013年6月发起的开源项目，它的目标是构建一个高可用的分布式键值(key-value)数据库。etcd内部采用raft协议作为一致性算法，etcd基于Go语言实现；
ETCD官方…
etcd的mvcc源码剖析
mvcc简介
悲观锁 在对于一些临界资源进行读写的时候，为了防止其他人进行同步的修改数据，直接将当前的数据锁住，不让别人使用，来实现并发安全
乐观锁 在对临界资源进行操作的时候，不锁住数据，实现独占&…
由k8s升级慢引起的etcd性能不足的问题排查
一、基本介绍 最近etcd查看出现性能 curl --cacert /path/to/etcdctl-ca.crt --cert /path/to/etcdctl.crt --key /path/to/etcdctl.key https://:2379/metrics | grep etcd_disk_wal_fsync_duration_seconds_bucket 当集群规模突破过大时规模时，曾出现如下性能瓶颈问题： etc…
微原循环移位指令_8086微处理器中的移位和旋转指令
微原循环移位指令As we know that any machine (system) works on machine language, which consists of binary numbers. In the 8086 microprocessor, we have 16-bit registers to handle our data. Sometimes, the need to perform some necessary shift and rotate operat…
想学dubbo的看过来，2万字整理服务引入流程《一起玩dubbo系列第三篇》
好吧，又是一篇吃力不讨好的超长源码解析文章，肝的让阅读完成率低入谷底，不过竟然说好的写一系列dubbo，跪着也得写，虽然阅读量低的可怜，但是我相信，这一系列写完，自成体系了ÿ…
开源shell脚本系列-检查etcd集群可用性
图好看不？AI生成的，这几天也在测试AI绘图这个东东，挺牛叉的。咱们的社区工具平台在PC的web端已经完成了。大家没事可以去看看，设置个主页也行其实挺好的：https://www.98dev.com/index，主要用于一些关键性新…
confd+etcd
转自http://www.361way.com/confd-etcd/5470.html Confd是一个轻量级的配置管理工具。通过查询Etcd，结合配置模板引擎，保持本地配置最新，同时具备定期探测机制，配置变更自动reload。其后端支持的数据类型有：etcd、cons…
理论+实操：k8s部署思路+ssl+etcd+flannel
文章目录一：官方提供的三种部署方式1.1 minikube1.2 kubeadm1.3 二进制包二：kubernetes平台环境规划2.1 服务器配置：2.2 服务器角色2.3 多master集群架构图2.4 初步环境部署（分组件部署）三：自签ssl证书3.1 …
亚马逊云科技：智能家居时代已来，如何抢滩海外市场的“真空区”？
在充满着不确定性的2022年，电子消费市场一片哀鸿遍野，智能家居行业却如同逆水行舟，显示出稳健的发展之势，宣告着智能家居时代已来。在2023年3月24日举办的“智能家居，出海闭门会”上，为进一步发挥产业带潜力…
etcd java 客户端jetcd库踩坑日志
问题
Q： EtcdException: Unable to resolve endpoints [http://0.0.0.0:2379/] A： 经过测试，endpoints最后的斜杠不能写，完整的endpoints是http://0.0.0.0:2379
Q： java.lang.NoSuchMethodError: io.netty.buffer.Po…
Docker网络架构介绍
本文主要介绍了Docker容器的单机网络架构与集群网络架构，辅以演示，并简单介绍了网络管理中的命令。
前文：
Docker的安装与简单操作命令-CSDN博客
docker网络原理介绍
与ovs类似，docker容器采用veth-pair linux bridge (虚拟交…
kubernetes 1.26.1 Etcd部署（外接）保姆级教程
目录 部署etcd前期准备
机器信息
升级内核
系统配置
部署容器运行时Containerd
安装crictl客户端命令
配置服务器支持开启ipvs的前提条件
安装 kubeadm、kubelet 和 kubectl
安装部署etcd
1.将 kubelet 配置为 etcd 的服务管理器
2.为 kubeadm 创建配置文件
3. 生成…
Ubuntu20.04LTS 搭建kubernetes集群环境
更换清华源 # 备份源
sudo mv /etc/apt/sources.list /etc/apt/sources.list.bak# 更改源
cd /etc/apt/
sudo vim sources.list# 添加
deb https://mirror.tuna.tsinghua.edu.cn/ubuntu-ports/ focal main restricted universe multiverse
deb https://mirror.tuna.tsinghua.ed…
Etcd 分布式队列 服务发现
etcd 快速入门背景一、认识etcd1.1 etcd 概念1.2 etcd vs Zookeeper1.3 etcd 应用场景1.4 etcd 工作原理1.4.1 如何保证一致性1.4.2 数据模型1.5 etcd 读写性能1.6 etcd 术语二、安装三、交互命令四、服务发现实践背景
etcd 理论快速入门 项目地址 etcd 实践快速入门
一、认识…
【K8S系列】深入解析etcd
序言 时间永远是旁观者，所有的过程和结果，都需要我们自己去承担。 文章标记颜色说明： 黄色：重要标题红色：用来标记结论绿色：用来标记一级论点蓝色：用来标记二级论点Kubernetes (k8s) 是一个容器…
2024 CKA 题库 | 15、备份还原 etcd
不等更新题库 文章目录 15、备份还原 etcd题目:考点：参考链接:解答:备份快照恢复快照 检查 15、备份还原 etcd
题目:
设置配置环境
此项目无需更改配置环境。但是，在执行此项目之前，请确保您已返回初始节点。
[candidatemaster01] $ exit #…
Kubernetes实战（三十三）-外部Etcd集群部署与调优（更安全的数据存储策略）
Etcd集群作为Kubernetes集群的大脑，重要性不言而喻，但我好像没有对Etcd集群做过一个全方面的总结，部署手法也只是单调的使用Ansible快速部署，很多细节并没有说清楚，并且对于Etcd集群部署后的性能调优也没有过多的提及。因此，本文将对Etcd集群的由来，Etcd集群的特点，Etc…
什么是etcd（简单了解）转载
原文链接：什么是Etcd? - yuxiaoba - 博客园 四、安装 1. 下载etcdhttps://github.com/etcd-io/etcd/releases 2. 安装etcd 解压文件，添加可执行文件路径到环境变量PATH中。 3. 下载并安装etcd-manager（etcd的可视化客户端）ETCD M…
画球大师教你如何画好一个球
作者 | 翁鹏42如何画个球？好像 JS 和 CSS 并没有提供这个能力，当然也不可能为了画个球引入 Threejs。这篇文章将介绍 4 种画球的方法，每种方法都有不同的特点，生成球的数据可以使用任何方式渲染，可以在 canvas 中渲染&…
etcd入门-(1)安装篇
一、etcd安装 https://github.com/etcd-io/etcd/releases 根据需要下载安装etcd, 确保添加到环境变量 执行 etcd -v 查看安装版本
二、etcd运行 本地运行集群 1.首先安装goreman
go install github.com/mattn/goremanlatest2.准备Procfile 将脚本下载到本地，或者复…
k8s中部署etcd集群
Etcd是一个高可用的、开源的、分布式的Key/value存储系统，提供共享配置、服务的注册和发现、数据TTL失效、数据改变监视、多值、目录监听、分布式原子锁操作等功能。通常，k8s使用etcd进行数据存储，本文将部署etcd集群用做应用的存储。
一、前…
Kubernetes 实现原理
引言
前面我们已经简单地介绍了 Kubernetes 的常用资源，本文我们将介绍 Kubernetes 的实现方案。更多相关文章和其他文章均收录于贝贝猫的文章目录。 Kubernetes 实现原理
现在我们已经知道了大多数可以部署到 Kubernetes 的资源，现在是时候了解下它们…
etcd 一个分布式一致性键值存储系统
etcd是一个分布式一致性键值存储系统，用于共享配置和服务发现，专注于：
简单:良好定义的，面向用户的API (gRPC)安全： 带有可选客户端证书认证的自动TLS快速:测试验证，每秒10000写入可靠:使用Raft适当分布
…
Kubernetes 高级特性
引言
前面我们已经介绍了 Kubernetes 的常用资源以及 Kubernetes 的实现原理，本文我们将介绍 Kubernetes 中的一些高级资源以及其使用场景。更多相关文章和其他文章均收录于贝贝猫的文章目录。 高级特性
自动扩容
我们可以通过调高 ReplicationController、Repli…
Spring Boot集成etcd
etcd
etcd是一个分布式键值存储数据库，用于共享配置和服务发现。 它是由CoreOS团队开发并开源的，具备以下特点：简单、安全、高性能、一致可靠等 。etcd采用Go语言编写，具有出色的跨平台支持，很小的二进制文件和强大的…
![[kubernetes]控制平面ETCD](https://img-blog.csdnimg.cn/direct/6858af04fb3946759018a87129e90959.png)
[kubernetes]控制平面ETCD
什么是ETCD
CoreOS基于Raft开发的分布式key-value存储，可用于服务发现、共享配置以及一致性保障（如数据库选主、分布式锁等）etcd像是专门为集群环境的服务发现和注册而设计，它提供了数据TTL失效、数据改变监视、多值、目录监听、…
Kubernetes部署etcd集群
目录一、 k8s概述1、k8s是什么2、k8s特性3、k8s群集架构与组件4、k8s核心概念二、自签SSL证书三、k8s三种部署方式四、k8s单节点部署（etcd）一、 k8s概述
1、k8s是什么
kubernetes是Google在2014年开源的一个容器群集管理系统，kubernetes简称…
亚马逊云科技积极探索多样化生态合作模式，助力实现可持续发展愿景
2023年6月26日，亚马逊云科技中国峰会在上海世博中心盛大开幕！以主题“因构建 而可见”为大家拉开帷幕。当前，越来越多的企业客户，以及当地政府监管机构对企业的要求，都需要企业告知碳足迹，亚马逊云科技提供…
prometheus监控etcd证书报错问题
背景
prometheus重启之后显示集群中的etcd节点全部down掉了。
在集群中查看etcd状态是正常的
进一步查看etcd日志发现
{"level":"warn","ts":"2023-10-27T07:52:58.389Z","caller":"embed/config_logging.go:169&q…
k8s etcd 简介
Etcd是CoreOS基于Raft协议开发的分布式key-value存储，可用于服务发现、共享配置以及一致性保障（如数据库选主、分布式锁等）。
如，Etcd也可以作为微服务的注册中心，比如SpringCloud也基于ETCD实现了注册中心功能&#…
ETCD集群搭建（实践可用）
概述 etcd 是兼具一致性和高可用性的键值数据库，可以作为保存 Kubernetes 所有集群数据的后台数据库。
- 官方网址： Documentation versions | etcd
准备cfssl证书生成工具 cfssl是一个开源的证书管理工具，使用json文件生成证书.
在任意一…
go-zero直连与etcd服务注册中心
go-zero中直连方式
在使用grpc是最重要的就是pb文件了，生成的pb文件，通过pb文件可以生成grpc的客户端和服务端，那么客户端和服务端就可以直连了，再次基础上可以引入etcd实现服务注册。
所有的代码都需要开发者编写，包…
ZK和ETCD的产品对比和差异
ZK和ETCD的产品对比和差异 1. 底层实现1.1 高可用机制1.2 数据结构 2. 客户端视角2.1 临时数据2.2 监听机制 探讨zk和etcd的底层实现以及客户端使用上的差异。
更多关于分布式系统的架构思考请参考文档关于常见分布式组件高可用设计原理的理解和思考 1. 底层实现
1.1 高可用机…
Etcd实战(二)-k8s集群中Etcd数据存储
1 介绍
k8s中所有对象的manifest都需要保存到某个地方，这样他们的manifest在api server重启和失败的时候才不会丢失，因此引入了etcd。在k8s中只有api server和etcd直接交互，其它组件都通过api server间接和etcd交互，这样做的好处…
etcd 本机手动测试集群及 member 操作
集群搭建
下面只用同一台服务器进行三个成员节点的开启
节点1
./etcd --name cd0 --initial-advertise-peer-urls http://127.0.0.1:2380 --listen-peer-urls http://127.0.0.1:2380 --listen-client-urls http://127.0.0.1:2379 --advertise-client-urls http://127.0.0.1:…
部署 etcd 3 节点集群
1. 准备csr文件
etcd-csr.json
{"CN": "etcd","hosts": ["127.0.0.1","192.168.220.121","192.168.220.122","192.168.220.123"],"key": {"algo": "rsa","size&q…
一起学习ETCD系列——运维操作之etcdctl使用
文章目录 概要一、命令二、实操2.1、基本操作2.2、watch2.3、租约2.4、分布式锁2.5、角色2.6、用户2.7、认证2.8、集群 概要
本文主要用来总结ETCD客户端ctcdctl的命令操作，在运维过程中可能常常用到的。
一、命令
etcd工具 etcdctl官方命令示例
[roottest etcd…
ETCD源码分析（三）Raft协议入门
适合阅读本文的人群 对Raft协议感兴趣的人看过一些Raft相关介绍的博文，但是看不懂的（比如我） 很多Raft相关的分析文章，或者是著名的《In Search of an Understandable Consensus Algorithm》 论文，都会把下面的一张图放…
etcd官方docker镜像及dockerfile问题处理
解决下我之前etcd使用docker镜像启动的坑
1、问题镜像docker-file：
这个dockerfile看着看不出来问题，但如果有人真的执行我之前两篇文章的文件，就会有问题，什么问题呢，无法连接到etcd，由于我是刚装上dock…
SpringBoot集成etcd，实现实时监听,实现配置中心
etcd 是一个分布式键值对存储，设计用来可靠而快速的保存关键数据并提供访问。通过分布式锁，leader选举和写屏障(write barriers)来实现可靠的分布式协作。etcd集群是为高可用，持久性数据存储和检索而准备。 以下代码实现的主要业务是…
ubuntu20.04环境搭建:etcd+patroni+pgbouncer+haproxy+keepalived的postgresql集群方案
搭建基于etcdpatronipgbouncerhaproxykeepalived的postgresql集群方案 宿主机操作系统:ubuntu20.04
使用kvm搭建虚拟环境(如没有安装kvm，请先自行安装kvm)
1、安装kvm服务
①、查看虚拟支持
如果CPU 支持硬件虚拟化则输出结果大于0，安装kvm-ok命令检…
Kube-DNS搭建（1.4版本）
目录贴：Kubernetes学习系列 1、介绍 之前介绍过DNS的搭建(基于Kubernetes集群部署skyDNS服务)，但那个版本的DNS是随着Kubernetes1.2发布出来的，有点原始。本文主要讲解Kubernetes1.4版本中的DNS插件的安装。与1.2版本相比，1.4中的…
kubernetes（k8s）单节点部署
单节点部署一、master节点部署二、node节点部署master节点操作node1节点操作master节点操作node2节点操作一、master节点部署
[rootmaster1 ~]# cd k8s/
[rootmaster1 ~/k8s]# mkdir k8s-cert
[rootmaster1 ~/k8s]# cd k8s-cert/
[rootmaster1 ~/k8s/k8s-cert]# vim k8s-cert.…
etcd集群部署、备份还原、etcdctl命令行工具
目录 前言什么是etcdetcd名词raft协议-摘抄自《etcd技术内幕》etcd的部署要求二进制部署etcd查看etcd命令帮助创建etcd集群，使用systemd管理，http协议创建etcd集群，使用systemd管理，https协议etcdctl客户端工具的使用为etcdctl创建…
etcd v3使用示例
1.简单使用
1.1 增加
set
指定某个键的值。例如:
$ etcdctl set /testdir/testkey "Hello world"
Hello world
复制代码支持的选项包括：
--ttl 0 该键值的超时时间(单位为秒)，不配置(默认为0)则永不超时
--swap-with-value value 若该键现…
09.K8S高可用-堆叠etcd拓扑测试说明
堆叠 etcd 拓扑
1、部署架构如图 2、原理说明 核心组件高可用模式高可用实现方式apiserver主备keepalived + haproxycontroller-manager主备leader electionscheduler主备leader electionetcd集群kubeadm**「vip」**由外部负载均衡器提供一个vip，流量负载到keepalived master…
External-DNS安装与使用
注：本文基于kubeadm安装的k8s集群编写
1 背景
k8s中的服务通过ingress暴露给外部后，我们就能访问该服务。但是此时我们只能基于ingress暴露的ip来访问，这肯定不是个好主意，此时我们就需要将域名绑定到IP上。一般来说这里都需要手…
etcd概念及原理以及应用场景选型
文章目录 etcd概念及原理以及应用场景选型一、什么是etcdetcd性能 二、ETCD vs ZK三、etcd应用场景1. etcd应用场景分类2. 服务注册与发现 etcd概念及原理以及应用场景选型
一、什么是etcd
github：https://github.com/etcd-io/etcd 官方：https://etcd.…
K8S基础服务（apiserver、controller、scheduler、etcd）时区设置
K8S基础服务（apiserver、controller、scheduler、etcd）时区设置
一、PodPreset
使用PodPreset可以修改所有容器的时区（在pod 创建时,用户可以使用 podpreset 对象将特定信息注入 pod 中,这些信息可以包括 secret、 卷、 卷挂载和环境变量&a…
是的，不修改源码可以直接原地升级 Pod！
更多奇技淫巧欢迎订阅博客：https://fuckcloudnative.io前言OpenKruise[1] 是阿里云开源的大规模应用自动化管理引擎，在功能上对标了 Kubernetes 原生的 Deployment / StatefulSet 等控制器，但 OpenKruise 提供了更多的增强功能如：…
【kubernetes】二进制部署k8s集群之master节点和etcd数据库集群（上）
目录 前言：关于整个k8s集群的主机规划以及本文部署架构
步骤一：完成操作系统初始化配置
步骤二：完成etcd集群部署
关于etcd集群
①准备签发证书环境
②先完成单独一个节点的部署
③通过部署好的etcd01节点 完成另外两个节点的部署
拓展…
ETCD源码分析(二)Client端Watch流程分析一
书接上文，我们在《ETCD源码分析Client端启动流程分析》中，深入源码查看ETCDClient端如何启动，如何向Server建立GRPC连接的。在本文中，我们继续探究ETCD的Client端是如何实现Watch逻辑的。 由于Watch逻辑整体还是比较复杂的&#x…
Etcd实战(一)-部署etcd集群
1 概述
etcd是一个高可用的分布式键值存储系统，是CoreOS（现在隶属于Red Hat）公司开发的一个开源项目。它提供了一个简单的接口来存储和检索键值对数据，并使用Raft协议实现了分布式一致性。etcd广泛应用于Docker、Kubernetes等分布…
ETCD多次出现CONTEXT DEADLINE EXCEEDED
roothqa-master-01:~# etcdctl --endpoints$ETCD_ENDPOINTS member list --write-outtable {“level”:“warn”,“ts”:“2020-03-23T14:19:45.0330800”,“caller”:“clientv3/retry_interceptor.go:61”,“msg”:“retrying of unary invoker failed”,“target”:“endpoi…
分布式Raft原理详解，从不同角色视角分析相关状态
分布式Raft原理详解，从不同角色视角分析相关状态 1. CAP定理2.Raft 要解决的问题3. Raft的核心逻辑3.1. Raft的核心逻辑2.1. 复制状态机2.2. 任期 Term2.3. 任期的意义：逻辑时钟2.4 选举定时器 3. Leader选举逻辑4. 从节点视角查看Leader选举4.1. Follow…
Go 版本 Etcd 客户端操作 Etcd（附完整 Demo）
Etcd 相关参考资料
Etcd 的介绍与使用：Etcd 介绍与使用（入门篇）-CSDN博客
Etcd Raft 协议：Etcd Raft 协议（进阶篇）-CSDN博客
本文诣在使用 Go 客户端操作 Etcd，并实现元数据的写入࿰…
最受关注的 Cilium Service Mesh 到底怎么玩？ - 上手实践
大家好，我是张晋涛。Cilium 是一个基于 eBPF 技术，用于为容器工作负载间提供安全且具备可观测性的网络连接的开源软件。如果你对 Cilium 还不太了解，可以参考我之前的两篇文章：K8S生态周报| Google 选择 Cilium 作为 GKE 下一代数…
云安全—etcd攻击面
0x00 前言
本篇还是一样，先来说一说etcd是什么，干啥的，然后再来看看etcd的攻击面到底有哪些，做一个抛砖引玉的作用，如有不妥之处还请斧正
0x01 etcd
依旧还是按照问问题的方式来进行阐述，因为学到的东西…
etcd跨主机通信与Flannel
跨主机通信 Docker 默认的网络环境下 , 单台主机上的 Docker 容器可以通过 docker0 网桥直接通信 , 而不同主机上的 Docker 容器之间只能通过在主机上做端口映射进行通信。 这种端口映射方式对很多集群应用来说极不方便。 如果能让 Docker 容器之间直接使用自己的 IP 地址进…
kubernetes etcd
目录
一、备份
二、回复 官网： https://v1-25.docs.kubernetes.io/zh-cn/docs/tasks/administer-cluster/configure-upgrade-etcd/#restoring-an-etcd-cluster
一、备份 从镜像中拷贝etcdctl二进制命令 输入ctrlpq快捷键，把容器打入后台 docker run…
k8s集群etcd备份与恢复
一、前言 k8s集群使用etcd集群存储数据，如果etcd集群崩溃了，k8s集群的数据就会全部丢失，所以需要日常进行etcd集群数据的备份，预防etcd集群崩溃后可以使用数据备份进行恢复，也可用于重建k8s集群进行数据恢复
二、备份…
使用 go-ycsb 对 etcd 进行基准 (benchmark) 性能测试
最近在对一些存储组件做性能测试，主要使用到了 YCSB，💧篇文章记录下。
什么是 YCSB
YCSB，全称为“Yahoo！Cloud Serving Benchmark”，是雅虎开发的用来对云服务进行基准 (benchmark) 性能测试的工具。可以用来对多种 NoSQL 数据库，如 MongoDB、Redis 等进行性能测试。…
Go EASY游戏框架 之 RPC Guide 03
1 Overview
easy解决服务端通信问题，同样使用了RPC技术。easy使用的ETCDGRPC，直接将它们打包组合在了一起。随着服务发现的成熟，稳定，简单，若是不用，甚至你也并不需要RPC来分解你的架构。
GRPC 有默认res…
etcd: mac 环境部署
部署etcd
官网：https://etcd.io/docs/v3.5/install/ release版本链接：https://github.com/etcd-io/etcd/releases/
下载部署文件
参考release版本链接中的说明，拼装相应版本的下载地址：
wget https://github.com/etcd-io/etcd…
Etcd 故障节点修复
etcd: 3.3.11
查询出故障的节点
在正常节点上操作 export ETCDCTL_API=3
etcdctl --endpoints http://192.168.56.100:2379,http://192.168.56.101:2379 member list --write-out="table"export ETCDCTL_API=3
etcdctl --endpoints http://192.168.56.100:2379,htt…
利用K8S Statefulset搭建Etcd集群 - 本地存储
目录 概述测试环境yaml配置service.yamlcluster.yaml Q&A参考链接 概述
公司因项目需要使用K8S部署ETCD集群供其他业务调用，网上搜索了解了下，一般K8S搭建ETCD集群大部分都是使用Etcd Operator来搭建。但是公司的项目运行在离线ARM架构平台…
处理etcd源码包编译异常
1、下载etcd包，执行go build报异常：
client\v2\example_keys_test.go:1:1: expected package, found .
client\v3\example_auth_test.go:1:1: expected package, found .
client\v3\concurrency\example_election_test.go:1:1: expected package, found…
k8s etcd备份与恢复
停止api-server（k8s的所有master节点） # 所有master节点执行：
# 停api-servermkdir -p tpm_api_conf
mv /etc/kubernetes/manifests/kube-apiserver.yaml /root/tpm_api_conf/etcd备份（集群中某一节点） # etcd备份ETC…
linux 使用 go 连接 etcd 集群时报错
问题分析
在 ubuntu 中使用 github.com/coreos/etcd/clientv3 第三方库报错，报错信息如下：
# github.com/coreos/etcd/clientv3/balancer/resolver/endpoint
/root/go/pkg/mod/github.com/coreos/etcdv3.3.27incompatible/clientv3/balancer/resolver/…
ETCD跨城容灾与异地多活网络故障的相关表现分析
ETCD跨城容灾与异地多活网络故障的相关表现分析 1. 网络架构2. 单个网络中断-跟leader区中断2.1. 网络中断2.2. 网络恢复 3. 单个网络中断-跟非leader区中断4. 两个网络中断-leader区中断5. 两个网络中断-非leader区中断6. 两个网络中断-非leader区中断7. 总结8. 参考文档 etcd…
golang云原生项目之：etcd服务注册与发现
服务注册与发现：ETCD
1直接调包
kitex-contrib： 上面有实现的案例，直接cv。下面是具体的理解
2 相关概念 EtcdResolver: etcd resolver是一种DNS解析器，用于将域名转换为etcd集群中的具体地址，以便应用程序可以与et…
k8s二进制（ETCD的部署安装）
角色ip组件k8s-master192.168.11.169kube-apiserver,kube-controller-manager,kube-scheduler,etcdk8s-node1192.168.11.164kubelet,kube-proxy,docker,etcdk8s-node2192.168.11.166kubelet,kube-proxy,docker,etcd
1、为etcd签发证书
1、证书的下载(任意机器上执行都可以)
…
学习记录---kubernetes中备份和恢复etcd
一、简介
ETCD是kubernetes的重要组成部分，它主要用于存储kubernetes的所有元数据，我们在kubernetes中的所有资源(node、pod、deployment、service等)，如果该组件出现问题，则可能会导致kubernetes无法使用、资源丢失等情况。因此…
Kubernetes 最佳实践
引言
前面我们已经介绍了 Kubernetes 的常用资源以及 Kubernetes 的实现原理，本文我们将介绍通过 Kubernetes 开发应用的最佳实践。更多相关文章和其他文章均收录于贝贝猫的文章目录。 开发应用最佳实践
首先，我们看一看一个实际的应用都应该使用哪些 …
etcd-golang sdk使用
etcd介绍
"etcd"这个名字源于两个想法，即 unix "/etc" 文件夹和分布式系统"d"istibuted。 "/etc" 文件夹为单个系统存储配置数据的地方，而 etcd 存储大规模分布式系统的配置信息。因此，"d&quo…
Redis - 订阅发布替换 Etcd 解决方案
为了减轻项目的中间件臃肿，由于我们项目本身就应用了 Redis，正好 Redis 的也具备订阅发布监听的特性，正好应对 Etcd 的功能，所以本次给大家讲解如何使用 Redis 消息订阅发布来替代 Etcd 的解决方案。接下来，我们先看 R…
会玩，K8s 通过 Cronjob 来定期备份 Etcd
简介家里有两个 k8s,树莓派使用的是 k3s，nuc 上就是正常的 x86 的 k8s,树莓派 k3s 使用的是 mysql，mysql 也是使用 cronjob 每天跑的备份，但是 nuc 中的 etcd 一直没有备份过,所以今天就准备备份下。要做的事情很简单，就是 etcd 快…
K8S集群搭建——基于CentOS 7系统
环境准备
集群数量此次使用3台CentOS 7系列机器，分别为7.3，7.4，7.5
节点名称节点IPmaster192.168.0.100node1192.168.0.101node2192.168.0.102
主要事项
1、master节点安装配置etcd服务，作为k8s集群主数据库，保存所…
ETCD节点故障的容错方案
ETCD节点故障的容错方案 1. 选主逻辑1.1 什么样的节点应该成为Leader？1.2 选主的4个阶段1.2 初始运行的选主过程1.3 运行过程中异常的选主过程 2. Raft日志复制逻辑3. Leader故障的几种典型场景3.1 故障恢复 - Leader选举3.2 故障恢复 - 数据恢复 4. 疑问和思考4.1.…
APISIX架构分析：如何动态管理Nginx集群？
开源版 Nginx 最为人诟病的就是不具备动态配置、远程 API 及集群管理的能力，而 APISIX 作为 CNCF 毕业的开源七层网关，基于 etcd、Lua 实现了对 Nginx 集群的动态管理。APISIX 架构图让 Nginx 具备动态、集群管理能力并不容易，因为这将面临以…
配置docker 和 flannel
配置docker 和 flannel ETCD集群安装：http://crabdave.iteye.com/blog/2365488 flannel参数设置 集群中flannel的可用子网段和网络包封装方式等配置信息需要提前写入ETCD中(10.99.0.10为master，注意复制时别换行)： curl -L http://10.99.0.10…
k8s集群中ETCD备份和恢复
文章目录 [toc]一、etcd 概述二、安装etcdctl工具三、kubeadm部署方式部署1）备份2）恢复四、定时备份 五、二进制部署备份1）备份2）恢复1、停止apiserver和etcd2、etcd_1恢复3、etcd_2恢复4、etcd_3恢复5、启动etcd和apiserver6、检…
go-zero 之安装 etcd
本文只涉及 Linux 上的安装。
二进制安装
下载二进制安装包
ETCD_VERv3.4.28
DOWNLOAD_URLhttps://github.com/etcd-io/etcd/releases/download
INSTALL_DIR/tmprm -f ${INSTALL_DIR}/etcd-${ETCD_VER}-linux-amd64.tar.gz
rm -rf ${INSTALL_DIR}/etcd-download-test &&…
Kubernetes的演变：从etcd到分布式SQL的过渡
DevRel领域专家Denis Magda表示，他偶然发现了一篇解释如何用PostgreSQL无缝替换etcd的文章。该文章指出，Kine项目作为外部etcd端点，可以将Kubernetes etcd请求转换为底层关系数据库的SQL查询。 受到这种方法的启发，Magda决定进一步…
etcd之读性能主要影响因素
1、Raft模块-线性读ReadIndex-节点之间的RTT延时、磁盘IO
线性读时Follower节点首先会向Raft 模块发送ReadIndex请求，此时Raft模块会先向各节点发送心跳确认，一半以上节点确认 Leader 身份后由leader节点将已提交日志索引 (committed index) 封装成 Rea…
【Openstack Train安装】五、Memcached/Etcd安装
本文介绍Memcached/Etcd安装步骤，Memcached/Etcd仅需在控制节点安装。
在按照本教程安装之前，请确保完成以下配置：
【Openstack Train安装】一、虚拟机创建
【Openstack Train安装】二、NTP安装
【Openstack Train安装】三、openstack安装…
一起学习ETCD系列——简单安装
文章目录 概要一、安装1.1 单点1.2 集群 概要
在微服务中服务发现是必不可少的，此时ETCD中间件就是一种可选项，其实ETCD除了服务发现功能，还有：
元数据存储，比如存储服务配置等数据，以实现配置中心化&…
【Go】微服务架构下实现etcd服务注册与服务发现
中心网关：gateway 四个微服务：user、message、note、relationship
1 中心网关实现服务发现
1.1 设计EtcdDiscovery类
package entityimport ("context""fmt"clientv3 "go.etcd.io/etcd/client/v3""gonote/gatewa…
微服务自动化之etcd的集群搭建(主机搭建)
目录
前言：搭建 etcd 集群
一.主机搭建
1.编辑第一台节点的etcd.conf文件
（1）.删除之前的数据
（2）.编辑systemd配置文件
（3）.开放端口
2.克隆虚拟机
（1）.克隆
&…
【kubernetes】关于k8s集群中kubectl的陈述式资源管理
目录 一、k8s集群资源管理方式分类：
（1）陈述式资源管理方式：增删查比较方便，但是改非常不方便
（2）声明式资源管理方式：yaml文件管理
二、陈述式资源管理方法：
三、ku…
Raft 共识算法2-领导者选举
Raft 共识算法2-领导者选举 Raft算法中译版地址：https://object.redisant.com/doc/raft%E4%B8%AD%E8%AF%91%E7%89%88-2023%E5%B9%B44%E6%9C%8823%E6%97%A5.pdf 英原论文地址：https://raft.github.io/raft.pdf Etcd Assistant 是一款 etcd 可视化管理软件…
docker部署etcd集群
需要安装：
dockerdocker-compose
参数详细：
–name：设置成员节点的别名，建议为每个成员节点配置可识别的命名–advertise-client-urls：广播到集群中本成员的监听客户端请求的地址–initial-advertise-peer-urls&…
windows Etcd的安装与使用
一、简介
etcd是一个分布式一致性键值存储，其主要用于分布式系统的共享配置和服务发现。
etcd由Go语言编写
二、下载并安装
1.下载地址：
https://github.com/coreos/etcd/releases
解压后的目录如下：其中etcd.exe是服务端，e…
etcd 架构原理学习（来自etcd实战）
文章目录参考防挂图 pdf 版整体架构基础模块介绍写流程 简单了解读流程 详细了解串行读（数据敏感度低，适用计数等）线性读（数据敏感度高，要求一致性）写流程 详细了解与读流程不一样的模块Quota 模块KVServer…
【kubernetes】关于k8s集群如何将pod调度到指定node节点？
目录 一、k8s的watch机制
二、scheduler的调度策略
Predicate（预选策略） 常见算法：
priorities（优选策略）常见的算法有：
三、k8s的标签管理之增删改查
四、k8s的将pod调度到指定node的方法
方案一&am…
深入剖析Kubernetes之控制器模式的实现-Deployment
文章目录 Deployment Deployment
Deployment 实现了 Kubernetes 项目中一个非常重要的功能：Pod 的“水平扩展 / 收缩”（horizontal scaling out/in）。这个功能，是从 PaaS 时代开始，一个平台级项目就必须具备的编排能力…
OpenStack---环境搭建详解（T版）
OpenStack环境搭建部署环境准备虚拟机资源信息部署思路基础环境配置重新命名防火墙、核心防护免交互基础环境依赖包时间同步周期性计划任务系统环境配置安装、配置MariaDB安装RabbitMQ安装memcached安装etcd为什么需要 Etcd ？Etcd 提供什么能力？ETCD-应用…
【ETCD】简介安装常用操作---图文并茂详细讲解
目录
一 简介
1.1 etcd是什么
1.2. 特点
1.3. 使用场景
1.4 关键字
1.5 工作原理
二 安装
2.1 etcd安装前介绍
2.2 安装
2.3 启动
2.4 创建一个etcd服务
三 常用操作 一 简介
1.1 etcd是什么 etcd是CoreOS团队于2013年6月发起的开源项目，它的目标是构建…
etcd选举源码分析和例子
本文主要介绍etcd在分布式多节点服务中如何实现选主。
1、基础知识
在开始之前，先介绍etcd中 Version, Revision, ModRevision, CreateRevision 几个基本概念。 1、version 作用域为key，表示某个key的版本，每个key刚创建的version为1&#…
etcd未授权到控制k8s集群
在安装完 K8s 后，默认会安装 etcd 组件，etcd 是一个高可用的 key-value 数据库，它为 k8s 集群提供底层数据存储，保存了整个集群的状态。大多数情形下，数据库中的内容没有加密，因此如果黑客拿下 etcd&#x…
Etcd Raft 协议（进阶篇）
前言 在正式开始介绍 Raft 协议之间，我们有必要简单介绍一下其相关概念。在分布式系统中，一致性是比较常见的概念，所谓一致性指的是集群中的多个节点在状态上达成一致。在程序和操作系统不会崩溃、硬件不会损坏、服务器不会掉电、网络绝对可靠…
【etcd】集群部署
一、环境准备
操作系统：建议使用Ubuntu 18.04 LTS或其他支持Docker的Linux发行版。硬件要求：至少三台机器，每台机器两核CPU、2GB内存。网络要求：集群内机器之间网络互通，建议使用内网。安装Docker：请参考D…
Redis学习指南(6)-Redis的数据类型简介
文章目录 引言1. 字符串 (String)2. 哈希 (Hash)3. 列表 (List)4. 集合 (Set)5. 有序集合 (ZSet)结语 引言
Redis是一种高性能的键值存储系统，被广泛应用于缓存、消息队列等场景。其中，Redis的数据类型是其强大功能的基础之一。本文将深入介绍Redis的主…
延时队列如何实现？ETCD vs Redis
前言
日常开发中，我们经常会碰到有延时任务的场景，譬如30分钟后关闭订单、在指定时间上架某个活动等，如果是最简单的场景，不考虑服务水平扩容、服务宕机等因素，可能内部用github.com/robfig/cron加MYSQL存储延时信息即…
docker容器之etcd安装
一、etcd介绍
1、etcd是什么
etcd是CoreOS团队于2013年6月发起的开源项目，它的目标是构建一个高可用的分布式键值(key-value)数据库。
2、etcd特点
简单的接口，通过标准的HTTP API进行调用，也可以使用官方提供的 etcdctl 操作存储的数据。…
etcd: 从带密码的etcd中读取数据
一、添加依赖 <dependency><groupId>io.etcd</groupId><artifactId>jetcd-core</artifactId><version>0.5.0</version></dependency>二、demo程序
package cn.edu.tju;import com.google.protobuf.ByteString;
import io.etc…
Kubernetes 使用 ceph-csi 消费 RBD 作为持久化存储
本文详细介绍了如何在 Kubernetes 集群中部署 ceph-csi（v3.1.0），并使用 RBD 作为持久化存储。需要的环境参考下图：本文使用的环境版本信息：Kubernetes 版本：$ kubectl get node
NAME STATUS ROLES …
etcd读写请求的执行过程
etcd读请求如何执行
首先，etcdctl 会对命令中的参数进行解析。在解析完请求中的参数后，etcdctl 会创建一个 clientv3 库对象通过gRPC API来访问 etcd server。对应流程一。
然后通过负载均衡算法选择一个etcd server节点，然后调用 etcd ser…
【保姆级教程】Windows11下go-zero的etcd安装与初步使用
【Go-Zero】Windows11下etcd的安装与初步使用 大家好 我是寸铁👊 总结了一篇Windows11下etcd的安装与初步使用的文章✨ 喜欢的小伙伴可以点点关注 💝 前言： 在使用etcd 前，我们需要了解一下etcd 是什么，为什么使用etcd…
数字化运营在教育行业的技术架构实践总结
随着科技的不断进步和数字化时代的到来，教育行业也正面临着数字化转型的挑战和机遇。教育行业的数字化运营需要依靠合理的技术架构来支撑，本文将探讨教育行业数字化运营的技术架构设计。
## 第一步：需求分析和架构设计
在构建教育行业数字化…
Etcd故障排除--recovering backend from snapshot error: failed to find database snapshot file (snap: snaps
Etcd故障排除--recovering backend from snapshot error: failed to find database snapshot file (snap: snaps1. 故障现象2. 故障分析3. 故障解决3.1 先做个备份3.2 复制数据3.3 启动etcd1和etcd23.4 启动etcd34. 后续1. 故障现象
服务器意外掉电,harbor故障,k8s无法启动 发…
【云原生 • Kubernetes】认识 k8s、k8s 架构、核心实战
文章目录 Kubernetes基础概念1. 是什么2. 架构2.1 工作方式2.2 组件架构 3. k8s组件创建集群步骤一 基础环境步骤二 安装kubelet、kubeadm、kubectl步骤三 主节点使用kubeadm引导集群步骤四 副节点加入主节点步骤五 部署dashboard Kubernetes核心实战1. 资源创建方式2. Namespa…
pgsql+patroni+etcd环境搭建
1. Patroni 简介2. etcd简介3. patroni处理流程图4. 准备Linux环境5.安装pg数据库6. 安装python37. Etcd安装配置安装测试8. 安装patroni安装配置9. keepalived1. Patroni 简介 2. etcd简介
Etcd是一款基于Raft算法和协议开发的分布式 key-value 数据库，基于Go语言…
k8s组件-etcd
安装etcd
https://github.com/etcd-io/etcd/releases/download/v3.3.4/etcd-v3.3.4-linux-amd64.tar.gz 可参考脚本：
etcdctl命令工具-V3 Kubernetes 学习笔记
#!/bin/bash
ETCD_VERv3.3.4
ETCD_DIRetcd-download
DOWNLOAD_URLhttps://github.com/coreos/etcd/r…
关于k8s中ETCD集群备份灾难恢复的一些笔记
写在前面 集群电源不稳定，或者节点动不动就 宕机,一定要做好备份，ETCD 的快照文件很容易受影响损坏。重置了很多次集群，才认识到备份的重要博文内容涉及 etcd 运维基础知识了解静态 Pod 方式 etcd 集群灾备与恢复 Demo定时备份的任务编写二进…
![Centos7 Devstack [Rocky]执行stack.sh报错汇总](https://img-blog.csdn.net/20180727105232361?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaTAzMjRsaW4=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
Centos7 Devstack [Rocky]执行stack.sh报错汇总
以下文章皆为个人搭建devstack环境经验积累，如没有遇到您的问题，还请包含：)
问题1.连接mariadb数据库异常
解决办法：卸载mariadb数据库：yum -y remove mari* 问题2：提示You are using pip version 9.0…
etcd 和 Redis 的对比：特点与适用场景
在分布式系统中，数据存储和协调至关重要。etcd 和 Redis 都是广受欢迎的开源分布式数据存储解决方案，但它们具有不同的特性和适用场景。本文将深入对比 etcd 和 Redis，分析它们的优势、劣势和最佳实践。
1. 数据模型
**etcd：**键…
apisix 官方example，单机docker的etcd备份和恢复
etcd配置就是官方example，很多文档都是集群k8s的，不能照搬，记录下官方试例的过程, etcd配置如下：
version: "3"services:etcd:image: bitnami/etcd:3.4.15restart: alwaysvolumes:- ./etcd_data:/bitnami/etcdenvironm…
PostgreSQL+patroni+etcd+haproxy+keepalived高可用
PostgreSQLpatronietcdhaproxykeepalived 高可用架构 部署环境
部署postgresql-15 一主二从：
role主机组件主库 node203 192.168.56.203 pg15.5 Patroni、Etcd，haproxy、keepalived 从库 node204 192.168.56.204 pg15.5 Patroni、Etcd，ha…
etcd启动过程梳理
源码地址：https://github.com/etcd-io/etcd 1. 入口
scripts/build.sh#!/usr/bin/env bash# This scripts build the etcd binaries
# To build the tools, run build_tools.shsource ./scripts/test_lib.sh
source ./scripts/build_lib.sh# only build when calle…
kubernetes（k8s）二进制部署——etcd部署
k8s一、 相关概述1.1 k8s简介1.2 k8s特性1.3 k8s群集架构与组件1.4 k8s核心概念1.5 k8s三种部署方式二、模拟实验master节点node1节点node2节点master节点一、 相关概述
1.1 k8s简介
kubernetes，简称k8s，是Google在2014年开源的一个容器群集管理系统。…
K3s 工具进阶完全指南
❝本文转自 Escape，原文：https://www.escapelife.site/posts/754ba85c.html，版权归原作者所有。欢迎投稿，投稿请添加微信好友：cloud-native-yang❝深入理解官方文档，轻松学会使用 K3s 工具！K3s …
K8s 集群稳定性评估与大规模基础服务部署调优
❝本文转自 ArthurChiaos Blog，原文：https://arthurchiao.art/blog/k8s-reliability-list-data-zh/，版权归原作者所有。欢迎投稿，投稿请添加微信好友：cloud-native-yang对于非结构化的数据存储系统来说，LIS…
我的 Docker 卡死了，怎么办？在线等
1. 背景最近升级了一版 kubelet，修复因 kubelet 删除 Pod 慢导致平台删除集群超时的问题。在灰度 redis 隔离集群的时候，发现升级 kubelet 并重启服务后，少量宿主状态变成了 NotReady，并且回滚 kubelet 至之前版本，宿主…
kubernetes集群编排——etcd
备份 从镜像中拷贝etcdctl二进制命令 [rootk8s1 ~]# docker run -it --rm reg.westos.org/k8s/etcd:3.5.6-0 sh 输入ctrlpq快捷键，把容器打入后台 获取容器id [rootk8s1 ~]# docker ps 从容器拷贝命令到本机 docker container cp c7e28b381f07:/usr/local/bin/etcdc…
利用K8S Statefulset搭建Etcd集群 - PVC存储
概述
在测试过程中发现，直接使用本地存储，当节点机器损坏了，对应机器的etcd数据也丢失了，故而做了利用K8S PV，PVC以及NFS来存储数据的尝试，经过一番折腾，测试成功，博文记录…
Etcd 介绍与使用（入门篇）
etcd 介绍 etcd 简介 etc （基于 Go 语言实现）在 Linux 系统中是配置文件目录名；etcd 就是配置服务；
etcd 诞生于 CoreOS 公司，最初用于解决集群管理系统中 os 升级时的分布式并发控制、配置文件的存储与分发等问题。基…
ETCD源码分析(二)Client端Watch流程分析二
书接上文，继续分析Client端Watch流程的关闭流程的处理。首先我们再回顾下Watch中的关键角色和设计理念：
角色说明watcher对外接口Watcher的实现，重点是Watch()方法watchGrpcStream桥梁，管理内部GRPC连接、管理内部的虚拟Stream、…
ETCD源码分析Client端启动流程分析
ETCD源码基于v3.5，在分析之前，需要搭建好源码分析的环境。首先，从GitHub的仓库中克隆下ETCD的源码，再利用docker搭建我们的ETCD测试集群，命令如下：
REGISTRYquay.io/coreos/etcd
NAME_1etcd-node-0
NAME_2…
Ingress-nginx工作原理和实践
本文记录/分享 目前项目的 K8s 部署结构和请求追踪改造方案这个图算是一个通用的前后端分离的 k8s 部署结构:Nginx Ingress 负责暴露服务(nginx前端静态资源服务)， 根据十二要素应用的原 则，将后端 api 作为 nginx 服务的附加动态资源。Ingress vs Ingre…
针对Fluent-Bit采集容器日志的补充
hello，之前我写过《一套标准的ASP.NET Core容器化应用日志收集分析方案》，在公司团队、微信公众号、Github上反映良好。其中配置Fluent-bit使用Forward协议收集容器日志，需要在Docker-Compose App配置Loging DriverFluentd实践中，…
临近年关，发生两起磁盘占满引发的服务下线故障
一口气说两个因为磁盘空间不足引发的应用故障。作为拿起键盘一把梭的Coder， 开发--->部署-->收工--->心旷神怡，滋一口82年的可乐.过了几个月，服务突然下线了！CTO又有杀程序员祭天的理由了!事故1：Azure App Se…
K8S核心组件etcd详解（下）
1 k8s如何使用etcd
在k8s中所有对象的manifest都需要保存到某个地方，这样他们的manifest在api server重启和失败的时候才不会丢失。
只有api server能访问etcd，其它组件只能间接访问etcd的好处是 增强乐观锁系统及验证系统的健壮性 方便后续存储的替换…
ETCD高可用架构涉及常用功能整理
ETCD高可用架构涉及常用功能整理 1. etcd的高可用系统架构和相关组件1.1 Quorum机制1.2 Raft协议 2. etcd的核心参数2.1 常规配置2.2 特殊优化配置2.2.1 强行拉起新集群 --force-new-cluster2.2.2 兼容磁盘io性能差2.2.3 etcd存储quota 3. etcd常用命令3.1 常用基础命令3.1.1 列…
ETCD监控方法以及核心指标
文章目录 1. 监控指标采集1.1 监控指标采集1.2 配置promethues采集和大盘 2. 核心告警指标3. 参考文章 探讨etcd的监控数据采集方式以及需要关注的核心指标，便于日常生产进行监控和巡检。 1. 监控指标采集
etcd默认通过/metrics指标暴露相关指标，因此不…
Kitex 提供的服务注册与发现 etcd 拓展
📕作者简介： 过去日记，致力于Java、GoLang,Rust等多种编程语言，热爱技术，喜欢游戏的博主。 📘相关专栏Rust初阶教程、go语言基础系列、spring教程等，大家有兴趣的可以看一看 📙Jav…
Raft 共识算法4-选举限制
Raft 共识算法4-选举限制 Raft算法中译版地址：https://object.redisant.com/doc/raft%E4%B8%AD%E8%AF%91%E7%89%88-2023%E5%B9%B44%E6%9C%8823%E6%97%A5.pdf 英原论文地址：https://raft.github.io/raft.pdf Etcd Assistant 是一款 etcd 可视化管理软件&a…
【云原生】二进制部署k8集群（上）搭建单机matser和etcd集群
1. 单机matser预部署设计 目前Kubernetes最新版本是v1.25，但大部分公司一般不会使用最新版本。
目前公司使用比较多的：老版本是v1.15，因为v1.16改变了很多API接口版本，国内目前使用比较多的是v1.18、v1.20。 组件部署：…
【kubernetes】部署kube-apiserver与kubectl
前言：二进制部署kubernetes集群在企业应用中扮演着非常重要的角色。无论是集群升级，还是证书设置有效期都非常方便，也是从事云原生相关工作从入门到精通不得不迈过的坎。通过本系列文章，你将从虚拟机准备开始，到使用二进制方式从零到一搭建起安全稳定的高可用kubernetes集…
二进制搭建k8s集群 master和etcd
etcd作为服务发现系统，有以下的特点：
简单：安装配置简单，而且提供了HTTP API进行交互，使用也很简单。 安全：支持SSL证书验证。 快速：单实例支持每秒2k读操作。 可靠：采用raft算法&a…
ETCD数据库入门小案例
一、ETCD介绍
etcd一个高可用、强一致性的服务发现存储仓库，它是一个高可用，高度一致的分布式键值存储的 Key/Value 存储系统，内部采用raft协议作为一致性算法。
etcd和redis的区别 etcd是一种分布式存储，更强调的是各个节点之间的通信，同步，确保各个节点上数据和事务的…
《Kubernetes部署篇：Ubuntu20.04基于外部etcd+部署kubernetes1.25.14集群(多主多从）》
一、部署架构图 1、架构图如下所示： 2、部署流程图如下所示： 二、环境信息 1、资源下载基于外部etcd+部署容器版kubernetes1.25.14集群资源合集 2、部署规划主机名K8S版本系统版本内核版本IP地址备注k8s-master-121.25.14Ubuntu 20.04.5 LTS5.15.0-69-generic192.168.1.12ma…
k8s的etcd启动报错
背景
电脑休眠状态意外断电导致虚拟机直接进入关机状态。
问题
kubectl命令报错
[rootmaster01 ~]#kubectl get node
The connection to the server master01.kktb.org:6443 was refused - did you specify the right host or port?kubelet服务报错
Oct 15 08:39:37 mas…
docker 启动简单的开发环境（mysql, redis, etcd）
docker开启容器分为两种，一种是命令启动，一种是用yaml启动
本片文章用到的是yaml启动
以下是启动脚本：env.yaml
version: "3"
services:jump_etcd:container_name: jump_etcdimage: bitnami/etcd:3privileged: truevolumes:- &q…
docker搭建etcd集群
最近用到etcd，就打算用docker搭建一套，学习整理了一下。记录在此，抛砖引玉。
文中的配置、代码见于https://gitee.com/bbjg001/darcy_common/tree/master/docker_compose_etcd
搭建一个单节点
docker run -d --name etcdx \-p 2379:2379 \…
K8S集群etcd 某个节点数据不一致如何修复 —— 筑梦之路
背景说明 二进制方式安装的k8s集群，etcd集群有3个节点，某天有一台机器hang住了，无法远程ssh登陆，于是被管理员直接重启了，重启后发现k8s集群删除一个deployment应用，多次刷新一会有，一会没有&am…
etcd v3开启认证完整步骤
主要是基于用户及密码的认证流程，包含用户、角色、认证相关的详细步骤，代码实现时也可与该步骤保持一致，否则很容易报错。 下文基于docker启动的etcd进行详述，如你的操作不是基于docker 的，则去掉指令前面的docker exe…
Redis学习指南(8)-Redis的哈希类型介绍
文章目录 哈希数据类型特点与Java中哈希的差异底层算法实现常见应用场景存储对象信息缓存 操作哈希的命令详解 哈希数据类型特点
Redis的哈希（Hash）数据类型是一种键值对集合，其中的值本身也是一个键值对集合。以下是哈希数据类型的特点&…
etcd自动化安装配置教程
文章目录 前言一、简介1. 简介2. 特点3. 端口介绍 二、etcd安装教程（单机版）1. 复制脚本2. 增加执行权限3. 执行脚本4. 查看启动状态5. 卸载etcd 三、etcd安装教程（集群版）1. 复制脚本2. 增加执行权限3. 分发脚本4. 执行脚本5. 启…
二进制部署k8集群，搭建单机matser和etcd集群
单机matser预部署设计 组件部署：
mater节点 mater01 192.168.66.10 kube-apiserver kube-controller-manager kube-scheduler etcd node节点 node01 192.168.66.30 kubelet kube-proxy docker &…
