Kubernetes 部署 Kafka & Zookeeper（转）

February 15, 2021lwohvyeKubernetes

bash

helm repo add bitnami https://charts.bitnami.com/bitnami
helm install my-release bitnami/kafka
# Read more about the installation in the Bitnami Kafka Stack Chart Github repository
但这个命令创建的pod缺少一些配置，主要为pv相关，配置方式待定

正文：以下内容适用于Kubernetes v1.20.0之前的版本，因为从该版本开始弃用selfLink。nfs-client-provisioner已无法使用：临时解决方案：https://github.com/kubernetes-sigs/nfs-subdir-external-provisioner/issues/25

相似的还有：https://github.com/kubernetes-sigs/nfs-subdir-external-provisioner/tree/master/charts/nfs-subdir-external-provisioner

以上均已无法使用。可考虑降级kubernetes

todo:topic已创建成功，但无法生产及消费消息

关于StorageClass

在K8S环境，当pod需要存储空间时，StorageClass比PV更灵活和方便，官方文档地址：https://kubernetes.io/docs/concepts/storage/persistent-volumes/
在这里插入图片描述

本次实战

本次实战的目标是快速创建NFS类型的StorageClass，并验证该StorageClass正常可用，全文由以下部分组成：

创建StorageClass；
通过helm下载tomcat的chart；
修改chart，让tomcat使用刚才创建的StorageClass；
在NFS服务端检查文件夹已正常写入；

环境信息和准备工作

以下是创建StorageClass必备的环境信息：

Kubernetes：1.15
Kubernetes宿主机：CentOS Linux release 7.7.1908
NFS服务：IP地址192.168.50.135，文件夹/volume1/nfs-storageclass-test

如果您已经准备好了kubernetes和NFS，咱们就开始实战吧；

如何创建StorageClass

把创建StorageClass要做的的事情理清楚：

创建namespace，这里用hello-storageclass（您也可以选用自己喜欢的）；
创建rbac：因为StorageClass有对应的pod要运行，每个pod都有自己的身份即serviceaccount，而这个serviceaccount是和某个角色绑定的，所以要创建：serviceaccount、rule、rolebinding；
创建provisioner，即关联NFS的工作类，负责给PVC提供存储资源，这里用的是nfs-client-provisioner；
创建StorageClass，所有需要PVC通过该StorageClass即可获得存储空间；

接下来请SSH登录kubernetes环境，按照上述步骤操作；

创建StorageClass

创建namespace：kubectl create namespace hello-storageclass
创建rbac的脚本直接从我的github下载吧，地址：https://raw.githubusercontent.com/zq2599/blog_demos/master/storageclass-demo/rbac.yaml
下载的rbac.yaml文件中，namespace是kafka-test，现在要替换成hello-storages，执行命令替换：sed -i ‘s/kafka-test/hello-storageclass/’ rbac.yaml
创建rbac：kubectl apply -f rbac.yaml
创建provisioner的脚本也从我的github下载，地址：https://raw.githubusercontent.com/zq2599/blog_demos/master/storageclass-demo/deployment.yaml
下载的deployment.yaml文件中，namespace是kafka-test，现在要替换成hello-storages，执行命令替换：sed -i ‘s/kafka-test/hello-storageclass/’ deployment.yaml
打开deployment.yaml，设置NFS参数，修改下图红框的四个参数，红框1和3都是NFS server地址，红框2和4都是NFS分配的文件夹目录，请您按照实际的NFS资源来设置：
创建provisioner：kubectl apply -f deployment.yaml
强烈建议用kubectl describe pod xxxxxx -n hello-storageclass和kubectl logs -f xxxxxx -n hello-storageclass命令查看provisioner是否成功创建，下图是我曾经遇到的问题，NFS服务端权限设置有误导致NFS无法使用：
创建StorageClass的脚本也从我的github下载，地址：https://raw.githubusercontent.com/zq2599/blog_demos/master/storageclass-demo/class.yaml
下载的class.yaml无需修改，直接使用：kubectl apply -f class.yaml
class.yaml中的StorageClass名为managed-nfs-storage，后面的PVC就用这个名字去申请存储空间；
用df命令来检查挂载情况，发现NFS的已经挂载到K8S宿主机：
至此，StorageClass已经就绪，K8S环境中的PVC可以申请使用了，接下来通过实战验证应用的pod能否使用StorageClass的存储空间；
这里只需要指定一个根目录。使用时pod会自动创建相关目录

如何快速部署

借助Helm，只需少量操作即可部署kafka；
kafka和zookeeper对存储都有需求，若提前准备了StorageClass，存储一事则变得十分简单

环境信息

本次实战的操作系统和软件的版本信息如下：

Kubernetes：1.15
Kubernetes宿主机：CentOS Linux release 7.7.1908
NFS服务：IP地址192.168.50.135，文件夹/volume1/nfs-storageclass-test
Helm：2.16.1
Kafka：2.0.1
Zookeeper：3.5.5

接下来的实战之前，请您准备好：K8S、Helm、NFS、StorageClass；

操作

添加helm仓库(该仓库中有kafka)：helm repo add incubator http://storage.googleapis.com/kubernetes-charts-incubator
下载kafka的chart：helm fetch incubator/kafka
下载成功后当前目录有个压缩包：kafka-0.20.8.tgz，解压：tar -zxvf kafka-0.20.8.tgz
进入解压后的kafka目录，编辑values.yaml文件，下面是具体的修改点：
首先要设置在K8S之外的也能使用kafka服务，修改external.enabled的值，改为true：
找到configurationOverrides，下图两个黄框中的内容原本是注释的，请删除注释符号，另外，如果您之前设置过跨网络访问kafka，就能理解下面写入K8S宿主机IP的原因了：
接下来设置数据卷，找到persistence，按需要调整大小，再设置已准备好的storageclass的名称：
再设置zookeeper的数据卷：
设置完成，开始部署，先创建namespace，执行：kubectl create namespace kafka-test
在kafka目录下执行：helm install –name-template kafka -f values.yaml . –namespace kafka-test
若上面的命令执行不成功：helm install kafka -n kafka kafka/

如果前面的配置没有问题，控制台提示如下所示：
kafka启动依赖zookeeper，整个启动会耗时数分钟，期间可见zookeeper和kafka的pod逐渐启动：
查看服务：kubectl get services -n kafka-test，如下图红框所示，通过宿主机IP:31090、宿主机IP:31091、宿主机IP:31092即可从外部访问kafka：
查看kafka版本：kubectl exec kafka-0 -n kafka-test – sh -c ‘ls /usr/share/java/kafka/kafka_*.jar’ ，如下图红框所示，scala版本2.11，kafka版本2.0.1：
kafka启动成功后，咱们来验证服务是否正常；

对外暴露zookeeper

为了远程操作kafka，有时需要连接到zookeeper，所以需要将zookeeper也暴露出来；
创建文件zookeeper-nodeport-svc.yaml，内容如下：

apiVersion: v1
kind: Service
metadata:
  name: zookeeper-nodeport
  namespace: kafka-test
spec:
  type: NodePort
  ports:
       - port: 2181
         nodePort: 32181
  selector:
    app: zookeeper
    release: k8s-kafka  #这里的名称要与helm install --name-template k8s-kafka -f values.yaml . --namespace kafka-test这里的k8s-kafka保持一致

执行命令：kubectl apply -f zookeeper-nodeport-svc.yaml
查看服务，发现已经可以通过宿主机IP:32181访问zookeeper了，如下图：

验证kafka服务

找一台电脑安装kafka包，就能通过里面自带的命令远程连接和操作K8S的kafka了：

访问kafka官网：http://kafka.apache.org/downloads ，刚才确定了scala版本2.11，kafka版本2.0.1，因此下载下图红框中的版本：
下载后解压，进入目录kafka_2.11-2.0.1/bin
查看当前topic：

./kafka-topics.sh --list --zookeeper 192.168.50.135:32181

如下图，空空如也：
在这里插入图片描述
\4. 创建topic：

./kafka-topics.sh --create --zookeeper 192.168.50.135:32181 --replication-factor 1 --partitions 1 --topic test001

如下图，创建成功后再查看topic终于有内容了：
在这里插入图片描述
\5. 查看名为test001的topic：

./kafka-topics.sh --describe --zookeeper 192.168.50.135:32181 --topic test001

在这里插入图片描述
\6. 进入创建消息的交互模式：

./kafka-console-producer.sh --broker-list 192.168.50.135:31090 --topic test001

进入交互模式后，输入任何字符串再输入回车，就会将当前内容作为一条消息发送出去：
在这里插入图片描述
\7. 再打开一个窗口，执行命令消费消息：

./kafka-console-consumer.sh --bootstrap-server 192.168.50.135:31090 --topic test001 --from-beginning
1

在这里插入图片描述
\8. 再打开一个窗口，执行命令查看消费者group：

./kafka-consumer-groups.sh --bootstrap-server 192.168.50.135:31090 --list

如下图可见groupid等于console-consumer-21022
在这里插入图片描述
\9. 执行命令查看groupid等于console-consumer-21022的消费情况：

./kafka-consumer-groups.sh --group console-consumer-21022 --describe --bootstrap-server 192.168.50.135:31090

如下图所示：
在这里插入图片描述
远程连接kafka体验基本功能完毕，查看、收发消息都正常，证明本次部署成功；

kafkacat连接

kafkacat是个客户端工具，我这里是在MacBook Pro上用brew安装的；
我这里K8S服务器IP是192.168.50.135，因此执行此命令查看kafka信息：kafkacat -b 192.168.50.135:31090 -L，如下图，可以看到broker信息，以及topic信息(一个是test001，还有一个是consumer的offset)，把端口换成31091和31092会连接到另外两个broker，也能得到相同信息：

清理资源

本次实战创建了很多资源：rbac、role、serviceaccount、pod、deployment、service，下面的脚本可以将这些资源清理掉(只剩NFS的文件没有被清理掉)：

helm del --purge kafka
kubectl delete service zookeeper-nodeport -n kafka-test
kubectl delete storageclass managed-nfs-storage
kubectl delete deployment nfs-client-provisioner -n kafka-test
kubectl delete clusterrolebinding run-nfs-client-provisioner
kubectl delete serviceaccount nfs-client-provisioner -n kafka-test
kubectl delete role leader-locking-nfs-client-provisioner -n kafka-test
kubectl delete rolebinding leader-locking-nfs-client-provisioner -n kafka-test
kubectl delete clusterrole nfs-client-provisioner-runner
kubectl delete namespace kafka-test

至此，K8S环境部署和验证kafka的实战就完成了，希望能给您提供一些参考；

IT技术分享