xuanyuanaosheng
commented
2 hours ago Kafka ACL Authorizer using SASL/SCRAM
Kafka 支持 SCRAM-SHA-256 和 SCRAM-SHA-512，可以与 TLS 一起使用以执行安全认证。用户名作为被认证的主体用于 ACL 等的配置。Kafka 中的默认 SCRAM 实现将 SCRAM 凭据存储在 Zookeeper 中，适用于 Zookeeper 位于私有网络的 Kafka 安装。
- 创建凭据
Kafka中的SCRAM实现使用Zookeeper作为凭据存储。可以通过kafka-configs.sh在Zookeeper中创建凭据。对于每个启用的SCRAM机制，必须通过添加带有机制名称的配置来创建凭据。在启动Kafka代理之前，必须创建用于代理之间通信的凭据。客户端凭据可以动态创建和更新，并且更新后的凭据将用于验证新连接。
## Create broker user (or admin user) # kafka-configs.sh --zookeeper localhost:2181 --alter --add-config 'SCRAM-SHA-256=[password=xxxxxxxx],SCRAM-SHA-512=[password=xxxxxxxx]' --entity-type users --entity-name admin
Create client user apptest
kafka-configs.sh --zookeeper localhost:2181 --alter --add-config 'SCRAM-SHA-256=[iterations=8192,password=xxxxxxxx],SCRAM-SHA-512=[password=xxxxxxxx]' --entity-type users --entity-name apptest
Check SCRAM credentials
kafka-configs.sh --zookeeper localhost:2181 --describe --entity-type users --entity-name apptest
Delete SCRAM credentials
kafka-configs.sh --zookeeper localhost:2181 --alter --delete-config 'SCRAM-SHA-512' --entity-type users --entity-name apptest
2. 配置 Kafka 代理1. Add a suitably modified JAAS file similar to the one below to each Kafka broker's config directory, let's call it kafka_server_jaas.conf for this example:
cd /opt/kafka/kafka_2.12-2.3.0/config
vim kafka_server_jaas.conf
KafkaServer {
org.apache.kafka.common.security.scram.ScramLoginModule required
username="admin"
password="xxxxxxxx";
};
2. Modify bin/kafka-server-start.sh
exec $base_dir/kafka-run-class.sh $EXTRA_ARGS -Djava.security.auth.login.config=$base_dir/../config/kafka_server_jaas.conf kafka.Kafka "$@"
3. Modify config/server.properties
listeners=SASL_PLAINTEXT://server1:9092
security.inter.broker.protocol=SASL_PLAINTEXT
sasl.mechanism.inter.broker.protocol=SCRAM-SHA-256
sasl.enabled.mechanisms=SCRAM-SHA-256
advertised.listeners=SASL_PLAINTEXT://server1:9092
allow.everyone.if.no.acl.found=false
super.users=User:admin
authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer
4. Restart zookeeper and kafka cluster
### 配置ACL增加ACL权
Grant apptest user write access to topic testkafka
kafka-acls.sh --authorizer kafka.security.auth.SimpleAclAuthorizer --authorizer-properties zookeeper.connect=localhost:2181 --add --allow-principal User:apptest --operation Write --topic testkafka
Grant apptest user read access to topic testkafka
kafka-acls.sh --authorizer kafka.security.auth.SimpleAclAuthorizer --authorizer-properties zookeeper.connect=localhost:2181 --add --allow-principal User:apptest --operation Read --topic testkafka
列出ACL
kafka-acls.sh --authorizer kafka.security.auth.SimpleAclAuthorizer --authorizer-properties zookeeper.connect=localhost:2181 --list
删除ACL
delete write access
kafka-acls.sh --authorizer kafka.security.auth.SimpleAclAuthorizer --authorizer-properties zookeeper.connect=localhost:2181 --remove --allow-principal User:apptest --operation Write --topic testkafka
3. 查看和删除用户查看用户
/opt/zookeeper/zookeeper-3.5.5/bin/zkCli.sh ls /config/users
删除用户
/opt/zookeeper/zookeeper-3.5.5/bin/zkCli.sh delete /config/users/apptest
架构
安装
一般Kafka集群是由zookeeper集群和kafka集群组成。Kafka集群一般需要3个节点。
安装zookeeper集群
安装kafka集群
安装管理软件
通过上面的步骤，Kafka集群已经安装完毕，接下来根据情况安装对应的管理软件
Kafka集群常用的命令
Kafka的监控
Kafka集群的升级
更新kafka只需更新二进制包，配置方面无需更改。
Kafka的备份
由于 Kafka 不存储对数据完整性要求很高的数据，所以只需备份 Kafka 和 Zookeeper 的配置文件。
Kafka集群的灾备切换
这两个 Kafka 集群会向配置中心请求 DCleader 和 DCFollower 的状态，并处理领导者和追随者的变动。
生产者
消费者