llp-blog

Appearance

基于docker搭建开发环境 ​

1.安装单机版Kafka ​

环境：

centos7.5

Docker version 20.10.12, build e91ed57

zk默认端口：2181

kafka默认端口：9092

拉取zookeeper并运行

#拉去zookeeper镜像
 docker pull wurstmeister/zookeeper
 #运行zookeeper容器
 docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper

拉取kafka镜像并运行

#拉去kafka镜像
 docker pull wurstmeister/kafka
 #运行kakfa进行
 docker run -d --name kafka -p 9092:9092 --link zookeeper -e KAFKA_ZOOKEEPER_CONNECT=你的ip:2181 -e KAFKA_ADVERTISED_HOST_NAME=你的ip -e KAFKA_ADVERTISED_PORT=9092 -v /etc/localtime:/etc/localtime wurstmeister/kafka

  • 命令配置

    KAFKA_ZOOKEEPER_CONNECT ：指定 zookeeper 的 “地址:端口”，请更换自己的ip和端口；

    KAFKA_ADVERTISED_HOST_NAME：kafka 安装机器ip;

  • 注意 启动kafka后,如果连接不上zookeeper，提示 Socket error occurred: xxx.xxx.x.xxx:2181: Host is unreachable (org.apache.zookeeper.ClientCnxn)

  • 防火墙放行2181端口，命令(CentOS 7)

    shell
    firewall-cmd --add-port=2181/tcp --permanent
systemctl restart firewalld

    9092端口可能也需要加入防火墙策略，具体根据日志提示 我遇到的情况：telnet 2181是通的，但还是要加防火墙策略才能正常启动kafka)

2.安装单机版RabbitMQ ​

docker pull rabbitmq:management
 
 docker run -di --name myrabbit -e RABBITMQ_DEFAULT_USER=admin -e RABBITMQ_DEFAULT_PASS=admin -p 15672:15672 -p 5672:5672 -p 25672:25672 -p 61613:61613 -p 1883:1883 rabbitmq:management

3.安装单机版Redis ​

  • 测试版，未作容器挂载重启容器数据丢失
shell
docker run -itd --name (启动容器的名称) -p 映射端口:redis启动端口 redis --requirepass “启动密码”

docker run -itd --name my_redis -p 7000:6379 redis --requirepass "password"
  • 实战版
shell
docker run  -p 6379:6379 --name myredis --privileged=true -v /app/redis/redis.conf:/etc/redis/redis.conf -v /app/redis/data:/data -d redis:6.0.8 redis-server /etc/redis/redis.conf

修改配置文件，修改宿主机目录下的配置文件即可/app/redis/redis.conf

shell
#开启redis数据持久化 可选  
appendonly yes  
#重启redis
docker restart myredis

4.安装单机版RocketMQ ​

1.创建namesrv服务 ​

1.拉取镜像 ​

shell
docker pull rocketmqinc/rocketmq

2.创建namesrv数据存储路径 ​

mkdir -p  /docker/rocketmq/data/namesrv/logs   /docker/rocketmq/data/namesrv/store

3.构建namesrv容器 ​

shell
docker run -d \
--restart=always \
--name rmqnamesrv \
-p 9876:9876 \
-v /docker/rocketmq/data/namesrv/logs:/root/logs \
-v /docker/rocketmq/data/namesrv/store:/root/store \
-e "MAX_POSSIBLE_HEAP=100000000" \
rocketmqinc/rocketmq \
sh mqnamesrv
参数说明
-d以守护进程的方式启动
- -restart=alwaysdocker重启时候容器自动重启
- -name rmqnamesrv把容器的名字设置为rmqnamesrv
-p 9876:9876把容器内的端口9876挂载到宿主机9876上面（9876时rocket的默认端口）
-v /docker/rocketmq/data/namesrv/logs:/root/logs把容器内的/root/logs日志目录挂载到宿主机的 /docker/rocketmq/data/namesrv/logs目录
-v /docker/rocketmq/data/namesrv/store:/root/store把容器内的/root/store数据存储目录挂载到宿主机的 /docker/rocketmq/data/namesrv目录
rmqnamesrv容器的名字
-e "MAX_POSSIBLE_HEAP=100000000"设置容器的最大堆内存为100000000
rocketmqinc/rocketmq使用的镜像名称
sh mqnamesrv启动namesrv服务

2.创建broker节点 ​

1.创建broker数据存储路径 ​

shell
mkdir -p /docker/rocketmq/data/broker/logs /docker/rocketmq/data/broker/store /docker/rocketmq/conf

2.创建配置文件 ​

shell
vi /docker/rocketmq/conf/broker.conf

broker.conf内容

shell
# 所属集群名称，如果节点较多可以配置多个
brokerClusterName = DefaultCluster
#broker名称，master和slave使用相同的名称，表明他们的主从关系
brokerName = broker-a
#0表示Master，大于0表示不同的slave
brokerId = 0
#表示几点做消息删除动作，默认是凌晨4点
deleteWhen = 04
#在磁盘上保留消息的时长，单位是小时
fileReservedTime = 48
#有三个值：SYNC_MASTER，ASYNC_MASTER，SLAVE；同步和异步表示Master和Slave之间同步数据的机制；
brokerRole = ASYNC_MASTER
#刷盘策略，取值为：ASYNC_FLUSH，SYNC_FLUSH表示同步刷盘和异步刷盘；SYNC_FLUSH消息写入磁盘后才返回成功状态，ASYNC_FLUSH不需要；
flushDiskType = ASYNC_FLUSH
# 设置broker节点所在服务器的ip地址,需根据自身实际情况填写
brokerIP1 = 192.168.109.124
# 磁盘使用达到80%之后,生产者再写入消息会报错 CODE: 14 DESC: service not available now, maybe disk full
diskMaxUsedSpaceRatio=80

3.构建broker容器 ​

shell
docker run -d  \
--restart=always \
--name rmqbroker \
--link rmqnamesrv:namesrv \
-p 10911:10911 \
-p 10909:10909 \
-v  /docker/rocketmq/data/broker/logs:/root/logs \
-v  /docker/rocketmq/data/broker/store:/root/store \
-v /docker/rocketmq/conf/broker.conf:/opt/rocketmq/conf/broker.conf \
-e "NAMESRV_ADDR=namesrv:9876" \
-e "MAX_POSSIBLE_HEAP=200000000" \
rocketmqinc/rocketmq \
sh mqbroker -c /opt/rocketmq-4.4.0/conf/broker.conf
参数说明
-d以守护进程的方式启动
–restart=alwaysdocker重启时候镜像自动重启
- -name rmqbroker把容器的名字设置为rmqbroker
- --link rmqnamesrv:namesrv和rmqnamesrv容器通信
-p 10911:10911把容器的非vip通道端口挂载到宿主机
-p 10909:10909把容器的vip通道端口挂载到宿主机
-e "NAMESRV_ADDR=namesrv:9876"指定namesrv的地址为本机namesrv的ip地址:9876
-e "MAX_POSSIBLE_HEAP=200000000"指定broker服务的最大堆内存
rocketmqinc/rocketmq使用的镜像名称
sh mqbroker -c /opt/rocketmq/conf/broker.conf指定配置文件启动broker节点

3.创建rockermq-console控制台服务 ​

1.拉取镜像 ​

shell
docker pull pangliang/rocketmq-console-ng

2.构建rockermq-console容器 ​

namesrv.addr=192.168.109.124:9876，这里namesrv.addr前面配置时指定的ip和端口

shell
docker run -d \
--restart=always \
--name rmqadmin \
-e "JAVA_OPTS=-Drocketmq.namesrv.addr=192.168.109.124:9876 \
-Dcom.rocketmq.sendMessageWithVIPChannel=false" \
-p 9999:8080 \
pangliang/rocketmq-console-ng
参数说明
-d以守护进程的方式启动
- -restart=alwaysdocker重启时候镜像自动重启
- -name rmqadmin把容器的名字设置为rmqadmin
-e "JAVA_OPTS=-Drocketmq.namesrv.addr=192.168.109.124:9876设置namesrv服务的ip地址
-Dcom.rocketmq.sendMessageWithVIPChannel=false"不使用vip通道发送消息
–p 9999:8080把容器内的端口8080挂载到宿主机上的9999端口

3.需要关闭防火墙或者开放namesrv和broker端口 ​

如果不设置,控制台服务将无法访问namesrv服务 异常信息如下 org.apache.rocketmq.remoting.exception.RemotingConnectException: connect to failed

4.开放指定端口 ​

shell
firewall-cmd --permanent --zone=public --add-port=9876/tcp
firewall-cmd --permanent --zone=public --add-port=10911/tcp
# 立即生效
firewall-cmd --reload

5.网页访问 ​

查看控制台信息

http://192.168.109.124:9999/ ​

5.安装单机版MySQL ​

1.docker hub上面查找mysql镜像 ​

shell
docker search mysql

2.从docker hub上(阿里云加速器)拉取mysql镜像到本地标签为5.7 ​

shell
docker pull mysql:5.7

3.启动mysql容器 ​

shell
# -d后台运行 ，-p 宿主机端口:容器端口 --privileged=true 容器卷映射到宿主机授权
# -v 宿主机目录:容器目录 数据卷可以映射多个文件|目录
#--name 运行容器别名
# 要运行的镜像名:tag
docker run -d -p 3307:3306 --privileged=true \
-v /llp/mysql/log:/var/log/mysql \
-v /llp/mysql/data:/var/lib/mysql \
-v /llp/mysql/conf:/etc/mysql/conf.d \
-e MYSQL_ROOT_PASSWORD=123456 --name mysql mysql:5.7

字符集乱码问题

shell
cd /llp/mysql/conf/
vim my.conf

[client]
default_character_set=utf8mb4
[mysqld]
collation_server = utf8mb4_general_ci
character_set_server = utf8mb4

重启mysql容器，再次查看字符集