前言
Codis是一个分布式的Redis解决方案。
codis-proxy是codis的转发代理,使用的时候,连接codis-proxy进行操作,与连接原生的redis对比,存在一些不支持的命令,其他没有明显的区别。
codis-fe开启Web服务,通过浏览器进行操作,简化了复杂的设置。
GITHUB地址:
github给出的架构图
Codis Server:基于 redis-3.2.8 分支开发。增加了额外的数据结构,以支持 slot 有关的操作以及数据迁移指令。具体的修改可以参考文档 redis 的修改。
Codis Proxy:客户端连接的 Redis 代理服务, 实现了 Redis 协议。 除部分命令不支持以外(不支持的命令列表),表现的和原生的 Redis 没有区别(就像 Twemproxy)。
对于同一个业务集群而言,可以同时部署多个 codis-proxy 实例;不同 codis-proxy 之间由 codis-dashboard 保证状态同步。
Codis Dashboard:集群管理工具,支持 codis-proxy、codis-server 的添加、删除,以及据迁移等操作。在集群状态发生改变时,codis-dashboard 维护集群下所有 codis-proxy 的状态的一致性。对于同一个业务集群而言,同一个时刻 codis-dashboard 只能有 0个或者1个;所有对集群的修改都必须通过 codis-dashboard 完成。
Codis Admin:集群管理的命令行工具。
可用于控制 codis-proxy、codis-dashboard 状态以及访问外部存储。
Codis FE:集群管理界面。
多个集群实例共享可以共享同一个前端展示页面;
通过配置文件管理后端 codis-dashboard 列表,配置文件可自动更新。
需要zookeeper的支持
可以根据这个文章进行安装部署:
centos-试试zookeeper集群部署
下载:
在github上已经有编译好的二进制包(注:需要Centos7系统)
github上搜索codis
最新版本是3.2
下载二进制包:codis3.2.0-go1.8.1-linux.tar.gz
部署需要zookeeper运行环境
解压二进制包到/opt/
tar zxvf codis-3.2.0-go.1.8.1-linux.tar.gz -C /opt/
cd /opt/
ln -s codis-3.2.0-go.1.8.1-linux codis
创建配置文件
cd /opt/codis
mkdir -p etc scripts
./codis-dashboard --default-config | tee etc/dashboard.toml
修改其中的zookeeper地址
coordinator_name = "zookeeper"
coordinator_addr = "127.0.0.1:2181"
./codis-proxy --default-config | tee etc/proxy.toml
创建codis-server配置文件:
cat >etc/8001.conf<<EOF
daemonize yes
pidfile /data/codis/logs/redis_8001.pid
port 8001
timeout 60
loglevel warning
logfile "/data/codis/logs/codis-server-8001.log"
databases 16
rdbcompression yes
dbfilename dump-8001.rdb
dir /data/codis/data
maxclients 80000
maxmemory 1gb
maxmemory-policy volatile-lru
appendonly yes
appendfilename "appendonly8001.aof"
appendfsync everysec
no-appendfsync-on-rewrite yes
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
slowlog-log-slower-than 10000
slowlog-max-len 1024
hz 50
aof-rewrite-incremental-fsync yes
EOF
cat >etc/8002.conf<<EOF
daemonize yes
pidfile /data/codis/logs/redis_8002.pid
port 8002
timeout 60
loglevel warning
logfile "/data/codis/logs/codis-server-8002.log"
databases 16
rdbcompression yes
dbfilename dump-8002.rdb
dir /data/codis/data
maxclients 80000
maxmemory 1gb
maxmemory-policy volatile-lru
appendonly yes
appendfilename "appendonly8002.aof"
appendfsync everysec
no-appendfsync-on-rewrite yes
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
slowlog-log-slower-than 10000
slowlog-max-len 1024
hz 50
aof-rewrite-incremental-fsync yes
EOF
cat >etc/8003.conf<<EOF
daemonize yes
pidfile /data/codis/logs/redis_8003.pid
port 8001
timeout 60
loglevel warning
logfile "/data/codis/logs/codis-server-8003.log"
databases 16
rdbcompression yes
dbfilename dump-8001.rdb
dir /data/codis/data
maxclients 80000
maxmemory 1gb
maxmemory-policy volatile-lru
appendonly yes
appendfilename "appendonly8003.aof"
appendfsync everysec
no-appendfsync-on-rewrite yes
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
slowlog-log-slower-than 10000
slowlog-max-len 1024
hz 50
aof-rewrite-incremental-fsync yes
EOF
cat >etc/8004.conf<<EOF
daemonize yes
pidfile /data/codis/logs/redis_8004.pid
port 8001
timeout 60
loglevel warning
logfile "/data/codis/logs/codis-server-8004.log"
databases 16
rdbcompression yes
dbfilename dump-8001.rdb
dir /data/codis/data
maxclients 80000
maxmemory 1gb
maxmemory-policy volatile-lru
appendonly yes
appendfilename "appendonly8004.aof"
appendfsync everysec
no-appendfsync-on-rewrite yes
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
slowlog-log-slower-than 10000
slowlog-max-len 1024
hz 50
aof-rewrite-incremental-fsync yes
EOF
启动脚本:
cat >scripts/start_codis_dashboard.sh<<EOF
#!/bin/bash
CODIS_HOME=/opt/codis
nohup ${CODIS_HOME}/bin/codis-dashboard --ncpu=`cat /proc/cpuinfo | grep cores | wc -l` --config=${CODIS_HOME}/etc/dashboard.toml --log=/data/codis/logs/dashboard.log --log-level=WARN &
EOF
chmod +x scripts/start_codis_dashboard.sh
cat >scripts/start_codis_proxy.sh<<EOF
#!/bin/bash
CODIS_HOME=/opt/codis
nohup ${CODIS_HOME}/bin/codis-proxy --ncpu=`cat /proc/cpuinfo | grep cores | wc -l` --config=${CODIS_HOME}/etc/proxy.toml --log=/data/codis/logs/proxy.log --log-level=WARN &
EOF
chmod +x scripts/start_codis_proxy.sh
cat >scripts/start_codis_fe.sh<<EOF
#!/bin/bash
CODIS_HOME=/opt/codis
nohup ${CODIS_HOME}/codis-fe --ncpu=`cat /proc/cpuinfo | grep cores | wc -l` --log=/data/codis/logs/fe.log --log-level=WARN --zookeeper=127.0.0.1:2181 --listen=0.0.0.0:8080 &
EOF
chmod +x scripts/start_codis_fe.sh
cat >scripts/start_codis_server.sh<<EOF
#!/bin/bash
CODIS_HOME=/opt/codis
for conf in `ls ${CODIS_HOME}/etc/80??.conf`
do
${CODIS_HOME}/bin/codis-server ${conf}
done
EOF
chmod +x scripts/start_codis_proxy.sh
创建目录:
mkdir -p /data/codis/logs
mkdir -p /data/codis/data
启动codis:
(先启动zookeeper)
/opt/codis/scripts/start_codis_dashboard.sh
/opt/codis/scripts/start_codis_proxy.sh
/opt/codis/scripts/start_codis_fe.sh
/opt/codis/scripts/start_codis_server.sh
fe启动了就可以在浏览器访问
//[fe所在的服务器的IP地址]:8080
在Proxy:
[proxy所在服务器的ip]:11080
点击 New Proxy
在Group先创建组
输入组数字
点击New Group
然后添加codis-server
codis-server+端口 to 组
点击 Add Server
每组添加两个codis-server作为一主一从
添加完以后,同步一下组关系
点击第二个节点的主从设置安装,就会自动设置主从关系
使用
客户端连接 :proxy所在服务器IP:19000
举报/反馈