轻量级 memcached 缓存代理 twemproxy 实践

本文内容脑图如下：

文章共 533 字，阅读大约需要 2 分钟！

概述

twemproxy （ nutcracker ） 是 Twitter 开源的轻量级 memcached / redis 代理服务器，本质就是一个集群管理工具，主要用来弥补 Redis 和 Memcached 对集群管理的不足，其完成的最大功劳就是通过在后端减少同缓存服务器的连接数从而增加吞吐量。我们将 Twemproxy 看成一个老大哥，背后 Carry 着一群 memcached / redis 实例小弟，如此看来，某一程序上也类似于 memcached / redis 的 HA。

本文先实践一波让 twemproxy 来 Carry 一群 memcached 小弟时的工作情况。

注：本文首发于 My Personal Blog：CodeSheep·程序羊，欢迎光临小站

环境准备

准备三台节点：

192.168.199.77 | CentOS 7.4 | 部署 memcached1 实例 |
192.168.199.78 | CentOS 7.4 | 部署 memcached2 实例 |
192.168.199.79 | CentOS 7.4 | 部署 twemproxy 代理服务器 |

memcached 部署

安装

yum install memcached

作为后台服务运行之

memcached -u root -p 11211 -m 64m -d

twemproxy 部署

安装 m4 工具

wget http://ftp.gnu.org/gnu/m4/m4-1.4.9.tar.gz
tar -zvxf m4-1.4.9.tar.gz
cd m4-1.4.9
./configure
make
make install

安装 autoconf 工具

wget http://ftp.gnu.org/gnu/autoconf/autoconf-2.69.tar.gz
tar zxvf autoconf-2.69.tar.gz
cd autoconf-2.69
./configure --prefix=/usr/
make && make install

安装 twemproxy 代理

wget https://github.com/twitter/twemproxy/archive/master.zip
unzip master.zip
mv twemproxy-master twemproxy
mv twemproxy /usr/local/
cd /usr/local/
cd twemproxy/
autoreconf -fvi
./configure --enable-debug=full
make
make install

查看 twemproxy 帮助

nutcracker -h

[root@localhost ~]# nutcracker -h
This is nutcracker-0.4.1

Usage: nutcracker [-?hVdDt] [-v verbosity level] [-o output file]
                  [-c conf file] [-s stats port] [-a stats addr]
                  [-i stats interval] [-p pid file] [-m mbuf size]

Options:
  -h, --help             : this help
  -V, --version          : show version and exit
  -t, --test-conf        : test configuration for syntax errors and exit
  -d, --daemonize        : run as a daemon
  -D, --describe-stats   : print stats description and exit
  -v, --verbose=N        : set logging level (default: 5, min: 0, max: 11)
  -o, --output=S         : set logging file (default: stderr)
  -c, --conf-file=S      : set configuration file (default: conf/nutcracker.yml)
  -s, --stats-port=N     : set stats monitoring port (default: 22222)
  -a, --stats-addr=S     : set stats monitoring ip (default: 0.0.0.0)
  -i, --stats-interval=N : set stats aggregation interval in msec (default: 30000 msec)
  -p, --pid-file=S       : set pid file (default: off)
  -m, --mbuf-size=N      : set size of mbuf chunk in bytes (default: 16384 bytes)

准备 twemproxy 配置文件

vim /usr/local/twemproxy/conf/nutcracker.yml

修改配置文件 nutcracker.yml

memcached:
  listen: 127.0.0.1:22121
  hash: fnv1a_64
  distribution: ketama
  timeout: 400
  backlog: 1024
  preconnect: true
  auto_eject_hosts: true
  server_retry_timeout: 30000
  server_failure_limit: 3
  servers:
   - 192.168.199.77:11211:1   
   - 192.168.199.78:11211:1

启动 tewmproxy 服务

nutcracker -d -c /usr/local/twemproxy/conf/nutcracker.yml

检查启动情况

[root@localhost ~]# netstat -nltp | grep nutcracker
tcp        0      0 0.0.0.0:22222           0.0.0.0:*               LISTEN      12737/nutcracker    
tcp        0      0 192.168.199.79:22121    0.0.0.0:*               LISTEN      12737/nutcracker

数据读 /写测试

首先通过 twemproxy 代理来写缓存

一连存入了 6 个 key

[root@localhost conf]# telnet localhost 22121
Trying ::1...
telnet: connect to address ::1: Connection refused
Trying 127.0.0.1...
Connected to localhost.
Escape character is '^]'.
set key1  0 0 1
1
STORED
set key2 0 0 1
2
STORED
set key3 0 0 1
3
STORED
set key4 0 0 1
4
STORED
set key5 0 0 1
5
STORED
set key6 0 0 1
6
STORED

查看发现所有缓存都写到了 memcached2 中

[root@localhost ~]# telnet 127.0.0.1 11211
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
get key1
VALUE key1 0 1
1
END
get key2   
VALUE key2 0 1
2
END
get key3
VALUE key3 0 1
3
END
get key4
VALUE key4 0 1
4
END
get key5
VALUE key5 0 1
5
END
get key6
VALUE key6 0 1
6
END

接下来断开 memcached2

[root@localhost ~]# ps -aux | grep  mem
root       634  0.0  0.0 326588  1960 ?        Ssl  15:58   0:00 memcached -u root -p 11211 -m 64m -d
root       704  0.0  0.0 112676   984 pts/0    S+   16:01   0:00 grep --color=auto mem
[root@localhost ~]# kill -9 634

继续通过 twemproxy 代理来写缓存

[root@localhost conf]# telnet localhost 22121
Trying ::1...
telnet: connect to address ::1: Connection refused
Trying 127.0.0.1...
Connected to localhost.
Escape character is '^]'.
set key9 0 0 1
9
STORED
[root@localhost conf]#

此时去 memcached1 查看：

[root@localhost ~]# telnet 127.0.0.1 11211
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
get key9
VALUE key9 0 1
9
END

我们发现 memcached2 断开后，缓存 key9 写到了 memcached1 中，而对于用户来说，由于是跟 twemproxy 代理交互，因此并不能感觉到后端 memcached2 实例的下线

我们再重新启动 memcached2

然后再继续通过代理写数据：

[root@localhost conf]# telnet localhost 22121
Trying ::1...
telnet: connect to address ::1: Connection refused
Trying 127.0.0.1...
Connected to localhost.
Escape character is '^]'.
set key10 0 0 1
x
STORED
set key11 0 0 1
y
STORED

然后发现数据又写到 memcached2 中了

[root@localhost ~]# telnet 127.0.0.1 11211
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
get key10 
VALUE key10 0 1
x
END
get key11
VALUE key11 0 1
y
END

从上面这个实验过程可以看出，一台 memcached 实例挂掉后，twemproxy 能自动移除之；而恢复后，twemproxy 能够自动识别并重新加入到 memcached 组中重新使用

后记

由于能力有限，若有错误或者不当之处，还请大家批评指正，一起学习交流！

My Personal Blog：CodeSheep 程序羊
我的半年技术博客之路

liuxu

2018-11-19 10:11:27 +08:00

你确定你要复制粘贴源 github 带--enable-debug=full 的编译配置么？

#ifdef NC_ASSERT_PANIC

#define ASSERT(_x) do { \
if (!(_x)) { \
nc_assert(#_x, __FILE__, __LINE__, 1); \
} \
} while (0)

void
nc_assert(const char *cond, const char *file, int line, int panic)
{
log_error("assert '%s' failed @ (%s, %d)", cond, file, line);
if (panic) {
nc_stacktrace(1);
abort();
}
}

我知道推广个人博客不易，可你这往“程序员”节点推广的太多了吧。。就我平时随便点击就看到你的有 3 贴以上了，翻一翻历史记录全是推广，先是简书，然后是你的个人站

v2ex 个人博客现在已经有正规新节点了：/go/blogger

liuxu:nutcracker-0.4.1$ dig +noall +answer www.codesheep.cn
www.codesheep.cn. 45 IN CNAME pages.coding.me.
pages.coding.me. 45 IN A 103.210.21.11
liuxu:nutcracker-0.4.1$ besttrace -q1 www.codesheep.cn
traceroute to www.codesheep.cn (103.210.21.11), 30 hops max, 60 byte packets
1 localhost (192.168.1.1) 0.49 ms * 局域网
2 123.117.16.1 21.61 ms AS4808 中国北京联通
3 *
4 *
5 124.65.194.117 10.98 ms AS4808 中国北京联通
6 219.158.112.26 36.26 ms AS4837 中国广东广州联通
7 219.158.8.118 45.42 ms AS4837 中国广东广州联通
8 219.158.96.209 72.92 ms AS4837 中国广东广州联通
9 219.158.97.246 45.82 ms AS4837 中国香港联通
10 202.77.23.26 106.78 ms AS10099 中国香港联通
11 43.252.86.66 106.23 ms AS10099 中国香港联通
12 103.1.67.6 81.02 ms AS10099 中国香港联通
13 43.252.86.210 116.19 ms AS10099 中国香港联通
14 *
15 *
16 *
17 107.150.122.59 94.00 ms AS135377 中国香港 zenlayer.com
18 *
19 *
20 *
21 *
22 *
23 *
24 *
25 *
26 *
27 *
28 *
29 *
30 103.210.21.11 2875.46 ms AS135377 中国香港 zenlayer.com

说实在的，正规做站就应该备个案，香港线路天天炸，开你的博客主资源 TTFB 要 3 秒，整个页面 Load:1.3min

推广就推广，coding 连个 https 都舍不得给么，都 2018 年都快过完了，博客连个 https 都没有，羞不羞，还好意思贴出来

轻量级 memcached 缓存代理 twemproxy 实践

概 述

环境准备

memcached 部署

twemproxy 部署

数据读 /写测试

后 记

概述

后记