一晩、昨日の午後から Gluster の性能評価を始めていたが、今朝来てみると、評価プログラムが止まっていた。
Write to /gfs/write-test/sp8testee: standard output: No space left on device
tee: write error
測定値の書出しに失敗している
なぜ?!
取りあえず、df を取ってみる
% df
Filesystem Size Used Avail Use% Mounted on
/dev/sda3 20G 19G 0 100% /
udev 3.9G 4.0K 3.9G 1% /dev
tmpfs 1.6G 268K 1.6G 1% /run
none 5.0M 0 5.0M 0% /run/lock
none 4.0G 239M 3.7G 6% /run/shm
/dev/sdb1 1.9T 13G 1.9T 1% /gluster-partial
node1:/gfs 3.7T 35G 3.7T 1% /gfs
きっとログが溢れてるなということで、 /var/log を見てみると、 gluster.log が 17GB と大爆発している。
ログを見てみると、同じエラーが繰り返されている。
[2012-02-22 06:25:05.67891] E [iobuf.c:526:iobuf_ref] (-->/usr/lib/glusterfs/3.2.1/rpc-transport/rdma.so(rdma_recv_reply+0xe2) [0x7f5d48636612] (-->/usr/lib/glusterfs/3.2.1/rpc-transport/rdma.so(rdma_pollin_notify+0x71) [0x7f5d48636341] (-->/usr/lib/libgfrpc.so.0(rpc_transport_pollin_alloc+0x83) [0x7f5d4cd51a73]))) 0-iobuf: invalid argument: iobuf
Google先生に聞いてみると、どうやら Gluster 3.2.0 で RDMA を使う時のバグらしい。
http://gluster.org/pipermail/gluster-users/2011-April/007416.html
でも、このスレッドには、 3.2.1 で修正されるとあるが、直ってないし。
ただ、iobuf_ref()関数がヌル値で呼び出されたことによるとあるので、致命的な問題ではないのかな…
データのベリファイをしてみるかな・・・
