<![CDATA[运维进行时]]> https://blog.liuts.com/index.php zh-cn https://blog.liuts.com/post/203/ <![CDATA[MooseFS性能图表[原创]]]> 刘天斯 <liutiansi@gmail.com> Mon, 07 Jun 2010 15:09:35 +0000 https://blog.liuts.com/post/203/ ./iozone -a -n 512m -g 4g -i 0 -i 1 -f /mnt/mfs/logs/test.tar.gz -Rb ./iozone.xls -C
测试说明
1、/mnt/mfs/logs/test.tar.gz大小为9.2G，大于服务器物理内存(8G)。
2、获取挂载的分区的write、re-write、read、re-read数据。

测试数据
一、reader report
点击在新窗口中浏览此图片
点击在新窗口中浏览此图片

二、re-reader report
点击在新窗口中浏览此图片
点击在新窗口中浏览此图片

三、write report
点击在新窗口中浏览此图片
点击在新窗口中浏览此图片

四、re-write report
点击在新窗口中浏览此图片
点击在新窗口中浏览此图片

结果分析
       从图表中可以看出，写IO可达到将近10MB/s，很接近单块磁盘的IO性能，因测试chunkserver只有两台，在多台时该值会有所偏低，与chunkserver服务器数成反比，此时读IO会成正比。

如大家有什么疑问或感兴趣的话题可以通过weibo与我交流：http://t.qq.com/yorkoliu
Tags - , ]]> https://blog.liuts.com/post/202/ <![CDATA[MooseFS学习笔记]]> 刘天斯 <liutiansi@gmail.com> Mon, 07 Jun 2010 14:51:05 +0000 https://blog.liuts.com/post/202/
1、/mnt/mfs空间的大小为chunkserver定义空间空闲的大小，已使用空间为mfs所存储的数据容量。

2、在任一台client执行chmod -R nobody:nobody /mnt/mfs(任意操作)，所有client看到的结果是一样的。

3、mfschunkfile 用来检查给定的文件以多少副本数来存储。
引用

#mfscheckfile /mnt/mfs/folder1/mfs-1.6.15.tar.gz
/mnt/mfs/folder1/mfs-1.6.15.tar.gz:
1 copies: 1 chunks

说明有一个副本存储在一个 chunk里。

4、设定、查看的目标mfssetgoal、mfsgetgoal副本数
引用

mfssetgoal 3 /mnt/mfs/folder1
mfsgetgoal /mnt/mfs/folder1

5、mfsdirinfo 显示了目录、文件及 chunks 的数目,还有整个目录占用磁盘空间的情况
引用

mfsdirinfo /mnt/mfs/floder1/
inodes:                          2
  directories:                    1
  files:                          1
chunks:                          1
length:                   44145890
size:                     44176384
realsize:                 88352768  包括所有副本的大小。

6、mfsfileinfo 显示文件基本信息。
引用

mfsfileinfo /mnt/mfs/folder1/ccav.dat

7、mfsgettrashtime 验证、查看数据删除回收时间，默认为86400(1天)
引用

mfsgettrashtime -r /mnt/mfs/folder1

8、配置mfssettrashtime 数据删除回收时间
引用

mfssettrashtime 3600 /mnt/mfs/folder1
mfsmount -o nonempty -m /mnt/mfsmeta -H mfsmaster
/mnt/mfsmeta/trash/  已标志删除的文件[回收站]
/mnt/mfsmeta/trash/undel 还原文件
mv /mnt/mfsmeta/trash/* undel

被删文件的文件名在 “垃圾箱”目录里还可见,文件名由一个八位十六进制的数 i-node 和被删文
件的文件名组成,在文件名和 i-node 之间不是用“/”,而是用了“|”替代。
如：00000004|folder1|jdk-1_5_0_20-linux-amd64.bin

在 MFSMETA 的目录里,除了 trash 和 trash/undel 两个目录外,还有第三个目录 reserved,该目
录内有已经删除的文件,但却有一直打开着。在用户关闭了这些被打开的文件后,reserved 目录中的
文件将被删除,  文件的数据也将被立即删除。 reserved 目录中文件的命名方法同 trash 目录中的一样 ,
在但是不能有其他功能的操作。
/mnt/mfsmeta/reserved

9、大于64MB的文件将进行分片存储。
如tb_access_20100517.tar.gz 文件被分成了25个片，文件本身配置成4个副本。
引用

/usr/bin/mfsfileinfo tb_access_20100517.tar.gz
tb_access_20100517.tar.gz:
  chunk 0: 0000000000016121_00000001 / (id:90401 ver:1)
    copy 1: 19.2.172.134:9422
    copy 2: 19.2.172.135:9422
  chunk 1: 00000000000161D8_00000001 / (id:90584 ver:1)
    copy 1: 19.2.172.134:9422
    copy 2: 19.2.172.135:9422
  chunk 2: 000000000001625D_00000001 / (id:90717 ver:1)
    copy 1: 19.2.172.134:9422
    copy 2: 19.2.172.135:9422
  chunk 3: 00000000000162E8_00000001 / (id:90856 ver:1)
    copy 1: 19.2.172.134:9422
    copy 2: 19.2.172.135:9422
  chunk 4: 000000000001637E_00000001 / (id:91006 ver:1)
    copy 1: 19.2.172.134:9422
    copy 2: 19.2.172.135:9422
  chunk 5: 0000000000016427_00000001 / (id:91175 ver:1)
    copy 1: 19.2.172.134:9422
    copy 2: 19.2.172.135:9422
  chunk 6: 00000000000164B0_00000001 / (id:91312 ver:1)
    copy 1: 19.2.172.134:9422
    copy 2: 19.2.172.135:9422
  chunk 7: 0000000000016554_00000001 / (id:91476 ver:1)
    copy 1: 19.2.172.134:9422
    copy 2: 19.2.172.135:9422
  chunk 8: 00000000000165F2_00000001 / (id:91634 ver:1)
    copy 1: 19.2.172.134:9422
    copy 2: 19.2.172.135:9422
  chunk 9: 0000000000016690_00000001 / (id:91792 ver:1)
    copy 1: 19.2.172.134:9422
    copy 2: 19.2.172.135:9422
  chunk 10: 000000000001673B_00000001 / (id:91963 ver:1)
    copy 1: 19.2.172.134:9422
    copy 2: 19.2.172.135:9422
  chunk 11: 00000000000167E6_00000001 / (id:92134 ver:1)
    copy 1: 19.2.172.134:9422
    copy 2: 19.2.172.135:9422
  chunk 12: 000000000001686D_00000001 / (id:92269 ver:1)
    copy 1: 19.2.172.134:9422
    copy 2: 19.2.172.135:9422
  chunk 13: 0000000000016927_00000001 / (id:92455 ver:1)
    copy 1: 19.2.172.134:9422
    copy 2: 19.2.172.135:9422
  chunk 14: 00000000000169C4_00000001 / (id:92612 ver:1)
    copy 1: 19.2.172.134:9422
    copy 2: 19.2.172.135:9422
  chunk 15: 0000000000016A62_00000001 / (id:92770 ver:1)
    copy 1: 19.2.172.134:9422
    copy 2: 19.2.172.135:9422
  chunk 16: 0000000000016B16_00000001 / (id:92950 ver:1)
    copy 1: 19.2.172.134:9422
    copy 2: 19.2.172.135:9422
  chunk 17: 0000000000016BB8_00000001 / (id:93112 ver:1)
    copy 1: 19.2.172.134:9422
    copy 2: 19.2.172.135:9422
  chunk 18: 0000000000016C54_00000001 / (id:93268 ver:1)
    copy 1: 19.2.172.134:9422
    copy 2: 19.2.172.135:9422
  chunk 19: 0000000000016CE6_00000001 / (id:93414 ver:1)
    copy 1: 19.2.172.134:9422
    copy 2: 19.2.172.135:9422
  chunk 20: 0000000000016DB2_00000001 / (id:93618 ver:1)
    copy 1: 19.2.172.134:9422
    copy 2: 19.2.172.135:9422
  chunk 21: 0000000000016E76_00000001 / (id:93814 ver:1)
    copy 1: 19.2.172.134:9422
    copy 2: 19.2.172.135:9422
  chunk 22: 0000000000016F23_00000001 / (id:93987 ver:1)
    copy 1: 19.2.172.134:9422
    copy 2: 19.2.172.135:9422
  chunk 23: 0000000000016FC8_00000001 / (id:94152 ver:1)
    copy 1: 19.2.172.134:9422
    copy 2: 19.2.172.135:9422
  chunk 24: 000000000001708F_00000002 / (id:94351 ver:2)
    copy 1: 19.2.172.134:9422
    copy 2: 19.2.172.135:9422

10、恢复master故障
  1、在master服务器上的恢复方法，如只是主机电源故障，更新后重启。
  运行：mfsmetarestore -a
  确保/www/lib/mfs/有metadata.mfs.back及changelog_ml.*.mfs
  2、从metalogger服务器恢复
  将/www/lib/mfs下的metadata.mfs.back及changelog_ml.*.mfs 复制到master的/www/lib/mfs目录。
运行：mfsmetarestore -m metadata.mfs.back -o metadata.mfs changelog_ml.*.mfs或mfsmetarestore -a。
*changelog_ml.*.mfs ＊表示最近50(默认)个小时的文件变化日志。

11、安全的停止MooseFS集群
引用

1.在所有的客户端卸载 MooseFS 文件系统(用 umount 命令或者是其它等效的命令)  umount /mnt/mfs
2.用 mfschunkserver –s 命令停止 chunkserver 进程
3.用 mfsmetalogger –s 命令停止 metalogger 进程
4.用 mfsmaster –s 命令停止 master 进程


12、安全的启动MooseFS集群
引用

1、mfsmaster start 命令启动 master 进程
2、mfschunkserver start 命令启动 chunkserver 进程
3、mfsmetalogger start 命令启动 metalogger 进程
4、在所有的客户端挂载 MooseFS 文件系统  /usr/bin/mfsmount /mnt/mfs -H mfsmaster

Tags - , ]]> https://blog.liuts.com/post/201/ <![CDATA[MooseFS安装笔记]]> 刘天斯 <liutiansi@gmail.com> Mon, 07 Jun 2010 14:39:07 +0000 https://blog.liuts.com/post/201/ 安装环境
Master Server
192.168.72.32    Centos5.4(64X)

Metalogger Server
192.168.17.33    Centos5.4(64X)

Chunk Servers
192.168.17.34    Centos5.4(64X)
192.168.17.35    Centos5.4(64X)

Client Server
192.168.17.36    Centos5.4(64X)
192.168.17.41    Centos5.4(64X)
192.168.17.42    Centos5.4(64X)
192.168.17.43    Centos5.4(64X)

master 安装
mkdir -p /home/install/moosefs/
cd /home/install/moosefs/
groupadd mfs
useradd -g mfs mfs

wget http://m.install.server.com/install/moosefs/mfs-1.6.15.tar.gz
tar -zxvf mfs-1.6.15.tar.gz
cd mfs-1.6.15
./configure --prefix=/usr --sysconfdir=/etc --localstatedir=/www/lib --with-default-user=mfs --with-default-group=mfs --disable-mfschunkserver --disable-
mfsmount
make && make install

cd /etc/
cp mfsmaster.cfg.dist mfsmaster.cfg
cp mfsmetalogger.cfg.dist mfsmetalogger.cfg
cp mfsexports.cfg.dist mfsexports.cfg

vi mfsexports.cfg
引用

192.168.0.0/16             /       rw,alldirs,maproot=0

cd /www/lib/mfs
cp metadata.mfs.empty metadata.mfs

vi /etc/hosts
引用

192.168.17.32         mfsmaster

运行mfs服务
/usr/sbin/mfsmaster start
引用

master <-> metaloggers module: listen on *:9419
master <-> chunkservers module: listen on *:9420
main master server module: listen on *:9421

运行监控平台
/usr/sbin/mfscgiserv
引用

starting simple cgi server (host: any , port: 9425 , rootpath: /usr/share/mfscgi)


Backup server (metalogger) 安装
mkdir -p /home/install/moosefs/
cd /home/install/moosefs/
groupadd mfs
useradd -g mfs mfs

wget http://m.install.server.com/install/moosefs/mfs-1.6.15.tar.gz
tar -zxvf mfs-1.6.15.tar.gz
cd mfs-1.6.15
./configure --prefix=/usr --sysconfdir=/etc --localstatedir=/www/lib --with-default-user=mfs --with-default-group=mfs --disable-mfschunkserver --disable-
mfsmount
make && make install

cd /etc/
cp mfsmetalogger.cfg.dist mfsmetalogger.cfg

vi /etc/hosts
引用

192.168.17.32         mfsmaster

/usr/sbin/mfsmetalogger start

Chunk servers安装
mkdir -p /home/install/moosefs/
cd /home/install/moosefs/
groupadd mfs
useradd -g mfs mfs

wget http://m.install.server.com/install/moosefs/mfs-1.6.15.tar.gz
tar -zxvf mfs-1.6.15.tar.gz
cd mfs-1.6.15
./configure --prefix=/usr --sysconfdir=/etc --localstatedir=/www/lib --with-default-user=mfs --with-default-group=mfs --disable-mfsmaster
make && make install

cd /etc/
cp mfschunkserver.cfg.dist mfschunkserver.cfg
cp mfshdd.cfg.dist mfshdd.cfg

vi /etc/hosts
引用

192.168.17.32         mfsmaster

mkdir /www/mfschunks
chown -R mfs:mfs /www/mfschunks

vi /etc/mfshdd.cfg
引用

/www/mfschunks

/usr/sbin/mfschunkserver start
引用

working directory: /www/lib/mfs
lockfile created and locked
initializing mfschunkserver modules ...
hdd space manager: scanning folder /www/mfschunks/ ...
hdd space manager: /www/mfschunks/: 0 chunks found
hdd space manager: scanning complete
main server module: listen on *:9422
no charts data file - initializing empty charts
mfschunkserver daemon initialized properly

Client Server安装
groupadd mfs
useradd -g mfs mfs

mkdir -p /home/install/moosefs/
cd /home/install/moosefs/
wget http://m.install.server.com/install/moosefs/fuse-2.7.6.tar.gz
tar -zxvf fuse-2.7.6.tar.gz
cd fuse-2.7.6
./configure --prefix=/usr
make
make install
一定要运行以下export命令，不然挂载moosefs系统会失败
引用

export  PKG_CONFIG_PATH=/usr/lib/pkgconfig:$PKG_CONFIG_PATH

cd ../
wget http://m.install.server.com/install/moosefs/mfs-1.6.15.tar.gz
tar -zxvf mfs-1.6.15.tar.gz
cd mfs-1.6.15
./configure --prefix=/usr --sysconfdir=/etc --localstatedir=/www/lib --with-default-user=mfs --with-default-group=mfs --disable-mfsmaster --disable-
mfschunkserver
make && make install

vi /etc/hosts
引用

192.168.17.32         mfsmaster

开始挂接操作
mkdir -p /mnt/mfs
/usr/bin/mfsmount /mnt/mfs -H mfsmaster

安装完毕。
Tags - , ]]>