Symbolic是一个开源的企业平台,旨在建立、配置和管理您的庞大分布式数据中心为目的开源框架,代表了目前最先进的数据中心解决方案的集中管理平台。
特征
1、属于RedHat认证协议栈的应用
2、具于func后端应用
3、支持 RHEL、Centos及Fedora
4、先进的拖放标签管理(Ajax)
5、提供Cobbler支持
6、灵活管理操作用户、主机
7、组和权限管理标记
8、先进的基于Web的Ajax接口
9、支持LDAP,Kerberos和本地认证
10、符合JEE标准
11、完全可定制的业务
12、灵活的管理用户和主机
13、安全的SSL连接
14、虚拟机管理
15、可定制的插件支持
16、执行各种语言编写的外部脚本(Python、Groovy、bashshell)
平台截图


特征
1、属于RedHat认证协议栈的应用
2、具于func后端应用
3、支持 RHEL、Centos及Fedora
4、先进的拖放标签管理(Ajax)
5、提供Cobbler支持
6、灵活管理操作用户、主机
7、组和权限管理标记
8、先进的基于Web的Ajax接口
9、支持LDAP,Kerberos和本地认证
10、符合JEE标准
11、完全可定制的业务
12、灵活的管理用户和主机
13、安全的SSL连接
14、虚拟机管理
15、可定制的插件支持
16、执行各种语言编写的外部脚本(Python、Groovy、bashshell)
平台截图


一、前言
目前查看系统日志比较被动,遇到系统不正常或故障时才会主动去检查服务器系统日志,这样一来不能及时了解系统的运行情况,因此部署Logzilla+sphine+syslog-ng来弥补这不足。以下为安装、部署平台详细步骤。(Logzilla是什么新东西?其实前身就是php-syslog-ng,引用作者的话“Php-syslog-ng is now known as LogZilla. Same owner, better code :-)”)
二、平台初始化
#yum install libdbi* libnet
#cpan Date::Calc Text::LevenshteinXS String::CRC32
三、下载相关包
#cd /home/install
#mkdir logzilla;cd logzilla
#wget http://www.balabit.com/downloads/files/eventlog/0.2/eventlog_0.2.9.tar.gz
#wget http://www.balabit.com/downloads/files/syslog-ng/open-source-edition/3.0.3/setups/rhel-5-i386/syslog-ng-3.0.3-1.rhel5.i386.rpm
四、开始安装
# cp eventlog_0.2.9.tar.gz /usr/src/redhat/SOURCES/
# tar zxvf eventlog_0.2.9.tar.gz
# cd eventlog-0.2.9/
# rpmbuild --ba eventlog.spec.bb
# cd /usr/src/redhat/RPMS/x86_64
# rpm -Uvh libevtlog*
#cd /home/install/logzilla
#rpm -Uvh syslog-ng-3.0.3-1.rhel5.i386.rpm
五、安装logzilla
#cd /www/webroot/
#wget http://php-syslog-ng.googlecode.com/files/logzilla_3.0.85.tgz
#tar -zxvf logzilla_3.0.85.tgz
#cd logzilla/scripts
#./install.pl
(根据实际情况来回应就OK了)
===================
LogZilla Installation
====================
Enter the MySQL root username [root]:
Enter the password for root [mysql]:
Database to install to [syslog]:
Database table to install to [logs]:
Enter the name of the MySQL server [127.0.0.1]:
Enter the port of the MySQL server [3306]:
Enter the name to create as the owner of the logs database [syslogadmin]:
Enter the password for the syslogadmin user [syslogadmin]:
Enter the name to create as the WEBSITE owner [admin]:
Enter the password for admin [admin]:
Enter your email address [cdukes@cdukes.com]:
Enter a name for your website [The home of LogZilla]:
Enter the base url for your site (include trailing slash) [/logs/]: /
Where should log files be stored? [/var/log/logzilla]:
How long should I keep old logs? (in days) [30]:
========================================
Path Updates
========================================
Getting ready to replace paths in all files with "/www/webroot/logzilla"
Ok to continue? [y]:
Updating file paths
Modifying ../scripts/db_insert.pl
Modifying ../scripts/contrib/system_configs/logzilla.crontab
Modifying ../scripts/contrib/system_configs/syslog-ng.conf
Modifying ../scripts/contrib/system_configs/logzilla.apache
Modifying ../sphinx/indexer.sh
Modifying ../sphinx/sphinx.conf
Updating log paths
Modifying ../scripts/contrib/system_configs/logzilla.crontab
Modifying ../scripts/contrib/system_configs/logzilla.logrotate
====================
Database Installation
====================
All data will be installed into the syslog database
Ok to continue? [y]:
====================
Config.php generation
====================
Generating /www/webroot/logzilla/html/config/config.php
Ok to continue? [y]:
====================
System files
====================
Adding LogZilla logrotate.d file to /etc/logrotate.d
Ok to continue? [y]:
Where is your syslog-ng.conf file located? [/etc/syslog-ng/syslog-ng.conf]: /opt/syslog-ng/etc/syslog-ng.conf
Adding syslog-ng configuration to /opt/syslog-ng/etc/syslog-ng.conf
Ok to continue? [y]:
Found 1 sources
Which source definition would you like to use? [s_all]:
LogZilla installation complete...
Note: you may need to enable the MySQL Event Scheduler in your /etc/my.cnf file.
Please visit http://forum.logzilla.info/index.php/topic,71.0.html for more information.
Also, please visit http://nms.gdd.net/index.php/Install_Guide_for_LogZilla_v3.0#UDP_Buffers to learn how to increase your UDP buffer size (otherwise you may drop messages).
Please run /etc/init.d/syslog-ng restart
目前查看系统日志比较被动,遇到系统不正常或故障时才会主动去检查服务器系统日志,这样一来不能及时了解系统的运行情况,因此部署Logzilla+sphine+syslog-ng来弥补这不足。以下为安装、部署平台详细步骤。(Logzilla是什么新东西?其实前身就是php-syslog-ng,引用作者的话“Php-syslog-ng is now known as LogZilla. Same owner, better code :-)”)
二、平台初始化
#yum install libdbi* libnet
#cpan Date::Calc Text::LevenshteinXS String::CRC32
三、下载相关包
#cd /home/install
#mkdir logzilla;cd logzilla
#wget http://www.balabit.com/downloads/files/eventlog/0.2/eventlog_0.2.9.tar.gz
#wget http://www.balabit.com/downloads/files/syslog-ng/open-source-edition/3.0.3/setups/rhel-5-i386/syslog-ng-3.0.3-1.rhel5.i386.rpm
四、开始安装
# cp eventlog_0.2.9.tar.gz /usr/src/redhat/SOURCES/
# tar zxvf eventlog_0.2.9.tar.gz
# cd eventlog-0.2.9/
# rpmbuild --ba eventlog.spec.bb
# cd /usr/src/redhat/RPMS/x86_64
# rpm -Uvh libevtlog*
#cd /home/install/logzilla
#rpm -Uvh syslog-ng-3.0.3-1.rhel5.i386.rpm
五、安装logzilla
#cd /www/webroot/
#wget http://php-syslog-ng.googlecode.com/files/logzilla_3.0.85.tgz
#tar -zxvf logzilla_3.0.85.tgz
#cd logzilla/scripts
#./install.pl
(根据实际情况来回应就OK了)
===================
LogZilla Installation
====================
Enter the MySQL root username [root]:
Enter the password for root [mysql]:
Database to install to [syslog]:
Database table to install to [logs]:
Enter the name of the MySQL server [127.0.0.1]:
Enter the port of the MySQL server [3306]:
Enter the name to create as the owner of the logs database [syslogadmin]:
Enter the password for the syslogadmin user [syslogadmin]:
Enter the name to create as the WEBSITE owner [admin]:
Enter the password for admin [admin]:
Enter your email address [cdukes@cdukes.com]:
Enter a name for your website [The home of LogZilla]:
Enter the base url for your site (include trailing slash) [/logs/]: /
Where should log files be stored? [/var/log/logzilla]:
How long should I keep old logs? (in days) [30]:
========================================
Path Updates
========================================
Getting ready to replace paths in all files with "/www/webroot/logzilla"
Ok to continue? [y]:
Updating file paths
Modifying ../scripts/db_insert.pl
Modifying ../scripts/contrib/system_configs/logzilla.crontab
Modifying ../scripts/contrib/system_configs/syslog-ng.conf
Modifying ../scripts/contrib/system_configs/logzilla.apache
Modifying ../sphinx/indexer.sh
Modifying ../sphinx/sphinx.conf
Updating log paths
Modifying ../scripts/contrib/system_configs/logzilla.crontab
Modifying ../scripts/contrib/system_configs/logzilla.logrotate
====================
Database Installation
====================
All data will be installed into the syslog database
Ok to continue? [y]:
====================
Config.php generation
====================
Generating /www/webroot/logzilla/html/config/config.php
Ok to continue? [y]:
====================
System files
====================
Adding LogZilla logrotate.d file to /etc/logrotate.d
Ok to continue? [y]:
Where is your syslog-ng.conf file located? [/etc/syslog-ng/syslog-ng.conf]: /opt/syslog-ng/etc/syslog-ng.conf
Adding syslog-ng configuration to /opt/syslog-ng/etc/syslog-ng.conf
Ok to continue? [y]:
Found 1 sources
Which source definition would you like to use? [s_all]:
LogZilla installation complete...
Note: you may need to enable the MySQL Event Scheduler in your /etc/my.cnf file.
Please visit http://forum.logzilla.info/index.php/topic,71.0.html for more information.
Also, please visit http://nms.gdd.net/index.php/Install_Guide_for_LogZilla_v3.0#UDP_Buffers to learn how to increase your UDP buffer size (otherwise you may drop messages).
Please run /etc/init.d/syslog-ng restart
一般能反映机房设备位置、结构我们都喜欢通过网络拓扑图来展现,但个人感觉还不够直观、明了的表现出自己想要的结果(自己太挑剔了,呵呵)。因此写一个生成真实机柜模拟图平台,实现与真实服务器外观、服务状态、空闲位置等信息。
在线效果图
http://blog.liuts.com/idc/
系统截图
1、平台显示某一排截图

2、平台显示某台服务器详细信息截图

在线效果图
http://blog.liuts.com/idc/
系统截图
1、平台显示某一排截图
2、平台显示某台服务器详细信息截图
给部门做的"Cfengine技术培训文档"PPT,分享使用过程当中的一些配置、使用方法及常见问题等。如有疑问再一起交流。
CfengineV_2简体中文文档
下载文件 (已下载 767 次)
CfengineV_3简体中文文档
下载文件 (已下载 1091 次)
如大家有什么疑问或感兴趣的话题可以通过weibo与我交流:http://t.qq.com/yorkoliu
Cfengine培训文档 刘天斯
View more presentations from liuts.
CfengineV_2简体中文文档
下载文件 (已下载 767 次)CfengineV_3简体中文文档
下载文件 (已下载 1091 次)如大家有什么疑问或感兴趣的话题可以通过weibo与我交流:http://t.qq.com/yorkoliu
为什么不选择Apache/mod+resin?
前面一直使用该模式,mod_caucho暴露源码的bug一直未得到彻底的解决。因此切换到Nginx+resin平台。硬件上要求除了内存一定要足够大(建议>4G),无其它要求(当然也不能太破,呵呵
)。操作系统强烈要求安装64位,32位操作系统jvm只能识别不到2G的内存,印象中是1.57G(单实例应用)。下面总结自己的一些调优方法及配置。
调优硬件环境
CPU:Intel Xeon*2(双核)
MEM:8G
SWAP:1G
一、测试32系统所支持的最大可用内存
java -XmxXXXXM -version
不断加大-Xmx的大小,截止到出现以下提示:
Could not create the Java virtual machine.
二、Nginx配置
location / {
root /var/www/app.cn;
index index.jsp;
proxy_pass http://localhost:8080;
include /usr/local/nginx/conf/proxy.conf;
}
location ~* \.(jsp|do|shtml)$ {
root /var/www/app.cn;
index index.jsp;
include /usr/local/nginx/conf/proxy.conf;
proxy_pass http://localhost:8080;
proxy_set_header X-Real-IP $remote_addr;
}
以代理的方式进行整合,静态文件继续由Nginx来解析,扩展名为jsp|do|shtml才丢给后端resin来处理。即使resin发现的故障,前端最多只会报500、502 time out的信息。
前面一直使用该模式,mod_caucho暴露源码的bug一直未得到彻底的解决。因此切换到Nginx+resin平台。硬件上要求除了内存一定要足够大(建议>4G),无其它要求(当然也不能太破,呵呵
)。操作系统强烈要求安装64位,32位操作系统jvm只能识别不到2G的内存,印象中是1.57G(单实例应用)。下面总结自己的一些调优方法及配置。调优硬件环境
CPU:Intel Xeon*2(双核)
MEM:8G
SWAP:1G
一、测试32系统所支持的最大可用内存
java -XmxXXXXM -version
不断加大-Xmx的大小,截止到出现以下提示:
Could not create the Java virtual machine.
二、Nginx配置
location / {
root /var/www/app.cn;
index index.jsp;
proxy_pass http://localhost:8080;
include /usr/local/nginx/conf/proxy.conf;
}
location ~* \.(jsp|do|shtml)$ {
root /var/www/app.cn;
index index.jsp;
include /usr/local/nginx/conf/proxy.conf;
proxy_pass http://localhost:8080;
proxy_set_header X-Real-IP $remote_addr;
}
以代理的方式进行整合,静态文件继续由Nginx来解析,扩展名为jsp|do|shtml才丢给后端resin来处理。即使resin发现的故障,前端最多只会报500、502 time out的信息。
对MooseFS有了一定的了解,现在可以压压它的性能了,使用的是iozone IO测试工具。测试命令为:
./iozone -a -n 512m -g 4g -i 0 -i 1 -f /mnt/mfs/logs/test.tar.gz -Rb ./iozone.xls -C
测试说明
1、/mnt/mfs/logs/test.tar.gz大小为9.2G,大于服务器物理内存(8G)。
2、获取挂载的分区的write、re-write、read、re-read数据。
测试数据
一、reader report


./iozone -a -n 512m -g 4g -i 0 -i 1 -f /mnt/mfs/logs/test.tar.gz -Rb ./iozone.xls -C
测试说明
1、/mnt/mfs/logs/test.tar.gz大小为9.2G,大于服务器物理内存(8G)。
2、获取挂载的分区的write、re-write、read、re-read数据。
测试数据
一、reader report
参考了老田的译文《moosefs-step-by-step-tutorial-cn》,自己也着手部署测试环境,现将安装过程整理出来。
安装环境
Master Server
192.168.72.32 Centos5.4(64X)
Metalogger Server
192.168.17.33 Centos5.4(64X)
Chunk Servers
192.168.17.34 Centos5.4(64X)
192.168.17.35 Centos5.4(64X)
Client Server
192.168.17.36 Centos5.4(64X)
192.168.17.41 Centos5.4(64X)
192.168.17.42 Centos5.4(64X)
192.168.17.43 Centos5.4(64X)
master 安装
mkdir -p /home/install/moosefs/
cd /home/install/moosefs/
groupadd mfs
useradd -g mfs mfs
wget http://m.install.server.com/install/moosefs/mfs-1.6.15.tar.gz
tar -zxvf mfs-1.6.15.tar.gz
cd mfs-1.6.15
./configure --prefix=/usr --sysconfdir=/etc --localstatedir=/www/lib --with-default-user=mfs --with-default-group=mfs --disable-mfschunkserver --disable-
mfsmount
make && make install
安装环境
Master Server
192.168.72.32 Centos5.4(64X)
Metalogger Server
192.168.17.33 Centos5.4(64X)
Chunk Servers
192.168.17.34 Centos5.4(64X)
192.168.17.35 Centos5.4(64X)
Client Server
192.168.17.36 Centos5.4(64X)
192.168.17.41 Centos5.4(64X)
192.168.17.42 Centos5.4(64X)
192.168.17.43 Centos5.4(64X)
master 安装
mkdir -p /home/install/moosefs/
cd /home/install/moosefs/
groupadd mfs
useradd -g mfs mfs
wget http://m.install.server.com/install/moosefs/mfs-1.6.15.tar.gz
tar -zxvf mfs-1.6.15.tar.gz
cd mfs-1.6.15
./configure --prefix=/usr --sysconfdir=/etc --localstatedir=/www/lib --with-default-user=mfs --with-default-group=mfs --disable-mfschunkserver --disable-
mfsmount
make && make install
关于Func非Python API实现远程调用,目的是给第三方工具提供调用及返回接口。Func使用func-transmit命令来实现,支持YAML 1.0 与 JSON,使用上非常简单。例子如下:
YAML格式
#vi run.yaml
JSON格式
#vi run.json
参数说明
clients 目标主机,"*"代码所有被控主机。
async 是否异步,是一个bool值,True为使用异步,False则不使用。
nforks 启用的线程数,用数字表示。
module 模块名称,如command。
method 方法名称,如command模块下的run方法。
parameters 参数,如"/usr/bin/tail -100 /var/log/messages"。
YAML格式
#vi run.yaml
JSON格式
#vi run.json
参数说明
clients 目标主机,"*"代码所有被控主机。
async 是否异步,是一个bool值,True为使用异步,False则不使用。
nforks 启用的线程数,用数字表示。
module 模块名称,如command。
method 方法名称,如command模块下的run方法。
parameters 参数,如"/usr/bin/tail -100 /var/log/messages"。























