标题:排查Centos与ubuntu系统awk运行效率差异[原创] 出处:运维进行时 时间:Fri, 05 Mar 2010 18:02:26 +0000 作者:刘天斯 地址:https://blog.liuts.com/post/181/ 内容: 同一个分析日志的awk脚本,在Centos、ubuntu操作系统运行效率存在巨大差异。即在ubuntu中只需1分钟,而在Centos中则需要20分钟。以下为我的排查步骤: 1、检查服务器内核版本 引用 拿一台升级过最新Linux内核(2.6.32.3)的CentOS5.4服务器来测试,结果还是没有改善 。 2、检查内核ulimit参数 引用 在Centos服务器调整所有ulimit参数与ubuntu系统一致,结果还是一样。 3、优化awk脚本 引用 由于mawk与gawk部分语法上存在差异,如将转义符‘\’换成'\\',双引号换成单引号,依然没有效果。 4、检查gawk版本 引用 检查两个系统的gawk版本,发现所有Centos版本默认自带的gawk都低于ubuntu系统自带的3.1.6,尝试在Centos服务器下载、安装源码gawk3.1.6,结果速度提升了20倍。测试结果如下: time /usr/local/bin/gawk -f test.awk access.log >"temp.txt" real 0m48.739s user 0m42.904s sys 0m5.389s Generated by Bo-blog 2.1.1 Release