分页: 4/30 第一页 上页 1 2 3 4 5 6 7 8 9 10 下页 最后页 [ 显示模式: 摘要 | 列表 ]
一、前言
        为了更加清晰了解应用的性能、可用性及响应速度等指标,开发了一套支持多节点的监控平台,并提供阀值报警、动态查询及多功能报表等功能。平台采用RRDTOOL+pycurl+Imaging+pyexcelerator+zlib+Django等开源技术开发,现详细对监控平台进行介绍。
二、平台架构图
点击在新窗口中浏览此图片

Memlink是天涯社区统平台部近日推出的开源项目,项目托管地址:http://code.google.com/p/memlink/
为什么会有Memlink?

       对于大型论坛服务,比如百度贴吧、天涯论坛,日均发帖量过百万或千万,日均PV过亿,日积月累下来的帖子数量可能几十亿到上百亿。这种超级论坛,其海量存储、海量访问都是一个非常有挑战性的技术难题。

中 小规模的论坛(Phpwind/discuz)通常使用mysql/sql server作为后端存储,当数据量膨胀时,比如一个版面有百万、千万级别主贴,一个主贴下有数百万回复,此时使用SQL语句select … order by … limit … 进行数据查询和展现,性能可想而知。

       在web2.0网站系统架构中,缓存无处不在。如一个大的CDN平台,一个普通的页面级缓存等。合理的利用缓存可以提高用户下载速度、降低源服务器性能负载。如何高效去维护一个缓存集群?除了提高命中率便是缓存的推送管理。现与大家分享构建一个高性能的缓存推送平台思路及实现。

一、平台架构图
点击在新窗口中浏览此图片
       说明:平台使用Django+mysql开发,支持POS/GET两种模式,POST方式用于管理员的手工推送,GET方式则用于接口模式。平台将接收到的URL进行校验、分类后统一向所属缓存服务器组进行telnet pureg请求。遍历完所有主机后返回结果串。

二、平台截图
1、管理UI


2、接口说明

     之前一直使用Nginx+Fastcgi来搭建python web服务器,本文介绍Nginx+UWSGI组合来实现。uWSGI 是一个快速的、纯C语言开发的、自维护的、对开发者友好的WSGI服务器,旨在提供专业的 Python web应用发布和开发。它更符合python web的标准协议,速度要比Fastcgi要快、性能更加稳定。
一、安装平台
1、安装pcre
引用

cd /home
mkdir -p /home/install/nginx && cd /home/install/nginx
wget http://ftp.exim.llorien.org/pcre/pcre-8.00.tar.gz
tar -zxvf pcre-8.00.tar.gz
cd pcre-8.00
./configure
make && make install
cd ..

2、安装Nginx
引用

wget http://nginx.org/download/nginx-0.8.50.tar.gz
tar -zxvf nginx-0.8.50.tar.gz
cd nginx-0.8.50/
./configure --user=nobody --group=nobody --prefix=/usr/local/nginx --with-http_stub_status_module --with-cc-opt='-O3' --with-cpu-opt=opteron
make && make install
cd ..
Tags: , , ,

rrdtool学习笔记 不指定

刘天斯 , 2010/09/15 18:29 , rrdtool , 评论(18) , 阅读(66168) , Via 本站原创
一、前言
      为了做云缓存平台的技术储备,从零开始学习了rrdtool,rrdtool非常强大,刚接触会有摸不着边的感觉,尤其是一堆概念性的东西。学习的切入点便是这些概念,一一理解后你才能品尝到rrdtool的清香,首先要感谢ailms整理的“RRDtool简体中文教程 v1.01”,通俗易懂的概况了rrdtool的所有知识。现在整理自己在学习过程中的一些笔记。

二、基本概念
      RRDtool是指Round Robin Database 工具(环状数据库)。Round robin是一种处理定量数据、以及当前元素指针的技术。想象一个周边标有点的圆环--这些点就是时间存储的位置。从圆心画一条到圆周的某个点的箭头--这就是指针。就像我们在一个圆环上一样,没有起点和终点,你可以一直往下走下去。过来一段时间,所有可用的位置都会被用过,该循环过程会自动重用原来的位置。这样,数据集不会增大,并且不需要维护。RRDtool处理RRD数据库。它用向RRD数据库存储数据、从RRD数据库中提取数据(来源百度问答 )。为了方便理解其工作原理,本人做了一个rrdtool存储结构图:
点击在新窗口中浏览此图片
      公司组织优秀员工、经理香港游,出发之前需要对香港这个地方好好了解一番,开始收集资料...grin

香港旅游购物图

[旅游购物图来源于Sohu]

一、行程
8月26日:抵深,员工在深圳自由活动,在深圳住一晚;
8月27日:参加香港文化中心、星光大道、游览海洋公园、浅水湾、平山顶广场俯视港岛全景,乘船游览维多利亚港夜景。
8月28日:金紫荆广场、会展中心、游览迪斯尼公园。
8月29日:香港自由活动,您可逛街购物,感受香港风情,晚上返回深圳。

二、公司的温馨提示
1)香港购物在大的商场都可以刷卡,所以大家带好银联卡和信用卡就可以,不必带大量现金;
2)最好提前在银行兑换一些港币,大家在香港就餐、坐车及购买一些小的商品都需要付现金,
虽然在香港可以付人民币,但汇率很不划算,如果来不及兑换,过关的时候也可以兑换港币。
3)建议大家带大点的拉杆旅行箱去,8月底是夏季商品打折最历害的时候,估计大家会买很多东西。
4)26号深圳有阵雨,大家带好雨具。
5)再次提醒大家,一定要提前打电话或网上确认自己的航班信息。

三、在线办理乘机手续(海航)
点击在新窗口中浏览此图片
Tags: ,

制作python模块安装包[原创] 不指定

刘天斯 , 2010/08/24 16:32 , Linux , 评论(2) , 阅读(21524) , Via 本站原创
        python的第三方模块越来越丰富,涉及的领域也非常广,如科学计算、图片处理、web应用、GUI开发等。当然也可以将自己写的模块进行打包或发布。一简单的方法是将你的类包直接copy到python的lib目录,但此方式不便于管理与维护,存在多个python版本时会非常混乱。现介绍如何编写setup.py来对一个简单的python模块进行打包。

一、编写模块
进入项目目录
#cd /home/pysetup
#vi foo.py

二、编写setup.py
#vi setup.py

更多参数说明见表:
点击在新窗口中浏览此图片

轻松实现源码打包安装[原创] 不指定

刘天斯 , 2010/08/20 14:38 , Linux , 评论(7) , 阅读(15187) , Via 本站原创
       通常我们在Linux/Unix下安装一平台时往往需要十几甚至更多安装包,这些源码包来源于网络、本地硬盘、移动设备。有时碰到网络不畅通或下载地址失效会带来很多麻烦,一个好方法便是将常用的软件包下载到本地硬盘存放。问题是久而久之连自己都不晓得哪些包才是适用的。现用makeself来实现自解压倒安装倒是一个很好的解决方案,下面以制作Func客户端安装包为例。

一、整理软件包
引用

#cd /home
#mkdir FuncPack1.0
将所需的软件包都往FuncPack1.0目录丢:)
#ls FuncPack1.0

-rw-r--r-- 1 root root    50878 Sep 28  2009 certmaster-0.25.tar.gz
-rw-r--r-- 1 root root      249 Oct  8  2009 certmaster.conf
-rw-r--r-- 1 root root   152871 Sep 28  2009 func-0.25.tar.gz
-rw-r--r-- 1 root root      137 Oct  8  2009 minion.conf
-rw-r--r-- 1 root root   197981 Sep 28  2009 pyOpenSSL-0.9.tar.gz
-rw-r--r-- 1 root root 11060830 May 22  2008 Python-2.5.1.tgz

分页: 4/30 第一页 上页 1 2 3 4 5 6 7 8 9 10 下页 最后页 [ 显示模式: 摘要 | 列表 ]