分页: 1/8 第一页 1 2 3 4 5 6 7 8 下页 最后页 [ 显示模式: 摘要 | 列表 ]

      受CU管理员的邀请参考“千万级pv高性能高并发网站架构与设计交流探讨帖”主题的交流,发表了一案例与大家分享。

      一个支撑千万级PV的网站是非常考验一个架构是否成熟、健壮(本文不涉及软件架构的层面,有兴趣也可以讨论)。现抛出一个系统层面的架构,不保证是最优的方案,但也许适合你。理由是再优秀的架构都不具备通用性,需要根据每种应用特点针对性来设计。希望起到抛砖引玉的作用,大家多多参与,发表意见。


(点击放大)

架构说明:
1)架构中直接引入软件名称的模块,是个人推荐使用的,如Haproxy、Hadoop等;
2)关于全局负载均衡,看成本投入情况,可以使用商业的产品,如F5-GTM,开源方案便是自搭智能DNS;
3)本地负载均衡方案,可以考虑F5-LTM或成熟的开源解决方案LVS;
4)代理层为什么推荐大家使用Haproxy?Haproxy是一个非常优秀的反向代理软件,十分高效、稳定。国内top 10的互联网公司都有在使用;
5)缓存层可以使用Squid或Varnish,个人更倾向Varnish。配置灵活、运行稳定,提供非常便利的管理接口。为啥在缓存层前面加一层代理?优点非常多,列举如下:
  • 根据应用配置URI路由规则,集中热点来提高后端缓存的命中率;
  • 轻松划分网站频道、版块,更好对应用进步组织、规划;
  • 对URI进行一般性安全过滤,抵御注入攻击;
  • 弹性调配硬件资源,应对突发事件产生大流量;
  • 可回收宝贵的公网IP资源;

6)应用层开源技术方案非常多且成熟,在此不详细描述;
7)数据库层主流开源解决方案Mysql是首选,主从复制(一主对多从)是目前比较靠谱的模式;
8)关于Nosql,应用场景不多说,可参考“给部门做的Mongodb技术交流PPT”文章,redis、memcached等作为热点数据存储、数据库缓存都非常理想;
9)内网DNS扮演的角色非常重要,一定要消灭code中出现的内网IP地址,很大程度减少因IP变更、服务器故障而修改源码的情况,同时也便于维护;
10)内网LB适用在内部WEB接口、多台数据库Slave、多台Nosql Slave、公共服务等应用的负载均衡,可以使用LVS、Haproxy来实现,可用性要求不高的应用可行直接使用Localhost DNS轮询;
11)hadoop适合海量数据的存储与处理,如做网站日志分析、用户数据挖掘等;
12)管理集群,平台的核心,运维的阵地;
      以上粗略介绍了架构的几个组成部分,如大家有对哪块有疑问或感兴趣都可以展开来讨论,也可以通过weibo与我交流:http://t.qq.com/yorkoliu

点击在新窗口中浏览此图片

点击在新窗口中浏览此图片
书名:构建高可用Linux服务器
ISBN:9787111359423
作者:余洪春
定价:79.00元
出版时间:2011年10月
出版社:机械工业出版社 订书页面


编辑推荐:
基于实际生产环境,从Linux虚拟化、集群、服务器故障诊断与排除、系统安全性等多角度阐述构建高可用Linux服务器的最佳实践
资深Linux/Unix系统管理专家兼架构师多年一线工作经验结晶,51CTO和ChinaUnix等知名社区联袂推荐

内容简介:
资深Linux/Unix系统管理专家兼架构师多年一线工作经验结晶,51CTO和ChinaUnix等知名社区联袂推荐。结合实际生产环境,从Linux虚拟化、集群、服务器故障诊断与排除、系统安全性等多角度阐述构建高可用Linux服务器的最佳实践。本书实践性非常强,包含大量企业级的应用案例及相应的解决方案,读者可以直接用这些方案解决在实际工作中遇到的问题。
全书一共10章。第1章以作者的项目实践为基础,以RHEL和Centos为平台,有针对性地讲解了构建高性能Linux服务器的应该掌握的核心知识,包括硬件、网络配置、日志管理、性能优化、监控等重要内容;第2章十分详尽地讲解了FreeBSD8.1在企业中的部署与应用,这是目前第一手关于FreeBSD8.1的宝贵资料;第3章讲解了Linux服务器的虚拟化,主要包括VMware和XEN两大虚拟机在Windows Server 2003和Centos系统下的使用方法和工作原理,同时还介绍了Citrix XenServer的使用方法;第4章探讨了生产环境下各种棘手的服务器故障的诊断与排除方法;第5章介绍了生产环境下的SHELL脚本,这些脚本都经过实践验证,读者可以直接在实际工作中使用;第6章首先讲解了构建高可用Linux集群的理论知识,然后以作者的实际项目为例详细演示了构建高可用Linux集群环境的方法(附有项目施工图);最后还探讨了MySQL数据库性能优化方面的话题;第7章以理论与案例相结合的方式讲解了VPN在企业中的部署与应用,包括VPN技术的分类和选择、IPsec VPN的不足和OpenVPN的应用范畴、OpenVPN的部署案例和部署时的注意事项;第8章全面讲解了Linux防火墙及系统安全方面的内容,其中iptables相关的知识是重点,讲解非常详细,很多脚本都可以直接使用;第9章介绍了构建免费开源的企业级邮件系统的完整过程,这也来自于作者在实际工作中的实践;第10章针对系统管理员的学习、工作以及职业规划给出了一些宝贵的建议,对新人尤为有帮助。

RedBridge: Redis for HTTP API[推荐] 不指定

刘天斯 , 2011/10/22 22:28 , Linux , 评论(2) , 阅读(1675) , Via 本站原创
       RedBridge 是一款基于redis 的 HTTP API。 使用LUA 直接跟redis 交互。(类似数据库的存储过程) 高效的实现复杂的业务逻辑。
项目网址:http://code.google.com/p/redbridge/
使用环境:Linux 2.6
软件作者:七夜(李锦星)

RedBridge 具有以下特征:
1. 使用C+epoll 编写的Web Server,支持HTTP GET操作
2. 连接池,连接句柄复用,提高跟redis连接效率
3. 部分类库使用Redis的代码,更加的稳定
4. 使用LUA直接调用Redis命令,实现一次性数据交互实现 复杂的业务逻辑。不需要多次数据交互
5. 服务模型采用单进程,双线程模式
6. 配置文件采用Lua 语法, 容易读取和书写
7. RedBridge发布前,还没有类似的开源项目
Tags: ,

告别天涯,加盟腾讯 不指定

刘天斯 , 2011/09/01 18:05 , My Life , 评论(20) , 阅读(4801) , Via 本站原创
逝去6年激情燃烧的岁月,去迎接更大的挑战。
Tags: , ,

童真[原创] 不指定

刘天斯 , 2011/07/18 23:40 , My Life , 评论(12) , 阅读(4723) , Via 本站原创

这个盛夏迎来你的480天
烈日炎炎,你给我们的小家带来一阵阵清凉
你成长的一点一滴都是我们热议的话题
你的发呆、欢笑、闹闹、好奇、大叫都那么轻易引起关注
每天你学会说不同的话
每天你在你的世界里都是那么的忙,搬玩具、拆家具、丢衣服、玩弄碗筷、戏水、摔手机... ...


每天带着疲惫的身躯回家,听到你响亮而清晰的一声-爸爸、妈妈
身上的疲惫仿佛已经烟消云散,袭来的是一股股暖流
同时,更多的还有责任
愿幸福、健康、快乐永远伴随你



点击在新窗口中浏览此图片
       在我们日常运维工作中,经常会碰到负载均衡器后端应用代码更新、临时剔除后端服务器、排查一主机应用故障等,往往我们会选择比较粗鲁的做法,直接停止或重启应用服务,让负载均衡器探测服务不可用将其剔除。这样带来的坏处是用户与服务器已经建立的连接会被中止,开发人员无法对已经停止服务的主机进行调试。现介绍一种较为温柔的做法,即通过禁用/启用成员的方式来达到目的。本文针对目前最为流行的负载均衡器逐一进行介绍。包括LVS、Haproxy、F5在命令行模式下的实现(方便与其它管理平台对接,实现自动化维护)。当然,Haproxy与F5都提供了人性化管理界面,不过只依赖手工来进行操作。

一、LVS负载均衡器
原理
使用LVS自带的管理工具来实现。

环境说明
Disable VIP:192.168.100.11:80
Disable REAL SERVER:192.168.100.78

实施步骤
1、初始状态
[devuser@lvsserver ~]# ipvsadm -Ln

IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.100.11:80 rr persistent 60
  -> 192.168.100.74:80            Route   3      462        464        
  -> 192.168.100.75:80            Route   3      420        440      
  -> 192.168.100.76:80            Route   3      431        400
  -> 192.168.100.77:80            Route   3      430        432
  -> 192.168.100.78:80            Route   3      435        438

2、禁用成员
[devuser@lvsserver ~]# ipvsadm -d -t 192.168.100.11:80 -r 192.168.100.78

3、当前状态
[devuser@lvsserver ~]# ipvsadm -Ln

IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.100.11:80 rr persistent 60
  -> 192.168.100.74:80            Route   3      462        464        
  -> 192.168.100.75:80            Route   3      420        440      
  -> 192.168.100.76:80            Route   3      431        400
  -> 192.168.100.77:80            Route   3      430        432

4、启用成员
[devuser@lvsserver ~]#ipvsadm -a -t 192.168.100.11:80 -r 192.168.100.78

5、当前状态
[devuser@lvsserver ~]# ipvsadm -Ln

IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.100.11:80 rr persistent 60
  -> 192.168.100.74:80            Route   3      462        464        
  -> 192.168.100.75:80            Route   3      420        440      
  -> 192.168.100.76:80            Route   3      431        400
  -> 192.168.100.77:80            Route   3      430        432
  -> 192.168.100.78:80            Route   3      435        438


二、Haproxy负载均衡器
原理
使用Haproxy的socket admin通道来实现。

环境说明
Disable backend:test.tianya.cn
Disable REAL SERVER:192.168.100.78

实施步骤
1、修改haproxy.cfg配置
#vi /usr/local/haproxy/etc/haproxy.cfg
在global域添加socket admin支持并重启Haproxy服务

global
... ...
   stats socket /usr/local/haproxy/HaproxySocket level admin
... ...
#service haproxy restart

2、安装socat(在任意的两个socket管道之间建立一个通道,在该通道中交换两端的数据。)

wget http://www.dest-unreach.org/socat/download/socat-2.0.0-b3.tar.gz
./configure --disable-fips
make;make install

注:disable OpenSSL FIPS support  "--disable-fips",在没有安装fips包的情况下make时会提示:

FIPSLD_CC=gcc fipsld -O -D_GNU_SOURCE  -Wall -Wno-parentheses -DHAVE_CONFIG_H -I.  -I.   -c -o socat.o socat.c
/bin/sh: fipsld: command not found
make: *** [socat.o] Error 127


3、禁用成员
#echo "disable server test.tianya.cn/192.168.100.78" | socat stdio /usr/local/haproxy/HaproxySocket
点击在新窗口中浏览此图片

4、启用成员
#echo "enable server test.tianya.cn/192.168.100.78" | socat stdio /usr/local/haproxy/HaproxySocket
点击在新窗口中浏览此图片

三、F5-LTM负载均衡器

技能大赛评委记[原创] 不指定

刘天斯 , 2011/04/26 23:17 , My Life , 评论(5) , 阅读(7046) , Via 本站原创
       受邀担任2011年海南省高职高专职业技能大赛“华汉” 杯网页设计与制作技能竞赛评委,此次竞赛有来自海南各高职院校的16支代表队48名选手参加,算是规格比较高的赛事。整理了大赛点滴与大家分享。

一、大赛宗旨
       基于“发展网络文化,建立和谐校园”的宗旨,构建一个校园社交网站。目的是提供学生一个展示自我的平台,缓解学习和生活压力,帮助学生扩大社交网络圈子,为发展海南高校的校园文化做出贡献。

二、大赛要求
1. 网站提供学生登录、注册的功能。
2. 网页能动态提供校园新闻、网站公告、交友信息等内容的链接,用户可点击链接查看详情。(相关操作数据由组委会提供)
3. 网页提供学生个人主页、博客或微博等内容的链接。
4. 主页风格不限,但必须体现合理的布局和色彩搭配。
5. 恰当使用页面设计及动画、视频设计等技术,充实页面内容。
6. 原则上不提供图像和动画素材,若有需要须自行处理。

三、大赛留影
点击在新窗口中浏览此图片
                                                     --评委聘书--
Tags: ,

51CTO专访记录[原创] 不指定

刘天斯 , 2011/03/29 16:36 , My Life , 评论(5) , 阅读(7326) , Via 本站原创
采访人: 51CTO 李晶
采访嘉宾:天涯社区 刘天斯
---------------------------------------------------------------------
      51CTO:首先,能否简单的介绍一下您在运维领域的经历?比如什么时候进入这行,现在主要负责哪方面的工作等等。
      刘天斯:03年毕业后在一家网络公司从事开发兼美工设计的工作,一次偶然的机会接触到了Linux,从一开始的系统安装到各类常用应用平台的搭建。一步一步从一个程序员到运维工程师的转变。2005年加入天涯,正式成为一名运维工程师。目前主要负责的工作有应用平台的上线、部署、监控、调优、事件处理、应急预案等,涉及的领域有架构设计与优化、运维开发、负载均衡、缓存应用、数据库、分布式存储等。

      51CTO:您在天涯社区做系统管理员的这段时间内遇到的最大困难是什么?您最难忘或最高兴的事是什么?
      刘天斯:如何协调各部门与运维的关系,不要再当炮灰了。最高兴的是部门定期聚餐,喝喝小酒,聊聊人生,畅所欲言。

      51CTO:您对开源是如何理解的?天涯社区在过去两年间陆续开源了包含LVS管理系统、Varnish缓存推送平台、高性能数据引擎memlink等好几个项目,业内的同行们都十分关注,您认为这个对整个产业带来了哪些好处?身为一个天涯的运维,您认为这个过程对您自己的价值在哪里?
      刘天斯:开源就是分享,让更多的人受益的同时自己也在提高。经常看到很多朋友都在做监控平台、运维工具。事实上功能都是惊人的相似,大家都在做同样重复的工作,为什么不能其中一个人开源出来大家一起来使用、完善。对整个行业来讲这块的投入成本都会降低,对个体来讲也是资源的整合。如果形成良性的循环,行业的生态环境将有很大程度的改善。本人热衷于开源技术,同样也愿意为开源贡献自己一分微薄之力,希望更多的人能支持开源、参考开源。

      51CTO:天涯社区在过去数年间逐渐从Windows平台全面转移到开源架构,很多朋友对天涯的这个转型过程很感兴趣,网上现在也有不少相关的资料。对于这个过程,您有哪些觉得特别好的资料想推荐给大家的吗?您自己在这个过程中有哪些心得?
      刘天斯:这个过程是漫长的,是一个快速发展壮大的互联网公司的必经之路。转型之前需考虑资源的投入、人才的储备。下一步便是相关技术及经验的积累,这方面的资源互联网上已经很丰富了。个人建议从前端应用、负载均衡、缓存层开始着手,理由是不仅不会给应用逻辑产生很大的干扰,同时还会给整个平台带来高可用性,保证在转型过程中平稳过渡。

      51CTO:作为《2010年度十大杰出IT博客》之一,能否简单介绍一下您开博的经历?一直坚持记录博客,是有什么动力在驱动自己吗?
      刘天斯:开始写博客的目的只是单纯当成笔记本来用,后来慢慢变成交流沟通的平台,收到很多网友的评论、邮件。当中有很多是非常好的建议,比如文章“LAMP+logzilla2.9.9+syslog-ng实现集中日志管理(第二版)”,共收到5位网友提供后续问题案例,自己也从中得到学习。因分享而快乐,因快乐所以坚持。

      51CTO:您现在最关注哪方面的技术?您自己是如何学习并掌握新技术的?
      刘天斯:我现在关注的技术是云计算,思考如何构建一个高效的私有云。学习方法大家都会有自己的一套,工作期间每天安排出2个小时的学习时间就很不错了。掌握一门新技术是很不容易的,“边学边练”的方法在每个阶段都是适用的。当然,除了兴趣以外还需要有一定的毅力。

      51CTO:最后,您认为在未来两年内,大型网站的系统管理员(或想成为大型网站系统管理员的同行们)最需要关注哪些方向?
      刘天斯:是云计算,它除了给我们降低运营成本,还提供了更加弹性的资源分配,可伸缩的处理能力,满足大量的数据存储与计算,最终提高企业竟争力,这些都是未来几年我们所需要的。

51CTO报道地址
天涯社区运维刘天斯:因分享而快乐 因快乐所以坚持
http://os.51cto.com/art/201103/251458.htm

51CTO电子杂志《Linux运维趋势》第7期发布-【人物】
http://os.51cto.com/os/linuxops/pdf/51CTO_linuxops_issue7.pdf

如大家有什么疑问或感兴趣的话题可以通过weibo与我交流:http://t.qq.com/yorkoliu
分页: 1/8 第一页 1 2 3 4 5 6 7 8 下页 最后页 [ 显示模式: 摘要 | 列表 ]