分页: 3/30 第一页 上页 1 2 3 4 5 6 7 8 9 10 下页 最后页 [ 显示模式: 摘要 | 列表 ]
       在我们日常运维工作中,经常会碰到负载均衡器后端应用代码更新、临时剔除后端服务器、排查一主机应用故障等,往往我们会选择比较粗鲁的做法,直接停止或重启应用服务,让负载均衡器探测服务不可用将其剔除。这样带来的坏处是用户与服务器已经建立的连接会被中止,开发人员无法对已经停止服务的主机进行调试。现介绍一种较为温柔的做法,即通过禁用/启用成员的方式来达到目的。本文针对目前最为流行的负载均衡器逐一进行介绍。包括LVS、Haproxy、F5在命令行模式下的实现(方便与其它管理平台对接,实现自动化维护)。当然,Haproxy与F5都提供了人性化管理界面,不过只依赖手工来进行操作。

一、LVS负载均衡器
原理
使用LVS自带的管理工具来实现。

环境说明
Disable VIP:192.168.100.11:80
Disable REAL SERVER:192.168.100.78

实施步骤
1、初始状态
[devuser@lvsserver ~]# ipvsadm -Ln
引用

IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.100.11:80 rr persistent 60
  -> 192.168.100.74:80            Route   3      462        464        
  -> 192.168.100.75:80            Route   3      420        440      
  -> 192.168.100.76:80            Route   3      431        400
  -> 192.168.100.77:80            Route   3      430        432
  -> 192.168.100.78:80            Route   3      435        438

2、禁用成员
[devuser@lvsserver ~]# ipvsadm -d -t 192.168.100.11:80 -r 192.168.100.78

3、当前状态
[devuser@lvsserver ~]# ipvsadm -Ln
引用

IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.100.11:80 rr persistent 60
  -> 192.168.100.74:80            Route   3      462        464        
  -> 192.168.100.75:80            Route   3      420        440      
  -> 192.168.100.76:80            Route   3      431        400
  -> 192.168.100.77:80            Route   3      430        432

4、启用成员
[devuser@lvsserver ~]#ipvsadm -a -t 192.168.100.11:80 -r 192.168.100.78

5、当前状态
[devuser@lvsserver ~]# ipvsadm -Ln
引用

IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.100.11:80 rr persistent 60
  -> 192.168.100.74:80            Route   3      462        464        
  -> 192.168.100.75:80            Route   3      420        440      
  -> 192.168.100.76:80            Route   3      431        400
  -> 192.168.100.77:80            Route   3      430        432
  -> 192.168.100.78:80            Route   3      435        438


二、Haproxy负载均衡器
原理
使用Haproxy的socket admin通道来实现。

环境说明
Disable backend:test.tianya.cn
Disable REAL SERVER:192.168.100.78

实施步骤
1、修改haproxy.cfg配置
#vi /usr/local/haproxy/etc/haproxy.cfg
在global域添加socket admin支持并重启Haproxy服务
引用

global
... ...
   stats socket /usr/local/haproxy/HaproxySocket level admin
... ...
#service haproxy restart

2、安装socat(在任意的两个socket管道之间建立一个通道,在该通道中交换两端的数据。)
引用

wget http://www.dest-unreach.org/socat/download/socat-2.0.0-b3.tar.gz
./configure --disable-fips
make;make install

注:disable OpenSSL FIPS support  "--disable-fips",在没有安装fips包的情况下make时会提示:
引用

FIPSLD_CC=gcc fipsld -O -D_GNU_SOURCE  -Wall -Wno-parentheses -DHAVE_CONFIG_H -I.  -I.   -c -o socat.o socat.c
/bin/sh: fipsld: command not found
make: *** [socat.o] Error 127


3、禁用成员
#echo "disable server test.tianya.cn/192.168.100.78" | socat stdio /usr/local/haproxy/HaproxySocket
点击在新窗口中浏览此图片

4、启用成员
#echo "enable server test.tianya.cn/192.168.100.78" | socat stdio /usr/local/haproxy/HaproxySocket
点击在新窗口中浏览此图片

三、F5-LTM负载均衡器

技能大赛评委记[原创] 不指定

刘天斯 , 2011/04/26 23:17 , My Life , 评论(6) , 阅读(18295) , Via 本站原创
这是一篇隐藏日志。您需要以合适的身份登入后才能查看。
Tags: ,

51CTO专访记录[原创] 不指定

刘天斯 , 2011/03/29 16:36 , My Life , 评论(7) , 阅读(22349) , Via 本站原创
采访人: 51CTO 李晶
采访嘉宾:天涯社区 刘天斯
---------------------------------------------------------------------
      51CTO:首先,能否简单的介绍一下您在运维领域的经历?比如什么时候进入这行,现在主要负责哪方面的工作等等。
      刘天斯:03年毕业后在一家网络公司从事开发兼美工设计的工作,一次偶然的机会接触到了Linux,从一开始的系统安装到各类常用应用平台的搭建。一步一步从一个程序员到运维工程师的转变。2005年加入天涯,正式成为一名运维工程师。目前主要负责的工作有应用平台的上线、部署、监控、调优、事件处理、应急预案等,涉及的领域有架构设计与优化、运维开发、负载均衡、缓存应用、数据库、分布式存储等。

      51CTO:您在天涯社区做系统管理员的这段时间内遇到的最大困难是什么?您最难忘或最高兴的事是什么?
      刘天斯:如何协调各部门与运维的关系,不要再当炮灰了。最高兴的是部门定期聚餐,喝喝小酒,聊聊人生,畅所欲言。

      51CTO:您对开源是如何理解的?天涯社区在过去两年间陆续开源了包含LVS管理系统、Varnish缓存推送平台、高性能数据引擎memlink等好几个项目,业内的同行们都十分关注,您认为这个对整个产业带来了哪些好处?身为一个天涯的运维,您认为这个过程对您自己的价值在哪里?
      刘天斯:开源就是分享,让更多的人受益的同时自己也在提高。经常看到很多朋友都在做监控平台、运维工具。事实上功能都是惊人的相似,大家都在做同样重复的工作,为什么不能其中一个人开源出来大家一起来使用、完善。对整个行业来讲这块的投入成本都会降低,对个体来讲也是资源的整合。如果形成良性的循环,行业的生态环境将有很大程度的改善。本人热衷于开源技术,同样也愿意为开源贡献自己一分微薄之力,希望更多的人能支持开源、参考开源。

      51CTO:天涯社区在过去数年间逐渐从Windows平台全面转移到开源架构,很多朋友对天涯的这个转型过程很感兴趣,网上现在也有不少相关的资料。对于这个过程,您有哪些觉得特别好的资料想推荐给大家的吗?您自己在这个过程中有哪些心得?
      刘天斯:这个过程是漫长的,是一个快速发展壮大的互联网公司的必经之路。转型之前需考虑资源的投入、人才的储备。下一步便是相关技术及经验的积累,这方面的资源互联网上已经很丰富了。个人建议从前端应用、负载均衡、缓存层开始着手,理由是不仅不会给应用逻辑产生很大的干扰,同时还会给整个平台带来高可用性,保证在转型过程中平稳过渡。

      51CTO:作为《2010年度十大杰出IT博客》之一,能否简单介绍一下您开博的经历?一直坚持记录博客,是有什么动力在驱动自己吗?
      刘天斯:开始写博客的目的只是单纯当成笔记本来用,后来慢慢变成交流沟通的平台,收到很多网友的评论、邮件。当中有很多是非常好的建议,比如文章“LAMP+logzilla2.9.9+syslog-ng实现集中日志管理(第二版)”,共收到5位网友提供后续问题案例,自己也从中得到学习。因分享而快乐,因快乐所以坚持。

      51CTO:您现在最关注哪方面的技术?您自己是如何学习并掌握新技术的?
      刘天斯:我现在关注的技术是云计算,思考如何构建一个高效的私有云。学习方法大家都会有自己的一套,工作期间每天安排出2个小时的学习时间就很不错了。掌握一门新技术是很不容易的,“边学边练”的方法在每个阶段都是适用的。当然,除了兴趣以外还需要有一定的毅力。

      51CTO:最后,您认为在未来两年内,大型网站的系统管理员(或想成为大型网站系统管理员的同行们)最需要关注哪些方向?
      刘天斯:是云计算,它除了给我们降低运营成本,还提供了更加弹性的资源分配,可伸缩的处理能力,满足大量的数据存储与计算,最终提高企业竟争力,这些都是未来几年我们所需要的。

51CTO报道地址
天涯社区运维刘天斯:因分享而快乐 因快乐所以坚持
http://os.51cto.com/art/201103/251458.htm

51CTO电子杂志《Linux运维趋势》第7期发布-【人物】
http://os.51cto.com/os/linuxops/pdf/51CTO_linuxops_issue7.pdf

如大家有什么疑问或感兴趣的话题可以通过weibo与我交流:http://t.qq.com/yorkoliu

彤彤一周岁记 不指定

刘天斯 , 2011/03/24 22:40 , My Life , 评论(18) , 阅读(28836) , Via 本站原创
这是一篇隐藏日志。您需要以合适的身份登入后才能查看。
Tags: ,
一、前言
       Haproxy是稳定、高性能、高可用性的负载均衡解决方案,支持HTTP及TCP代理后端服务器池,因支持强大灵活的7层acl规则,广泛作为HTTP反向代理。本文则详细介绍如何利用它的四层交换与Keepalived实现一个负载均衡器,适用于Socket、ICE、Mail、Mysql、私有通讯等任意TCP服务。系统架构图如下:

点击在新窗口中浏览此图片

一、路线图、邮轮

    点击在新窗口中浏览此图片                   点击在新窗口中浏览此图片

二、行程安排
第1天 香港-COSTA邮轮
       早8:00搭乘国航CA101航班飞往香港,抵达后自行乘坐机场专线前往尖沙咀的海港城码头。海港城-地铁尖沙咀站A1出口,沿海防道步行约3分钟[连卡佛百货、玩具反斗城亦在此设分店,附近有一家DFS(北京道8号太阳广场)可自由购物]下午13.00开始办理意大利Costa邮轮"爱兰歌娜"号登船手续。15:30停止登船。16:00准时开船,开始豪华五星级邮轮的海上之旅。

第2天 歌诗达邮轮-海南三亚
       早晨可以睡到自然醒,前往装扮一新的甲板上迎着海风散散步或享用一顿早餐。您可随意参与邮轮上特设的各类游戏,放松心情地去感受美妙海洋之旅带来的身心愉悦。中午与家人及朋友依照个人口味自由选择丰盛的午餐。邮轮将于下午13:00到达海南三亚,可选择在船上自由活动,也可自费下船到岸上观光。18:00停止登船,19:00准时开船离开海南三亚前往下一个目的地越南下龙湾---越南最美丽的旅游景点,1994年12月被联合国列入世界自然文化遗产之一。

第3天 歌诗达邮轮-越南下龙湾
       享用了丰富的早餐后,邮轮将于上午8:00到达越南下龙湾,可选择在船上自由活动, 也可自费下船陆地观光,时间和行程以邮轮公司当天所安排为准!景色更完美,令人难忘。晚间18时,邮轮准时离开越南下龙湾。

第4天 歌诗达邮轮
       在邮轮上尽情享用了丰富的早餐后,您可在外甲板上的游泳池里,享受戏水畅游的无限乐趣; 也可去船上装饰华丽的购物中心,欣赏、选购来自意大利和全球各地著名的时尚品牌。晚上可在典雅华丽的剧院内观赏高潮跌起的精彩娱乐表演与音乐节目,也可选择在漫天星光下,在那浪漫丛生的舞池中翩然起舞。真是太美妙了。

第5天 歌诗达邮轮-香港
       享用了丰富的早餐(5:30开始),7:00到达香港并开始办理下船手续,下船后自由活动,于晚19:45乘CA116返回北京,结束充满浪漫色彩的豪华邮轮之旅。美好的回忆将永远留在记忆里。
       原文冯大辉谈技术性创业团队的技术选型提到了天涯,好吧!站在一个天涯从事6年运维工作的角度,我就多说几句,天涯属于破釜沉舟要摆脱这种束缚的这一类。原因不用多说,文中提到的问题天涯多少都有碰到或存在。目前已全面拥抱开源技术,这不是一时头脑发热所做出的决定。根据现状、未来的发展策略理性来选择的。Windows服务器很难做到大规模的部署、管理与维护。打个比方,一个中级工程师可以很轻松维护500~700台Linux服务器,相比之下300台windows服务器就能让管理员力不从心了。原因是windows平台在集群管理方面还是很弱,只能自己开发一套工具或购买商业软件来实现,这样一来无疑给公司带来了高成本。另一点是Windows OS/Service本身就不便宜,具体价格请拨打MS-800。经常有朋友问,windows服务器操作简单,动动几下鼠标就可以完成一项任务。而Linux需要敲N多命令才能完成相同的操作。告诉我为什么说windows管理成本比Linux高呢?这个得从Windows适用的场景说起,比如较低的技术门槛、中小规模集群等。很难想像通过鼠标在1000台服务器上去完成一项任务,这也是windows2008中引入PowerShell的原因吧。
       再说说天涯目前使用开源技术现状,已经在包括前端缓存、应用代理、WEB服务、数据库服务、开发框架、Nosql、负载均衡器、运维工具等方面大量被使用,涉及到天涯整个技术体系的每个角落。运用开源技术架构,给应用平台提供了高性能、可扩展、高可用性的解决方案,同时也大大节约了成本。另一个好处是碰到问题总能找到解决方案。交流空间、个人视野都得到了开阔。天涯是一个使用开源技术并回馈开源的公司。虽然 不能贡献顶级的开源项目,至少可以尽自己一份微薄之力。在2009~2010期间,天涯共开源了8个项目,涉及运维管理、Nosql等。包括“天涯LVS管理系统”、"天涯服务器管理系统(C/S版)"、"SDR1.0-Linux主机集中管理"、"Varnish缓存推送平台V1.0"、"高性能数据引擎Memlink"等等。这些项目得到诸多同行及网友的支持,收到大量的反馈建议。部分项目已被第三方公司所使用或进行改良升级。希望更多热衷于开源技术的朋友加入,一起学习,一起提高 。
       下面给准备从微软技术转开源的一些建议,任何技术平台的变迁都需要付出代价。除了前期做大量的技术储备外,还应根据自身的应用及技术特点选择合适的开源架构。天涯一路走来,不断在尝试->失败->回滚->再尝试的过程。如何给企业选择适合的开源技术构架呢?

      一、开发语言
       如果是web2.0的网站,注重快速开发、快速实现。我们看到web2.0是数据组织结构在不断变迁,从最典型的SNS到目前炙手可热的微博。个人建议选择敏捷开发或胶水语言,如php、python、ruby等。它们都具有开发速度快、入门门槛低、功能强大等优势。web2.0的兴起带动了这类技术的普及,招人已经不成问题。经常有朋友问,说脚本语言会不会很慢?我相信很多人都存在这样的困惑。可以肯定的是95%的应用平台的瓶颈不会在语言的运算上,建议花更多的时间在代码算法、缓存、数据库及网络结构的优化上,这才是比较务实的做法,相信你会得到意想不到的效果。对于电子商务型的网站,注重安全、稳定、高效等,java作为主流电子商务开发技术为首选。凭着成熟的中间件技术、跨平台性,可复用性高、多层架构等优势,在国内大型电子商务平台普遍使用,如网上银行、在线支付、在线购物、证卷等业务。

      二、数据库&Nosql
       MS SQLServer转开源数据库,Mysql是所有开源数据库中最活跃的,具有体积小、高性能、稳定性高及跨平台等特点,提供大部分编程语言API。在web2.0网站中大量被使用,Nosql是2010年IT界的技术亮点。与关系型数据库的关系是相辅相成的,不存在代替的关系,所适用的场景也不一样,Nosql的诞生是为了解决关系型数据库存在的缺陷,比如高密集的IO、大量数据的存储及查询、数据的扩展、分布式等等。个人推荐Mysql+memlink/Mongodb的组合,相互可以弥补各自的不足,将需要事务的数据让关系型数据库来存储,非关键且大存储数据全部丢给Nosql,这样的好处是可以保证数据的一致性的同时提供高效的数据查询。随着业务量的不断增长,需要更多的处理节点加入集群,个人推荐集群模式为多组One-Master->Multi-Slave,可以减少数据同步出现的延时及应用的复杂度,便于维护。组的划分是根据应用业务层进行,这样有非常好的扩展性。大致结构为:App Layer <--->Routing layer<--->LVS<--->Slave note。以最简单的策略满足复杂的需求,因为简单就是美。

      三、负载均衡
       我们的原则是高并发、逻辑简单走4层架构,比如LVS。7层架构着重在流量不高、规则要求比较灵活的应用中部署。例如URL哈希、过滤、路由、拆分等等。个人推荐Haproxy、Nginx。好的URL规则可以提高30~60%的缓存命中率。参考架构:F5/LVS<--->Haproxy<--->Squid/Varnish<--->AppServer。

      四、运维平台
       运维是一项复杂、细致的工作,我们可以借助大量的开源工具来实现监控、操作、分析、部署等工作。Cacti、Nagios作为监控、分析的佼佼者,是运维人员的必备工具。现重点讲一下我们在“操作”这块是如何实现管理成百上千台服务器的,以Func、Cfengine作为基础平台,在此基础平台上进行开发、扩展日常操作管理模块。包括“天涯LVS管理系统”、"天涯服务器管理系统(C/S版)"、"天涯服务器管理系统(HTTPS版)"都是基于该平台引伸出的项目。

       除了以上所述,还有缓存技术、全文检索、分布式存储、云计算等都有非常成熟的开源解决方案,希望开源技术架构能给您多一种选择。

如大家有什么疑问或感兴趣的话题可以通过weibo与我交流:http://t.qq.com/yorkoliu
博主简介
       大家好,我叫刘天斯,今年29岁。2005年加入天涯社区,担任系统管理员,本人热衷开源技术的研究,包括系统架构、运维开发、负载均衡、缓存技术、数据库、分布式存储及云计算机等领域,擅长大规模集群的运维工作。关注互联网技术发展动向,努力紧靠技术前沿。充当一名普通的传播者和分享者。

博客介绍
       BLOG的内容主要以分享工作及研究领域的心得为主。适合运维人员、开发人员及系统架构师等人群。本BLOG的宗旨:“一起学习,共同进步”。

获奖感言
       首先非常感谢各位评审,能够在百忙之中挤出时间来参加评审工作,你们辛苦了。能够得到你们的肯定非常开心。50强中每一位博主都非常优秀,我想评委每做出一次选择都是非常艰难的。此次比赛收获最大的不是荣誉,而是相识了很多圈内朋友,学习到很多新的东西。其次我要感谢我的爱人和女儿。任何成就的背后都离不开她们的支持与鼓励。最后谢谢大家!

评委点评
       张曦(51CTO博客创建者、社区总编)点评:如果说天涯社区在中文技术社区中独占鳌头,那么,能够运维这么一个庞大而复杂系统的人,必定是开源运维行业中的高手。看刘天斯的博客,能感受到一种彻底的开源分享精神,他把代码、架构、思路毫无保留的展现,所谓的技术保守在这里荡然无存。这里有高密集的IO、大量数据的存储及查询、数据的扩展、分布式、负载均衡,等等这些高级技术的部署方式,但更值得去分析的是他解决问题的思路。也正是由于刘天斯对运维思路的至高领悟,使得他能够无私地把技术成果分享,因为对高手来说,思路已映入他的脑图,代码配置架构神马都是浮云,有什么不能与你分享的?

       栾跃(谷歌开发技术推广部中国市场主管)点评:刘天斯(运维进行时)的博客内容难能可贵,因为他是所有参赛作者中为数不多的大力推动开源代码技术的作者之一。从开发语言、数据库、到以天涯社区开发作为案例详细解说各种各样开源技术的利用,这些文章为读者们提供了非常好的了解使用开源代码技术的参考。每个版面的右边对介绍各种开源和网络技术根据内容进行博客文章的分类,对读者在博客文章相关内容的选择上提供了一目了然的方便。刘天斯博客的内容也往往非常详细和严谨,往往是长篇的文章配有大量的极其精致的插图和表格等,让文章有很大的说服力和很高的参考价值。看得出来很多这样的文章后面都做了大量的准备和编辑工作。不愧为高质量的博客!令人敬佩!

十佳博主
点击在新窗口中浏览此图片

大赛证书



大赛奖品

爱国者X1



爱国者X1

如大家有什么疑问或感兴趣的话题可以通过weibo与我交流:http://t.qq.com/yorkoliu
分页: 3/30 第一页 上页 1 2 3 4 5 6 7 8 9 10 下页 最后页 [ 显示模式: 摘要 | 列表 ]