<![CDATA[运维进行时]]> https://blog.liuts.com/index.php zh-cn https://blog.liuts.com/post/179/ <![CDATA[Varnish缓存更新策略调试过程[原创]]]> root <admin@yourname.com> Wed, 13 Jan 2010 09:48:54 +0000 https://blog.liuts.com/post/179/
1） 默认配置下的浏览器响应
点击在新窗口中浏览此图片
    结论：在默认配置下浏览不管发送任何类型的Cache-Control，Varnish都不会对Purege进行处理。

2） 配置Cache-Control的no-cache时的浏览器响应
点击在新窗口中浏览此图片
    结论：说明Firefox浏览器只有按Ctrl+F5时才会发送no-cache的Cache-Control，IE浏览器认为服务器端的redirect的重定向就是一个no-cache，同样按Ctrl+F5也如此。比较奇怪的就是Chrome浏览器即使按Ctrl+F5后同样没有向服务器端发送no-cache，后来查了资料，得知google为了更好的利用本地cache，将Ctrl+F5的功能屏蔽。

3） 配置Cache-Control的max-age=0时的浏览器响应
点击在新窗口中浏览此图片
    结论：通过上表数据可以得出，Firefox在redirect的情况下，它会发送一public或Private的Cache-Control给服务器端，同时IE及Chrome都会以一个max-age=0的Cache-Control的标志给服务器，此时的Chrome浏览器Ctrl+F5没有发送no-cache，而是max-age=0。

Varnish配置文件处理块
引用

if (req.http.Cache-Control ~ "(no-cache|max-age=0)"){
  purge_url(req.url);
}

与原配置(squid)命中率对比
点击在新窗口中浏览此图片
squid命中率
点击在新窗口中浏览此图片
Varnish命中率

如大家有什么疑问或感兴趣的话题可以通过weibo与我交流：http://t.qq.com/yorkoliu
Tags - , , ]]> https://blog.liuts.com/post/176/ <![CDATA[配置调优IIS6+gzip+varnish-2.0.6[原创]]]> root <admin@yourname.com> Fri, 25 Dec 2009 15:20:24 +0000 https://blog.liuts.com/post/176/ 一、启用IIS6 Gzip模块
1.1、在 "IIS 管理器" 中，打开 "网站 > 属性" 对话框，切换到 "服务" 页卡，选中压缩应用程序文件(社区页面不做静态文件的压缩)压缩选项。点击在新窗口中浏览此图片

1.2、新增一个服务扩展，路径为 "c:\windows\System32\inetsrv\gzip.dll"。添加完成后，允许该扩展使用。
点击在新窗口中浏览此图片

1.3、用记事本打开 "%windir%\system32\inetsrv\MetaBase.xml"，找到 "IIsCompressionScheme"，按下述方法修改、保存。(建议修改前先做备份)如果需要压缩动态文件，则将 HcDoDynamicCompression设置为"TRUE"，并在HcScriptFileExtensions中增加您要压缩的动态文件后缀名，如asp (由于我要优化的系统中，做了shtml->asp的URL Rewrite，所以将 shtml、asp 也加入了)。
如果需要压缩静态文件，则将HcDoStaticCompression和HcDoOnDemandCompression设置为 "TRUE"，并在HcFileExtensions中增加您需要压缩的静态文件后缀名，如xml、css等。HcDynamicCompressionLevel和HcOnDemandCompLevel表示需要的压缩率，数字(0~9)越小压缩率越低。

1.5、测试
使用HttpWatch Professional 6.0.14看看启用 GZip 后的效果。
点击在新窗口中浏览此图片

二、安装配置Vanish 2.0.6（最新版）
2.1、安装
(略)

2.2、调优sysctl.conf
(略)

2.3、修改varnish配置
vi /usr/local/varnish/etc/vcl.conf
引用

backend wwwserver {
       .host = "192.168.100.5";
       .port = "80";
}
acl purge {
       "localhost";
       "127.0.0.1";
       "192.168.0.0"/16;
}
sub vcl_recv {
       if (req.request == "PURGE") {
               if (!client.ip ~ purge) {
                       error 405 "Not allowed.";
               }
               lookup;
       }
if (req.http.host ~ "^(cache.sina.com.cn)") {
               set req.backend = wwwserver;
               if (req.request != "GET" && req.request != "HEAD") {
                       pipe;
               }
               else {
                       lookup;
               }
       }
       else {
               error 404 "sina.com.cn.cn cache server";
               lookup;
       }
}
sub vcl_hit {
       if (req.request == "PURGE") {
               set obj.ttl = 0s;
               error 200 "Purged.";
       }
}
sub vcl_miss {
       if (req.request == "PURGE") {
               error 404 "Not in cache.";
       }
}
sub vcl_fetch {
       if (req.request == "GET" && req.url ~ "\.(txt|js)$") {
               set obj.ttl = 3600s;
       }
       else {
               set obj.ttl = 300s;
       }
}
sub vcl_deliver {
        if (obj.hits > 0) {
                set resp.http.X-Cache = "HIT";
        } else {
                set resp.http.X-Cache = "MISS";
        }
}


2.4命中率分析
点击在新窗口中浏览此图片

2.5、现象分析
1) 名词解释
Cache hits：缓存命中
Cache hits for pass：从背端服务器获取数据但无法被缓存
Cache misses：非命中
2) 分析
发现缓存结果数据比较奇怪的现象，不能缓存的对象还比命中的对象多得多，非命中数在正常值内。
3）排查过程
3.1、CURL命令测试，如curl -I http://www.sina.com.cn/index.shtml -H Accept-Encoding:gzip,defalte
点击在新窗口中浏览此图片

结果分析：发现每次response header中set Cookie都不一样,如此varnish会认为每次请求的都是不同对象，这一点跟squid有区别，squid会直接忽略cookie的判断。同样可以从X-cache：MISS中看到该对象没有被命中及不被Cache Hit。Content-Encoding:gzip，说明varnish已经支持了http1.1，成功将backend server 的gzip结果返回给客户端。

3.2、删除Varnish cookie请求
引用

sub vcl_fetch {
       remove obj.http.Set-Cookie;
       if (req.request == "GET" && req.url ~ "\.(txt|js)$") {
               set obj.ttl = 3600s;
       }
       else {
               set obj.ttl = 300s;
       }
}

3.3、继续测试
点击在新窗口中浏览此图片
[图1]

点击在新窗口中浏览此图片
[图2]

结果分析:上图1为第一次请求URL，Vanish返回结果中可以看出没有被命中，属正常。图2为第二次请求同一URL，发现此次已经被HIT了。另两次response.head已经没有response cookie了，问题解决。
再看看Varnish缓存状态：
点击在新窗口中浏览此图片

结果分析:结果已正常，Cache hits for pass已经没有了，命中率还是比较理想的。

注：Varnish2.x版本后的语法、启动方式、优化项等与1.x相差有较大的差异，在以后实战中慢慢去体会到吧。
Tags - , ]]> https://blog.liuts.com/post/66/ <![CDATA[学习了一下varnish[转]]]> root <admin@yourname.com> Tue, 21 Aug 2007 15:45:21 +0000 https://blog.liuts.com/post/66/
VCL语法比较简单，和C类似，if(){}的形式，=和==的区别，!、&&和||等等。但\符号没有特别的意思。
VCL里除了用==、!、&&、||做逻辑判断意外，还可以用~来表示与正则表达式或ACL的匹配。
VCL其实只是配置，并不是真正的编程语言，没有循环，没有自定义变量。

声明Backend
backend 名称 {
    set backend.host = "域名";
    set backend.port = "端口";
}
比如backend www {
    set backend.host = "www.example.com";
    set backend.port = "http";
}  
声明的Backend可以用在判断请求针对哪个后端服务器
if (req.http.host ~ "^(www.)?example.com$") {
{
    set req.backend = www;
}

声明ACL
acl 名称 {
             "IP";
             "IP子网"/反掩码位数;
             ! "IP或IP子网"/反掩码位数;
         }
比如
acl local {
             "locahost";         /* myself */
             "10.0.0.1"/8;       /* and everyone on the local network */
             ! "10.0.0.23";      /* except for the dialin router */
         }
判断ACL也很简单
if (client.ip ~ local) {
    pipe;
}

还可以定义子程序
sub pipe_if_local {
    if (client.ip ~ local) {
        pipe;
    }
}
用call来调用
call pipe_if_local;

内置的例程
vcl_recv
有请求到达后成功接收并分析时被调用，一般以以下几个关键字结束。
error code [reason]  返回code给客户端，并放弃处理该请求
pass    进入pass模式，把控制权交给vcl_pass
pipe    进入pipe模式，把控制权交给vcl_pipe
lookup  在缓存里查找被请求的对象，根据查找结果把控制权交给vcl_hit或vcl_miss

vcl_pipe
进入pipe模式时被调用。请求被直接发送到backend，后端和客户端之间的后继数据不进行处理，只是简单传递，直到一方关闭连接。一般以以下几个关键字结束。
error code [reason]
pipe

vcl_pass
进入pass模式时被调用。请求被送到后端，后端应答数据送给客户端，但不进入缓存。同一连接的后继请求正常处理。一般以以下几个关键字结束。
error code [reason]
pass

vcl_hash
目前不使用

vcl_hit
在lookup以后如果在cache中找到请求的内容事调用。一般以以下几个关键字结束。
error code [reason]
pass
deliver  将找到的内容发送给客户端，把控制权交给vcl_deliver.

vcl_miss
lookup后但没有找到缓存内容时调用，可以用于判断是否需要从后端服务器取内容。一般以以下几个关键字结束。
error code [reason]
pass
fetch  从后端取得请求的内容，把控制权交给vcl_fetch.


vcl_fetch
从后端取得内容后调用。一般以以下几个关键字结束。
error code [reason]
pass
insert  将取到的内容插入缓存，然后发送给客户端，把控制权交给vcl_deliver


vcl_deliver
缓存内容发动给客户端前调用。一般以以下几个关键字结束。
error code [reason]
deliver  内容发送给客户端

vcl_timeout
在缓存内容到期前调用。一般以以下几个关键字结束。
fetch  从后端取得该内容
discard  丢弃该内容



vcl_discard
由于到期或者空间不足而丢弃缓存内容时调用。一般以以下几个关键字结束。
discard  丢弃
keep  继续保留在缓存里

如果这些内置例程没有被定义，则执行缺省动作


一些内置的变量
now  当前时间，标准时间点（1970？）到现在的秒数

backend.host  后端的IP或主机名
backend.port  后端的服务名或端口

请求到达后有效的变量
client.ip  客户端IP
server.ip  服务端IP
req.request  请求类型，比如GET或者HEAD或者POST
req.url  请求的URL
req.proto  请求的HTTP版本号
req.backend  请求对应的后端
req.http.header  对应的HTTP头

往后段的请求时有效的变量
bereq.request  比如GET或HEAD
bereq.url  URL
bereq.proto  协议版本
bereq.http.header  HTTP头

从cache或后端取到内容后有效的变量
obj.proto  HTTP协议版本
obj.status  HTTP状态代码
obj.response  HTTP状态信息
obj.valid  是否有效的HTTP应答
obj.cacheable  是否可以缓存的内容，也就是说如果HTTP返回是200、203、300、301、302、404、410并且有非0的生存期，则为可缓存
obj.ttl  生存期，秒
obj.lastuse  上一次请求到现在间隔秒数

对客户端应答时有效的变量
resp.proto  response的HTTP版本
resp.status  回给客户端的HTTP状态代码
resp.response  回给客户端的HTTP状态信息
resp.http.header  HTTP头


变量可以通过set来赋值或通过remove来删除（清空）
sub vcl_recv {
    if (req.http.host ~ "^(www.)?example.com$") {
         set req.http.host = "www.example.com";
    }
}

sub vcl_fetch {
             remove obj.http.Set-Cookie;
} ]]>