使用ATS中的regex_remap插件实现正则匹配的url重定向
要点总结如下:
1.正向和反向代理可以同时并存,并且remap可以兼容这两种模式。 2.在使用regex_map时,是借助remap的配置来设置,而且remap.so和regex_remap.so已经事先安装进系统了,启用remap或是regex_remap功能只需要搞好配置就可以了。 3.使用浏览器时,反向代理在地址栏中输入ATS的ip地址,正向代理时需要事先设置浏览器使用代理上网,但是地址栏的地址不变 一、反向代理模式 remap是ATS做URL rewrite的方式,也是ATS在配置文件设计方面的特殊部分。从功能上来讲,ATS的remap更像一个精简版本的Apache Httpd的rewrite模块。remap之所以重要,是因为它定义了一个很方便的API入口,我们可以通过remap系统,编写remap插件。 在remap.config中做如下配置 map http://d1.sina.com.cn http://192.168.90.26 @plugin=regex_remap.so @pparam=maps.reg @pparam=profile @pparam=method @profile是将打印信息输入/usr/local/var/log/trafficserver/traffic.out @method是匹配http方法 动态库的默认存放路径/usr/local/libexec/trafficserver/regex_remap.so 注意在默认安装ATS时,它已经被安装到指定的路径下面了,你可以使用下面的命令验证 locate regex_remap.so 是否可以找到该so文件 config file的默认存放路径是/usr/local/etc/regex_remap/maps.reg(需要事先手动创建),它里面存放着我们设置的匹配规则,内容如下 ^/pfpghc/(.*).swf$ http://www.baidu.com/image/in_011.png @status=302 下面是搭建反向代理的方法 在默认的ATS配置的基础上,关闭host header透传,修改如下配置项为 CONFIG proxy.config.url_remap.pristine_host_hdr INT 1 改成0 然后在remap.config中做如下配置: map http://10.10.110.31:8080/ http://news.sina.com.cn/ reverse_map http://news.sina.com.cn/ http://10.10.110.31:8080/ 这里map的第一个http表示是User-Agent去访问网页的请求url,第二个http表示ATS去获取源的url,整行的意思是,将dns的ip解析为新浪新闻主页; 这里reverse_map的这一行表示将新浪新闻源站返回的域名转成ip再响应给代理用户 对一个正常的如下网址: http://news.sina.com.cn/s/2014-01-26/150729350128.shtml 使用下面的方式之一访问反向代理服务器 http://10.10.110.39:8080/s/2014-01-26/150729350128.shtml(公司) http://192.168.0.106:8080/s/2014-01-26/150729350128.shtml(家里) 使用下面的方法来使重定向生效。 使用下面的方法使remap.config中的配置值生效,避免重启机器 $ sudo touch /usr/local/etc/trafficserver/remap.config(如果没有变动,再更新一下文件创建时间,如果刚修改文件,不用命令) $ sudo traffic_line -x(这个命令使所有的配置文件重新加载,当修改了集群中的某一个节点的配置的时候,Traffic server会自动将更改应用到集群的其他节点。)
http://d9.sina.com.cn/pfpghc/3106401f1783439d90720d6a2ead52bc.swf 变为如下请求 http://192.168.0.106:8080/pfpghc/3106401f1783439d90720d6a2ead52bc.swf 最终重定向到指定的图片地址 http://www.baidu.com/image/in_011.png 打开任意一个浏览器,在地址栏中输入上面的请求,可以看到swf变为一个图片的请求了 二、正向和反向代理同时共存 最终我得到的结论是,对广告必须使用正向代理加上remap方法。因为你必须确保一个网站所有的链接都经过ATS代理,如果这样的设置 map http://10.10.110.31:8080/ http://news.sina.com.cn/ 只能定向news.sina.com.cn这个域名,对d9.sina.com.cn这样的域名没有办法。所以,这里我只希望对极个别链接做重定向。 如何在正向代理的同时做remap替换? 下面是我的实现方法:使用正向代理+remap正则匹配重定向,主要是配置。 在默认安装ATS的records.config中修改如下选项 CONFIG proxy.config.url_remap.pristine_host_hdr INT 1 改成0 CONFIG proxy.config.url_remap.remap_required INT 1 改成0,代表同时开启正向代理和反向代理 下面配置remap.conf,我的主要目的是借助remap实现regex_remap的功能,来实现对特定url的重定向或是改写 在remap.conf加入如下内容 map http://d1.sina.com.cn/ http://d1.sina.com.cn/ @plugin=regex_remap.so @pparam=maps.reg @pparam=profile map http://d2.sina.com.cn/ http://d2.sina.com.cn/ @plugin=regex_remap.so @pparam=maps.reg @pparam=profile map http://d3.sina.com.cn/ http://d3.sina.com.cn/ @plugin=regex_remap.so @pparam=maps.reg @pparam=profile map http://d4.sina.com.cn/ http://d4.sina.com.cn/ @plugin=regex_remap.so @pparam=maps.reg @pparam=profile map http://d5.sina.com.cn/ http://d5.sina.com.cn/ @plugin=regex_remap.so @pparam=maps.reg @pparam=profile map http://d6.sina.com.cn/ http://d6.sina.com.cn/ @plugin=regex_remap.so @pparam=maps.reg @pparam=profile map http://d7.sina.com.cn/ http://d7.sina.com.cn/ @plugin=regex_remap.so @pparam=maps.reg @pparam=profile map http://d8.sina.com.cn/ http://d8.sina.com.cn/ @plugin=regex_remap.so @pparam=maps.reg @pparam=profile map http://d9.sina.com.cn/ http://d9.sina.com.cn/ @plugin=regex_remap.so @pparam=maps.reg @pparam=profile 接着在regs.map中加入如下匹配规则 ^/(.*).swf$ http://www.baidu.com/image/in_011.png @status=302 这里status表示使用302重定向 重启服务器 选择一个浏览器,比如firefox,设置正向代理为该ATS的ip和端口,这里是192.168.0.106:8080 然后输入目的网站,比如我要测试的news.sina.com.cn,就可以看到我要的重定向的结果了。 三、对remap和regex_remap规则的说明 map http://d9.sina.com.cn/ http://d9.sina.com.cn/ @plugin=regex_remap.so @pparam=maps.reg @pparam=profile 表示将客户端User-Agent发送的host域以同样的方式发送给源站Original Sever(简作OS),但是对path和query部分做正则匹配,匹配的规则是 ^/(.*).swf$ http://www.baidu.com/image/in_011.png @status=302 也就是将以http://d9.sina.com.cn/开头,以.swf尾结尾的url映射到你指定的后一个地址,这里是http://www.baidu.com/image/in_011.png,并以302的http status显示。当然,你可以映射到其它的地址,结合这个匹配规则。
下面摘自赵永明在CU上的帖子(链接见参考网址1): regex_remap是从master上port过来的,用来解决去问号,以及其他变态的rewrite规则等,简单说明如下: 四、remap.config配置文件的说明(部分翻译) 使用remap.config允许你完成两件事情: 1)在发送给源服务器(Origin Server)之前,重写客户端发送的URL, 2)保护你的代理服务器,只允许某些请求通过 使用ATS默认的配置文件,至少要求配置一个remap规则,但是,这可以通过修改records.config中的下面的配置选项放松条件: CONFIG proxy.config.url_remap.remap_required INT 0 支持的6种mapping规则如下: map map_with_referer map_with_recv_port reverse_map redirect redirect_temporary 这几种map类型都支持正则表达式匹配,同时使用regex_的前缀,但是有一些限制: 1)只有host域支持正则表达式,scheme,port和其它的field不支持 2)子模式的匹配个数只能最大到9,这意味着$0-$9能用于替换占位符,$0表示整个输入字符串 3)扩展字符串中的替换个数限制到10 下面是map支持正则表达式的一个例子: 上面的9条规则可以用下面的一条正则匹配表示: regex_map http://d([1-9]).sina.com.cn/ http://d$1.sina.com.cn/ @plugin=regex_remap.so @pparam=maps.reg @pparam=profile 这里http://d([1-9]).sina.com.cn/可以表示上面的9个域名,$1表示匹配到的1-9中的某个数字 参考网址 http://bbs.chinaunix.net/forum.php?mod=viewthread&tid=3758890 http://bbs.chinaunix.net/thread-3768941-1-1.html(编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |