使用ngx_lua构建高并发应用（1）

location?/main?{??
1. ????echo_location?/foo;?????#?echo_location发送子请求到指定的location??
2. ????echo_location?/bar;??
3. }??
4. location?/foo?{??
5. ????echo?foo;??
6. }??
7. location?/bar?{??
8. ????echo?bar;??
9. }??

? ? ? ?输出：

$?curl?location/main??
1. $?foo??
2. ??bar??

这里，main location就是发送2个子请求，分别到foo和bar，这就类似一种函数调用。

? ? ? ? “子请求”方式的通信是在同一个虚拟主机内部进行的，所以 Nginx 核心在实现“子请求”的时候，就只调用了若干个 C 函数，完全不涉及任何网络或者 UNIX 套接字（socket）通信。我们由此可以看出“子请求”的执行效率是极高的。

4. 协程（Coroutine）

三. ngx_lua

1. 原理

? ? ? ? ngx_lua将Lua嵌入Nginx，可以让Nginx执行Lua脚本，并且高并发、非阻塞的处理各种请求。Lua内建协程，这样就可以很好的将异步回调转换成顺序调用的形式。ngx_lua在Lua中进行的IO操作都会委托给Nginx的事件模型，从而实现非阻塞调用。开发者可以采用串行的方式编写程序，ngx_lua会自动的在进行阻塞的IO操作时中断，保存上下文；然后将IO操作委托给Nginx事件处理机制，在IO操作完成后，ngx_lua会恢复上下文，程序继续执行，这些操作都是对用户程序透明的。

? ? ? ? 每个NginxWorker进程持有一个Lua解释器或者LuaJIT实例，被这个Worker处理的所有请求共享这个实例。每个请求的Context会被Lua轻量级的协程分割，从而保证各个请求是独立的。

? ? ? ? ngx_lua采用“one-coroutine-per-request”的处理模型，对于每个用户请求，ngx_lua会唤醒一个协程用于执行用户代码处理请求，当请求处理完成这个协程会被销毁。每个协程都有一个独立的全局环境（变量空间），继承于全局共享的、只读的“comman data”。所以，被用户代码注入全局空间的任何变量都不会影响其他请求的处理，并且这些变量在请求处理完成后会被释放，这样就保证所有的用户代码都运行在一个“sandbox”（沙箱），这个沙箱与请求具有相同的生命周期。

? ? ? ? 得益于Lua协程的支持，ngx_lua在处理10000个并发请求时只需要很少的内存。根据测试，ngx_lua处理每个请求只需要2KB的内存，如果使用LuaJIT则会更少。所以ngx_lua非常适合用于实现可扩展的、高并发的服务。

2. 典型应用

? ? ? ? 官网上列出：

·??Mashup'ing and processing outputs of various nginx upstream outputs(proxy,drizzle,postgres,redis,memcached,and etc) in Lua,

·??doing arbitrarily complex access control and security checks in Luabefore requests actually reach the upstream backends,51); font-family:Arial; font-size:14px; line-height:26px"> ·??manipulating response headers in an arbitrary way (by Lua)

·??fetching backend information from external storage backends (likeredis,mysql,postgresql) and use that information to choose whichupstream backend to access on-the-fly,51); font-family:Arial; font-size:14px; line-height:26px"> ·??coding up arbitrarily complex web applications in a content handlerusing synchronous but still non-blocking access to the database backends andother storage,51); font-family:Arial; font-size:14px; line-height:26px"> ·??doing very complex URL dispatch in Lua at rewrite phase,51); font-family:Arial; font-size:14px; line-height:26px"> ·??using Lua to implement advanced caching mechanism for nginxsubrequests and arbitrary locations.

3. Hello Lua！

? ? ? ? 配置：

#?nginx.conf??????
1. worker_processes?4;???
2. ??
3. events?{??
4. ?????worker_connections?1024;???
5. http?{??
6. ??
7. ????server?{??
8. ????????listen?80;???
9. ????????server_name?localhost;??
10. ??????????
11. ????????location?=?/lua?{??
12. ????????????content_by_lua?‘???
13. ????????????????ngx.say("Hello,?Lua!")??
14. ????????????';??
15. ????????}??
16. ????}??
17. }??

? ? ? ? 输出：

$?curl?'localhost/lua'??
1. Hello，Lua！??

? ? ? ? 这样就实现了一个很简单的ngx_lua应用，如果这么简单的模块要是用C来开发的话，代码量估计得有100行左右，从这就可以看出ngx_lua的开发效率。

4. Benchmark

? ? ? ? 通过和nginx访问静态文件还有nodejs比较，来看一下ngx_lua提供的高并发能力。

? ? ? ? 返回的内容都是”Hello World!”，151bytes

? ? ? ? 通过.ab -n 60000?? 取10次平均

? ? ? ? ngx_lua的开发者也做过一个测试对比nginx+fpm+php和nodejs，他得出的结果是ngx_lua可以达到28000rps，而nodejs有10000多一点，php则最差只有6000。可能是有些配置我没有配好导致ngx_lua rps没那么高。

5. ngx_lua安装

? ? ? ? ngx_lua安装可以通过下载模块源码，编译Nginx，但是推荐采用openresty。Openresty就是一个打包程序，包含大量的第三方Nginx模块，比如HttpLuaModule，HttpRedis2Module，HttpEchoModule等。省去下载模块，并且安装非常方便。

? ? ? ? ngx_openresty bundle:?openresty

? ? ? ? ./configure --with-luajit&& make && make install

? ? ? ? 默认Openresty中ngx_lua模块采用的是标准的Lua5.1解释器，通过--with-luajit使用LuaJIT。

6. ngx_lua的用法

? ? ? ? ngx_lua模块提供了配置指令和Nginx API。

? ? ? ? 配置指令：在Nginx中使用，和set指令和pass_proxy指令使用方法一样，每个指令都有使用的context。??????

? ? ? ? Nginx API：用于在Lua脚本中访问Nginx变量，调用Nginx提供的函数。

? ? ? ? 下面举例说明常见的指令和API。

7. 配置指令

? ? ? ??a. set_by_lua和set_by_lua_file

? ? ? ? 和set指令一样用于设置Nginx变量并且在rewrite阶段执行，只不过这个变量是由lua脚本计算并返回的。

? ? ? ? 语法：set_by_lua$res <lua-script-str> [$arg1 $arg2 ...]

copy

location?=?/adder?{??
1. ????set_by_lua?$res?"??
2. ????????????local?a?=?tonumber(ngx.arg[1])??
3. ????????????????local?b?=?tonumber(ngx.arg[2])??
4. ????????????????return?a?+?b"?$arg_a?$arg_b;??
5. ???
6. ????????echo?$res;??
7. copy
   $?curl?'localhost/adder?a=25&b=75'??
   1. $?100??

   ? ? ? ? set_by_lua_file执行Nginx外部的lua脚本，可以避免在配置文件中使用大量的转义。

   ? ? ? ? 配置：
   
   copy
   location?=?/fib?{??
   1. ????????set_by_lua_file?$res?"conf/adder.lua"?$arg_n;??
   2. ???
   3. ????????echo?$res;??
   4. }??
   ? ? ? ? adder.lua:
   copy
   local?a?=?tonumber(ngx.arg[1])??
   1. local?b?=?tonumber(ngx.arg[2])??
   2. return?a?+?b??

   copy

   $?curl?'localhost/adder?a=25&b=75??
   1. ? ? ? ??b. access_by_lua和access_by_lua_file

      ? ? ? ? 运行在access阶段，用于访问控制。Nginx原生的allow和deny是基于ip的，通过access_by_lua能完成复杂的访问控制，比如，访问数据库进行用户名、密码验证等。

      copy

      location?/auth?{??
      1. ????access_by_lua?'??
      2. ????????if?ngx.var.arg_user?==?"ntes"?then??
      3. ????????????return??
      4. ????????else???
      5. ????????????Ngx.exit(ngx.HTTP_FORBIDDEN)??
      6. ????????end??
      7. ????';??
      8. ????echo?'welcome?ntes';??
      9. copy
         $?curl?'localhost/auth?user=sohu'??
         1. $?Welcome?ntes??
         2. $?curl?'localhost/auth?user=ntes'??
         3. $?<html>??
         4. <head><title>403?Forbidden</title></heda>??
         5. <body?bgcolor="white">??
         6. <center><h1>403?Forbidden</h1></center>??
         7. <hr><center>ngx_openresty/1.0.10.48</center>??
         8. </body>??
         9. </html>??

         ? ? ? ??c. rewrite_by_lua和rewrite_by_lua_file

         ? ? ? ? 实现url重写，在rewrite阶段执行。

         copy

         location?=?/foo?{??
         1. ????????rewrite_by_lua?'ngx.exec("/bar")';??
         2. ????echo?'in?foo';??
         3. location?=?/bar?{??
         4. ????????echo?'in?bar';??
         5. copy
            $?Hello,?Lua!??
            ? ? ? ?? d.?content_by_lua和content_by_lua_file
            ? ? ? ? Contenthandler在content阶段执行，生成http响应。由于content阶段只能有一个handler，所以在与echo模块使用时，不能同时生效，我测试的结果是content_by_lua会覆盖echo。这和之前的hello world的例子是类似的。

            ? ? ? ? 配置（直接响应）：

            copy
            location?=?/lua?{??
            1. ????????content_by_lua?'ngx.say("Hello,?Lua!")';??
            2. ? ? ? ? 输出：
               copy
               ? ? ? ? 配置（在Lua中访问Nginx变量）：
               copy
               location?=?/hello?{??
               1. ????????content_by_lua?'local?who?=?ngx.var.arg_who??
               2. ????????ngx.say("Hello,?",?who,?"!")';??
               3. }??
               copy
               $?curl?'localhost/hello?who=world??
               1. 8. Nginx API

                  ? ? ? ? Nginx API被封装ngx和ndk两个package中。比如ngx.var.NGX_VAR_NAME可以访问Nginx变量。这里着重介绍一下ngx.location.capture和ngx.location.capture_multi。

                  ? ? ?? ? a.?ngx.location.capture

                  ? ? ? ? 语法：res= ngx.location.capture(uri,options?)

                  ? ? ? ? 用于发出一个同步的，非阻塞的Nginxsubrequest（子请求）。可以通过Nginx subrequest向其它location发出非阻塞的内部请求，这些location可以是配置用于读取文件夹的，也可以是其它的C模块，比如ngx_proxy,ngx_fastcgi,ngx_memc,ngx_postgres,ngx_drizzle甚至是ngx_lua自己。

                  ? ? ? ? Subrequest只是模拟Http接口，并没有额外的Http或者Tcp传输开销，它在C层次上运行，非常高效。Subrequest不同于Http 301/302重定向，以及内部重定向（通过ngx.redirection）。

                  ? ? ? ? 配置：

                  [plain]? view plain copy

                  location?=?/other?{??
                  1. ????ehco?'Hello,?world!';??
                  2. }??
                  3. ??????
                  4. #?Lua非阻塞IO??
                  5. location?=?/lua?{??
                  6. ????content_by_lua?'??
                  7. ????????local?res?=?ngx.location.capture("/other")??
                  8. ????????if?res.status?==?200?then??
                  9. ????????????ngx.print(res.body)??
                  10. ????????end??
                  11. ????';??
                  12. }??

                  ? ? ? ? 输出：

                  copy
                  $?curl??'http://localhost/lua'??
                  1. copy
                     #?同时发送多个子请求（subrequest）??
                     1. location?=?/moon?{??
                     2. ????ehco?'moon';??
                     3. }??
                     4. location?=?/earth?{??
                     5. ????ehco?'earth';??
                     6. ???????
                     7. location?=?/lua?{??
                     8. ????content_by_lua?'??
                     9. ????????local?res1,res2?=?ngx.location.capture_multi({?{"/moon"},?{"earth"}?})??
                     10. ????????if?res1.status?==?200?then??
                     11. ????????????ngx.print(res1.body)??
                     12. ????????end??
                     13. ????????ngx.print(",")??
                     14. ????????if?res2.status?==?200?then??
                     15. ????????????ngx.print(res2.body)??
                     16. ????';??
                     17. }??

                     ? ? ? ? 输出：

                     copy
                     $?moon,earth??
                     ?? ? ?? ?c. 注意

                     ? ? ? ? 在Lua代码中的网络IO操作只能通过Nginx Lua API完成，如果通过标准Lua API会导致Nginx的事件循环被阻塞，这样性能会急剧下降。

                     ? ? ? ? 在进行数据量相当小的磁盘IO时可以采用标准Lua io库，但是当读写大文件时这样是不行的，因为会阻塞整个NginxWorker进程。为了获得更大的性能，强烈建议将所有的网络IO和磁盘IO委托给Nginx子请求完成（通过ngx.location.capture）。

                     ? ? ? ? 下面通过访问/html/index.html这个文件，来测试将磁盘IO委托给Nginx和通过Lua io直接访问的效率。

                     ? ? ? ? 通过ngx.location.capture委托磁盘IO：

                     copy

                     location?/?{???
                     1. ????internal;??
                     2. ????root?html;??
                     3. location?/capture?{??
                     4. ????content_by_lua?'??
                     5. ????????res?=?ngx.location.capture("/")??
                     6. ????????echo?res.body??
                     7. ? ? ? ? 通过标准lua io访问磁盘文件：

                        copy

                        location?/luaio{???
                        1. ????content_by_lua?'??????
                        2. ????????local?io?=?require("io")??
                        3. ????????local?chunk_SIZE?=?4096??
                        4. ????????local?f?=?assert(io.open("html/index.html","r"))??
                        5. ????????while?true?do??
                        6. ????????????local?chunk?=?f:read(chunk)??
                        7. ????????????if?not?chunk?then??
                        8. ????????????????break??
                        9. ????????????end??
                        10. ????????????ngx.print(chunk)??
                        11. ????????????ngx.flush(true)??
                        12. ????????f:close()??
                        13. ????';??
                        14. ? ? ? ? 这里通过ab去压，在各种并发条件下，分别返回151bytes、151000bytes的数据，取10次平均，得到两种方式的rps。

                            ? ? ? ? 静态文件：151bytes