[Perl] 使用 Gearman 实现分布式处理
本文链接:?http://www.php-oa.com/2010/09/05/perl-gearman-distributed.html ??????? 因为近来在研究 Mogilefs 的分布文件系统,在读读这个的源码,另外,为公司新设计了一个下载的系统,所以更加要深入研究一下,因为这个好东西是 Perl 写的,真不容易,在读这个的时间发现了几个好东西,其中一个就是我现在要提到的 Gearman ,这是个分布的任务分发的框架。使用 Perl 写的。后来用 C 重写了其中一些部分。作者?Brad Fitzpatrick大神开发的 Gearman,他原来是 livejournal 的成员,设计最初也是用于LiveJournal的图片 resize 功能,目前是 Google 的成员. ??????? 简单的讲, Gearman 就是一个用 Perl 写的任务调度程序,它能提供一个服务器端进行任务调度,自己就不做其它任何事了。客户端同时也提供了多种语言接口。Gearman 这个框架系统主要的工作是用来委派任务给其他机器,Mogilefs 的分布文件系统的核心就是用的这个。所以我们可以基于这个做一个自己的 Cluster 出来。 ??????? 这个软件的应用场景可以很多,比如 Web 2.0 的项目中,比如常用的视频网站的视频处理,分布式日志处理,电子邮件处理,文件同步处理,图片处理等等,只要是可以放开,不影响体验和响应的场景,需要并行进行大量计算和处理的程序,都是可以的。不要因为 Gearman 是 Perl 写的而认为通用性就不行,因为设计时就是独立于语言和平台的。所以客户端可以是任何语言,象 Perl,PHP,Python,Ruby之类。就算是 Shell 也行 Gearman 的作者 Eric Day 介绍,Yahoo! 在 60 或更多的服务器上使用 Gearman 每天处理 600 万个作业。新闻聚合器 Digg 也已构建了一个相同规模的 Gearman 网络,每天可处理 400,000 个作业。Gearman 的一个出色例子可以在 Narada 这个开源搜索引擎中找到。 ? Gearman 的架构 ? Gearman 怎么样工作 Gearman 不但可以做为任务分发,还可以做为应用方面是负载均衡,我们可以让 Workerer 放在不同的一堆服务器上,也可以启动放在同一个 CPU 的多个核上,比如,以我们常用的应用视频转换程序,但是不希望 Web 的服务器来处理视频的格式处理的过程,这时,我们就可以在这一堆服务器上进行任务分发,在上面加载 Workerer 处理视频格式处理和转换。这样对外的 web 服务器将不会被视频转换的过程影响,同时也能很多的让所有服务器负载均衡的工作来处理,也非常方便扩展,加一个机器到任务调度中心,注册成 Workerer 就行,这时 Job Server 会在请求到来的时候,将这个请求发给空闲的这个 Workerer. 另外你还可以运行多个Job Server。可以组成一个 HA 的架构,如果一个Job Server 的进程 down了,client 和 Workerer 会自动迁移到另一台Job Server上。 简单来讲,就是下面的流程 1. 启动 Gearman ,监听 7003 如图 ?从上面可以看出来 Worker 是可扩展的.如果你有需要 Worker 是可以运行任意多个的. ? 安装 Gearman 的环境 cpanm Gearman::Server cpanm Gearman::Client cpanm Gearman::Worker ? 使用 Gearman 的功能? Gearman 的 Job Server 调度程序的使用 (1. 启动Job: gearmand -d -L 127.0.0.1 -p 7003 -d deamon telnet localhost 7003 status # telnet 127.0.0.1 7003 Trying 127.0.0.1... Connected to localhost.localdomain (127.0.0.1). Escape character is '^]'. status convertVideo 0 0 1 echo 1 0 0 ?可以见到如上的输出,分 4 个部分. ? Gearman::Worker 的基本语法和使用 这个没有什么好讲的,连接到主 Gearman 调度服务器。然后是通过内部的 register_function? 函数来注册一个功能,到 Gearman 的主调度服务器上去。好让调度服务器知道这个 Worker 能处理的任务是什么。 #!/usr/bin/perl use strict; use warnings; use Gearman::Worker; ? my $worker = Gearman::Worker->new; $worker->job_servers('127.0.0.1'); ? # Worker 注册可以使用的功能,如果视频转换... $worker->register_function( convertVideo => /&convertVideo ); ? # 等待连接的任务 $worker->work while 1; ? sub convertVideo{ my $job = shift; # TODO 做你要实现的事情,任务 return $job->arg; } ? Gearman::Client?的基本语法和使用 Gearman::Client? 工作分同步和异步二种,默认我打开的是异步的功能,注掉的部分打开就是使用同步调用任务。 ? #!/usr/bin/perl use strict; use warnings; use Gearman::Client; ? my $client = Gearman::Client->new; $client->job_servers('127.0.0.1'); ? # 设置异步任务 my $tasks = $client->new_task_set; $tasks->add_task( # 开始任务 convertVideo => 'new.flv', # 注册回调函数 { on_complete => /&complete }, ); # 等待任务结束 $tasks->wait; ? sub complete{ my $result = shift; print $$result ."/n"; } ? # 设置同步任务 #my $resultRef = $client->do_task( "convertVideo","new.flv" ); #print "$$resultRef/n"; ? #$client->dispatch_background( "convertVideo","new.flv" ); ? ?相关文档?http://search.cpan.org/~dormando/Gearman-Server-1.11/ (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |