加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

在lua环境中使用protobuf

发布时间:2020-12-14 22:06:56 所属栏目:大数据 来源:网络整理
导读:最近在cocos2dx的项目中,需要在LUA脚本层使用protobuf协议。官方已经推出了很多种语言的版本。但唯独LUA版本不全。于是开始研究protobuf在LUA下的实现,将完整的过程记录了下来,希望对其它人能有所帮助。 1、下载protoc-gen-lua 可以通过HG从服务器(hg cl
最近在cocos2dx的项目中,需要在LUA脚本层使用protobuf协议。官方已经推出了很多种语言的版本。但唯独LUA版本不全。于是开始研究protobuf在LUA下的实现,将完整的过程记录了下来,希望对其它人能有所帮助。

1、下载protoc-gen-lua

可以通过HG从服务器(hg clone?https://code.google.com/p/protoc-gen-lua/)上下载最新的版本。

简单介绍一下里面的三个目录:

example?存放的一个示例协议,

plugin?将.proto协议转为LUA脚本需要的工具。要注意,这个工具是用PYTHON写的,所以后面我们需要安装PYTHON。

rotobuf这里存放了工程需要的文件。其中pb.c是C码文件。主要是在工程中引用,也可以编译成动态文件(.so)供LUA调用。其它LUA文件则需要引入到LUA工程中。

?

2、安装PYTHON27。推荐是这个版本。

3、下载protobuf然后编译出protoc.exe。

可以用SVN从服务器上(http://protobuf.googlecode.com/svn/trunk)下载最新的protobuf。我使用的是protobuf-2.4.1。

进入protobuf-2.4.1/vsprojects利用VS2010进行编译。生成的protoc.exe放到protobuf-2.4.1/src下。如果不放,后面无法安装python版的protobuf。

4、编译python版本的protobuf

在protobuf-2.4.1python下运行python setup.py build,然后再执行python setup.py install。

注意:如果第3步的protoc.exe没有放,会出现错误找不到googleprotobufcompiler目录。

?

5、制作转换协议的批处理

在protoc-gen-lua/plugin目录下编写批处理:protoc-gen-lua.bat,就下面一行代码。

///////////////////////////////////////////////////////////////////////////////////////

@python "%~dp0protoc-gen-lua"

///////////////////////////////////////////////////////////////////////////////////////

但要确保你的python命令能正常运行。否则将python.exe所在的目录加到环境变量path中。

接着拷贝一份protoc.exe到protoc-gen-lua目录。第3步我们已经编译了出了protoc.exe。在协议转换中,我们需要使用他。

在protoc-gen-lua目录编写批处理:buildproto.bat 来转换协议。

[cpp]? view plain copy
  1. rem?切换到.proto协议所在的目录??
  2. cd?../luascript??
  3. rem?将当前文件夹中的所有协议文件转换为lua文件??
  4. for?%%i?in?(*.proto)?do?(????
  5. echo?%%i??
  6. "..protobufprotocprotoc.exe"?--plugin=protoc-gen-lua="..protobufpluginprotoc-gen-lua.bat"?--lua_out=.?%%i??
  7. ??
  8. )??
  9. echo?end??
  10. pause??

请正确指定protoc.exe和protoc-gen-lua.bat相对协议目录的路径。

?

6、转换协议文件

protoc-gen-lua/example目录中,有一个协议文件person.proto,可以拿他做一下试验,会生成一个person_pb.lua

?

7、编译pb.c文件

protoc-gen-lua/protobuf目录中有一个pb.c文件。我们需要用他来协助lua完成protobuf的功能。

用vs2010新建一个控制台程序。将pb.c加入到工程中。在windows平台下,要对pb.c做如下修改。

1)将 #include <endian.h>修改为

#ifndef _WIN32
???? #include <endian.h>
#endif

避免在windows下缺失文件报错.

2)调整struct_unpack函数前几行为

static int struct_unpack(lua_State *L)
{
??? uint8_t format = luaL_checkinteger(L,1);
??? size_t len;
??? const uint8_t* buffer = (uint8_t*)luaL_checklstring(L,2,&len);
??? size_t pos = luaL_checkinteger(L,3);
??? uint8_t out[8];???

??? buffer += pos;

3)在主函数前面申明pb.c的入口。

extern "C" { int luaopen_pb (lua_State *L);}?? // 注意防在命名空间外的全局声明

?

编写主函数如下:

[html]? copy
    #include?"stdafx.h"??
  1. ??
  2. extern?"C"{??
  3. ????#include?<lua.h>??
  4. ????#include?lualib.h>??
  5. lauxlib.h ????int?luaopen_pb?(lua_State?*L);??
  6. }??
  7. int?main(int?argc,?char*?argv[])??
  8. {??
  9. ??????
  10. ????lua_State?*L?=?lua_open();??
  11. ????luaL_openlibs(L);??
  12. ????luaopen_pb(L);??
  13. ????luaL_dofile(L,?"main.lua");???
  14. ????lua_pcall(L,?0,?LUA_MULTRET,?0);??
  15. ????lua_close(L);???????
  16. ????return?0;???
  17. }??


工程需要lua5.1.lib的接入。这个请自行编译。

?

8、编写main.lua。

也就是测试文件,可以参考protoc-gen-lua/example中的test.lua。

[plain]? copy
    package.path?=?package.path?..?';./protobuf/?.lua'??
  1. require?"person_pb"??
  2. local?msg?=?person_pb.Person()??
  3. msg.id?=?100???
  4. msg.name?=?"foo"???
  5. msg.email?=?"bar"???
  6. local?pb_data?=?msg:SerializeToString()??--?Parse?Example??
  7. print("create:",?msg.id,?msg.name,?msg.email,?pb_data)??
  8. local?msg?=?person_pb.Person()???
  9. msg:ParseFromString(pb_data)???
  10. print("parser:",?pb_data)??


9、测试

编译并运行VS工程。运行目录应该是LUA文件所在的目录。运行结果如下:

?

?10、总结。

这里实现了,在C++中搭建lua的protobuf环境。但未实现纯粹的Lua-protobuf环境。

如果需要在LUA中实现protobuf,那需要自己将pb.c编译成dll。在linux下需要利用protoc-gen-lua/protobuf中的makefile将pb.c编译成pb.so。

然后将pb.so或pb.dll导入到lua工程中。然后在main.lua中调用pb.c中的入口,代码如下:

copy
    local?a?=?package.loadlib("pb.dll",?"luaopen_pb");??
  1. a()??

?

理论上是这样,我还没有做详细的测试。如果有进展,再完善本贴。

?

?转自:http://blog.csdn.net/sunshine7858/article/details/9260671

-----------------------------------------------------------------------------------------------

下载地址:
http://code.google.com/p/protobuf/downloads/list

安装命令

tar -xzf protobuf-2.5.0.tar.gz?
?cd protobuf-2.5.0?
?./configure --prefix=$INSTALL_DIR?

?make??

?make check

?make install?

然后进入python目录,

python setup.py install --prefix=$INSTALL_DIR


写proto文件
package lm;
message Person
{
??????? required int32? id = 1;
??????? required string str = 2;
??????? optional int32? opt = 3;
}
保存为 testp.testpb.proto

编译指令?
protoc -I=/home/workspace/testprob --python_out=/home/workspace/testprob /home/workspace/testprob/testp.testpb.proto
google
https://developers.google.com/protocol-buffers/docs/pythontutorial
报错
package directory 'google/protobuf/compiler' does not exist
解决?
https://groups.google.com/forum/?fromgroups=#!topic/protobuf/YeT5RW4qCxY
python ./setup.py build
sudo python ./setup.py install
?File "/home/workspace/testprob/testp/testpb_pb2.py",line 6,in <module>
??? from google.protobuf import reflection as _reflection
? File "build/bdist.linux-i686/egg/google/protobuf/reflection.py",line 68,51)">? File "build/bdist.linux-i686/egg/google/protobuf/internal/python_message.py"
? ImportError: cannot import name enum_type_wrapper
解决
http://code.google.com/p/protobuf/issues/detail?id=438
Log message
Fix? issue 438 : add missing 'enum_type_wrapper' to setup.py
是安装包的一个改进文件,copy下来, 重新安装
根据安装目录下的demo? 自己改写了个简单的, 觉得它那个还是麻烦
write.py
import testpb_pb4
import sys
p = testpb_pb2.Person()
try:
? f = open(sys.argv[1],"rb")
? p.ParseFromString(f.read())
? f.close()
except IOError:
? print sys.argv[1] + ": File not found.? Creating a new file."
p.id = 32
p.str = "test"
f = open(sys.argv[1],"wb")
f.write(p.SerializeToString())
f.close()
print "write success"
编译指令 python write.py "test"
read.py?
import testpb_pb2
if len(sys.argv) != 2:
? print "Usage:",sys.argv[0],"ADDRESS_BOOK_FILE"
? sys.exit(-1)
p.ParseFromString(f.read())
print "p.str = ",? p.str
print "p.id=",p.id
编译指令 python read.py "test"

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读