在做埋点采集方案的时候,直接采用Openresty进行数据采集
手撸Java代码性能较差,直接使用第三方框架进行数据采集处理。
其中需要应用到lua-zlib模块进行gz的压缩文件解压;
lua-zlib的安装过程如下:
wget https://github.com/brimworks/lua-zlib/archive/master.zip
unzip master.zip
cd lua-zlib-master/
cmake -DLUA_INCLUDE_DIR=/usr/local/openresty/luajit/include/luajit-2.1 -DLUA_LIBRARIES=/usr/local/openresty/luajit/lib -DUSE_LUAJIT=ON -DUSE_LUA=OFF
make
确保luajit的依赖存在,在cmake检查的时候会显示出来;
执行make后会在编译主目录下生成zlib.so文件
将zlib.so文件放到openresty的lualib目录下,供全局加载到
cp zlib.so /usr/local/openresty/lualib/
然后在代码里面就可以使用了
location /deal_data {lua_need_request_body on;content_by_lua_block {-- 加载lua-zlib库local zlib = require "zlib"-- 读取请求体ngx.req.read_body()-- 获取请求体数据local request_body = ngx.req.get_body_data()-- 检查是否有数据if not request_body thenngx.log(ngx.ERROR, "No request body found.")return ngx.exit(400)end-- 解压数据local stream = zlib.inflate()local r=stream(request_body);-- ngx.req.set_body_data(r);if err thenngx.log(ngx.ERROR, "Failed to decompress GZIP data: ", err)return ngx.exit(500)end-- 设置响应头ngx.header.content_type = 'application/json'-- 输出解压后的数据ngx.say(r)return ngx.exit(200)}}
至此完成解压工作;
容易踩坑点:询问gbt的时候会提示使用nginx的with-http_gunzip_module模块,设置gunzip on;来自动解压,但是尝试多次后都无法成功。有成功的可以分享下经验哈。
翻看了一些资料,个人理解是 其实with-http_gunzip_module模块是帮前端进行解压的,比如nginx location代理接口进行了gz数据压缩,代理一层的对外接口就可以自动解压了。另外下图资料也说明了假如正向解压有可能遭受网络工具,消耗系统资源