在PHP中解压缩LZO流

发布时间：2020-12-13 22:50:54 所属栏目：PHP教程来源：网络整理

导读：我在Amazon S3上有许多LZO压缩的日志文件,我想从 PHP中读取这些文件. AWS SDK提供了一个很好的 StreamWrapper,可以有效地读取这些文件,但由于文件是压缩的,我需要在处理之前解压缩内容. 我已经安装了PHP-LZO extension,它允许我做lzo_decompress($data),但由

我在Amazon S3上有许多LZO压缩的日志文件,我想从 PHP中读取这些文件. AWS SDK提供了一个很好的 StreamWrapper,可以有效地读取这些文件,但由于文件是压缩的,我需要在处理之前解压缩内容.

我已经安装了PHP-LZO extension,它允许我做lzo_decompress($data),但由于我正在处理流而不是完整的文件内容,我假设我需要一次使用字符串一个LZO压缩块.换句话说,我想做的事情如下：

$s3 = S3Client::factory( $myAwsCredentials );
$s3->registerStreamWrapper();

$stream = fopen("s3://my_bucket/my_logfile",'r');

$compressed_data = '';
while (!feof($stream)) {
    $compressed_data .= fread($stream,1024);

    // TODO: determine if we have a full LZO block yet
    if (contains_full_lzo_block($compressed_data)) {

        // TODO: extract the LZO block
        $lzo_block = get_lzo_block($compressed_data);

        $input = lzo_decompress( $lzo_block );
        // ...... and do stuff to the decompressed input
    }

}
fclose($stream);

这两个TODO是我不确定该做什么的地方：

>检查数据流以确定我是否还有一个完整的LZO块
>提取此块以进行解压缩

由于压缩是由亚马逊(s3distCp)完成的,因此我无法控制块大小,因此我可能需要检查传入流以确定块的大小 – 这是正确的假设吗？

(理想情况下,我会在流上直接使用自定义StreamFilter,但我以前找不到任何人这样做过)

解决方法

通过PHP执行命令可以通过许多不同的方式完成,例如：

$command = 'gunzip -c /path/src /path/dest';
$escapedCommand = escapeshellcmd($command);
system($escapedCommand);

或者也

shell_exec('gunzip -c /path/src /path/dest');

会做的工作.
现在这是一个要执行什么命令的问题,在Linux下有一个很好的命令行工具lzop,它提取或压缩lzop文件.

您可以通过以下方式使用它：

lzop -dN sources.lzo

所以你最终的代码可能很简单：

shell_exec('lzop -dN s3://my_bucket/my_logfile');

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!