加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

Laravel 教程:使用Fast Excel解决导出超大 XLSX 文件(千万级)

发布时间:2020-12-14 19:33:05 所属栏目:大数据 来源:网络整理
导读:TL;DR: 本文介绍 Laravel 的 FastExcel 组件,文中会对 PHP generators 速览,并给出如何在节约内存的同时结合两者从数据集生成 Excel 文件。 关于 FastExcel Laravel FastExcel?旨在成为 Laravel 风格的?Spout,目的是简化?导入 / 导出。它可以看作是?Larave

TL;DR: 本文介绍 Laravel 的 FastExcel 组件,文中会对 PHP generators 速览,并给出如何在节约内存的同时结合两者从数据集生成 Excel 文件。

关于 FastExcel

Laravel FastExcel?旨在成为 Laravel 风格的?Spout,目的是简化?导入 / 导出。它可以看作是?Laravel Excel?的一种更快(且对内存更友好)的替代方案,只是方法不同且功能较少。 分两步实施。

首先,composer 方式安装:

composer require rap2hpoutre/fast-excel

  

然后,导出一个?Model?或者?Collection?to?XLSX,?CSV?or?ODS:

fastexcel($collection)->export('file.xlsx');

  

更多详情请参考?README?of the?project homepage.

Generators(生成器)

Generators?于多年前在 PHP 5 中引入。「生成器」函数很像普通函数,只是它不返回一个确定值,而是「生成器」yields?值,以便你根据需求生成需要迭代的值。

此类函数的目标之一是?延迟迭代?数据而不构建数组。因此,在处理大型数据集时可以节约内存。详情请参考?PHP 文档:

「生成器」允许你在 foreach 代码块中编写代码来遍历一组数据,而无需在内存中构建数组。因为那样可能会导致超出内存限制,或需要大量的处理时间才能生成。

假定现在有一个?User?模型,数据库中有 10M+ 条,你想在代码中迭代它们,除了调用?User::all(),你也可以使用「生成器」:

function usersGenerator() {
    foreach (User::cursor() as $user) {
        yield $user;
    }
}

$users = usersGenerator();
foreach($users as $user) {
    // Do something with each user without hitting memory limit
}

  

上面这个示例在运行查询时是一个接一个地取出用户数据。它仅仅是使用加载一个用户所需的内存?N?次。

使用 FastExcel 和 Generators 导出大型数据集

从 v1.3.0 起,?FastExcel?接受一个生成器函数作为参数。接前面的示例,你可以将生成器传递给?fastexcel?函数:

function usersGenerator() {
    foreach (User::cursor() as $user) {
        yield $user;
    }
}

// Export consumes only a few MB,even with 10M+ rows.
$users = usersGenerator();
fastexcel($users)->export('test.xlsx');

  

?

FastExcel 在内部使用生成器时是一行一行地创建,因此不会消耗额外的内存。这会是一个耗时操作,因此请确保不会触到 max_execution_time 限制 (你可以使用队列、 任何的异步技术、增加最大执行时间、甚至是从 CLI 执行)。尽管这样,仍然要注意,不要因一个导出操作耗尽你的服务器所有的内存。

因此,借助「生成器」,你现在可以在 Laravel 项目中使用几行代码将成千上万个模型数据导出到 XLSX,CSV 和 ODS 文件中。

欲了解这个组件的更详细信息请移步到:?

?

转自链接:Laravel 教程:使用 Fast Excel 解决导出超大 XLSX 文件(千万级)带来的内存问题

?

更多学习内容请访问:

腾讯T3-T4标准精品PHP架构师教程目录大全,只要你看完保证薪资上升一个台阶(持续更新)

?

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读