使用PHP将大型数据库转储为JSON
发布时间:2020-12-13 17:13:49 所属栏目:PHP教程 来源:网络整理
导读:我正在处理的应用程序有一点问题.该应用程序用作开发人员工具,将表从 MySQL服务器中的数据库转储到开发人员使用Unix curl命令获取的JSON文件.到目前为止,我们使用的数据库都是相对较小的表(2GB或更少),但是最近我们已经进入另一个使用完全填充表(40GB)和简单
我正在处理的应用程序有一点问题.该应用程序用作开发人员工具,将表从
MySQL服务器中的数据库转储到开发人员使用Unix curl命令获取的JSON文件.到目前为止,我们使用的数据库都是相对较小的表(2GB或更少),但是最近我们已经进入另一个使用完全填充表(40GB)和简单的
PHP脚本中断的测试阶段.这是我的脚本:
[<?php $database = $_GET['db']; ini_set('display_errors','On'); error_reporting(E_ALL); # Connect mysql_connect('localhost','root','root') or die('Could not connect: ' . mysql_error()); # Choose a database mysql_select_db('user_recording') or die('Could not select database'); # Perform database query $query = "SELECT * from `".$database."`"; $result = mysql_query($query) or die('Query failed: ' . mysql_error()); while ($row = mysql_fetch_object($result)) { echo json_encode($row); echo ","; } ?>] 我的问题是如何才能使这个脚本更好地处理更大的数据库转储. 解决方法
这就是我认为问题所在:
你正在使用mysql_query. mysql_query缓冲内存中的数据,然后mysql_fetch_object只从内存中获取该数据.对于非常大的表,您只是没有足够的内存(很可能您将所有40G行都放入该单个调用中). 请改用mysql_unbuffered_query.更多信息在这里MySQL performance blog你可以找到这种行为的一些其他可能的原因. (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |