加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 站长学院 > PHP教程 > 正文

使用PHP将大型数据库转储为JSON

发布时间:2020-12-13 17:13:49 所属栏目:PHP教程 来源:网络整理
导读:我正在处理的应用程序有一点问题.该应用程序用作开发人员工具,将表从 MySQL服务器中的数据库转储到开发人员使用Unix curl命令获取的JSON文件.到目前为止,我们使用的数据库都是相对较小的表(2GB或更少),但是最近我们已经进入另一个使用完全填充表(40GB)和简单
我正在处理的应用程序有一点问题.该应用程序用作开发人员工具,将表从 MySQL服务器中的数据库转储到开发人员使用Unix curl命令获取的JSON文件.到目前为止,我们使用的数据库都是相对较小的表(2GB或更少),但是最近我们已经进入另一个使用完全填充表(40GB)和简单的 PHP脚本中断的测试阶段.这是我的脚本:

[<?php 

$database = $_GET['db'];

ini_set('display_errors','On');
error_reporting(E_ALL);

# Connect
mysql_connect('localhost','root','root') or die('Could not connect: ' . mysql_error());

# Choose a database
mysql_select_db('user_recording') or die('Could not select database');

# Perform database query
$query = "SELECT * from `".$database."`";
$result = mysql_query($query) or die('Query failed: ' . mysql_error());

while ($row = mysql_fetch_object($result)) {
   echo json_encode($row);
   echo ",";
}

?>]

我的问题是如何才能使这个脚本更好地处理更大的数据库转储.

解决方法

这就是我认为问题所在:

你正在使用mysql_query. mysql_query缓冲内存中的数据,然后mysql_fetch_object只从内存中获取该数据.对于非常大的表,您只是没有足够的内存(很可能您将所有40G行都放入该单个调用中).

请改用mysql_unbuffered_query.更多信息在这里MySQL performance blog你可以找到这种行为的一些其他可能的原因.

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读