php – 在mysql表中找到无法导出的“有问题”行

由于您只能使用PHP访问数据库,因此您应该使用它来查找出错的地方.

以下是对脚本的修改,它只会将一个表转储到文件中.它是一个调试脚本,而不是用于生产的导出工具(但是,用它做你想做的事),这就是它在保存表的每一行后输出调试的原因.

正如Amit Kriplani所建议的那样,每次迭代都会将数据附加到目标文件中,但我不认为PHP内存是你的问题,如果你的内存不足你应该得到一个PHP错误,或者至少应该抛出一个HTTP 500由服务器而不是永远运行脚本.

function progress_export( $file,$table,$idField,$offset = 0,$limit = 0 )
{

    debug("Starting export of table $table to file $file");

    // empty the output file
    file_put_contents( $file,'' );
    $return = '';


    debug("Dumping schema");

    $return.= 'DROP TABLE '.$table.';';
    $row2 = mysql_fetch_row(mysql_query("SHOW CREATE TABLE $table"));
    $return.= "nn".$row2[1].";nn";


    file_put_contents( $file,$return,FILE_APPEND );

    debug("Schema saved to $file");




    $return = '';

    debug( "Querying database for records" );

    $query = "SELECT * FROM $table ORDER BY $idField";

    // make offset/limit optional if we need them for further debug
    if ( $offset && $limit )
    {
        $query .= " LIMIT $offset,$limit";
    }

    $result = mysql_query($query);

    $i = 0;
    while( $data = mysql_fetch_assoc( $result ) )
    {
        // Let's be verbose but at least,we will see when something goes wrong
        debug( "Exporting row #".$data[$idField].",rows offset is $i...");

        $return = "INSERT INTO $table (`". implode('`,`',array_keys( $data ) )."`) VALUES (";
        $coma = '';

        foreach( $data as $column )
        {
            $return .= $coma. "'". mysql_real_escape_string( $column )."'";
            $coma = ',';
        }

        $return .=");n";

        file_put_contents( $file,FILE_APPEND );

        debug( "Row #".$data[$idField]." saved");

        $i++;

        // Be sure to send data to browser
        @ob_flush();
    }

    debug( "Completed export of $table to file $file" );
}



function debug( $message )
{
    echo '['.date( "H:i:s" )."] $message <br/>";
}


// Update those settings :

$host = 'localhost';
$user = 'user';
$pass = 'pwd';
$base = 'database';

// Primary key to be sure how record are sorted
$idField = "id"; 

$table   = "etiquetas";

// add some writable directory
$file = "$table.sql";


$link = mysql_connect($host,$pass);
mysql_select_db($base,$link); 




// Launching the script
progress_export( $file,$idField );

编辑脚本末尾的设置,并针对两个表中的一个运行它.

您应该在脚本仍处理时看到输出,并获取有关正在处理的行的一些引用,如下所示：

[23:30:13] Starting export of table ezcontentobject to file ezcontentobject.sql

[23:30:13] Dumping schema

[23:30:13] Schema saved to ezcontentobject.sql

[23:30:13] Querying database for records

[23:30:13] Exporting row #4,rows offset is 0…

[23:30:13] Row #4 saved

[23:30:13] Exporting row #10,rows offset is 1…

[23:30:13] Row #10 saved

[23:30:13] Exporting row #11,rows offset is 2…

[23:30:13] Row #11 saved

[23:30:13] Exporting row #12,rows offset is 3…

[23:30:13] Row #12 saved

[23:30:13] Exporting row #13,rows offset is 4…

[23:30:13] Row #13 saved

etc.

如果脚本完成…

那么你将有一个表的备份(小心,我没有测试生成的SQL)！

我猜它不会完成：

如果脚本没有到达第一个“导出行…”调试语句

然后问题是在查询时.

然后,您应该尝试使用偏移量和限制参数来限制查询,继续进行二分法以找出它挂起的位置

生成限制为1000个第一结果的查询的示例.

// Launching the script
progress_export( $file,1000 );

如果脚本在挂起之前显示正在导出的某些行

在确定显示的最后一行ID之前,您应该尝试：

>再次运行脚本,看它是否挂在同一行.这是为了看看我们是否面临“随机”问题(它从来都不是随机的).
>向函数调用添加偏移量(请参阅可选参数),并第三次运行脚本,以查看它是否仍挂在同一行上.

例如50作为偏移量,一些大数字作为限制：

// Launching the script
progress_export( $file,50,600000 );

这是为了检查它自己的行是否导致问题,或者它是否是临界行数/数据量…

>如果每次都返回相同的最后一行,请检查并给我们反馈.
>如果添加偏移量以可预测的方式更改最后处理的行,我们可能会在某处遇到资源问题.

如果您无法在分配的资源上播放,那么解决方案将是将导出拆分为块.
您可以使用接近此脚本的脚本完成此操作,输出一些HTML / javascript,重定向到它自己,使用offset和limit作为参数,而导出未完成(如果我们最终需要,我将编辑答案) )

>如果行几乎每次都改变,那就更复杂了……

一些线索：

我对VPS没有任何经验,但是你对CPU使用有什么限制吗？

如果您一次使用过多的资源,那么您的流程是否会排队？

那些没有问题的转储表怎么样？是否存在与两者一样大的表格导致问题？