php – DOMDocument / Xpath在长命令行过程中泄漏内存 – 解构此
|
我正在构建一个使用XPath来分析
HTML的命令行php scraping app – 问题是每次在循环中加载新的DOMXPath类实例时我的内存丢失大致等于正在加载的
XML的大小.该脚本运行并运行,慢慢建立内存使用量,直到达到限制并退出.
我已经尝试用 所以我的问题是……在我已经提取了必要的数据后,有没有办法强制垃圾清理DOMXPath？在类实例上使用unset可以预测不会做任何事情. 代码没什么特别的,只是标准的Xpath东西： //Loaded outside of loop
$this->dom = new DOMDocument();
//Inside Loop
$this->dom->loadHTML($output);
$xpath = new DOMXPath($this->dom);
$nodes = $xpath->query("//span[@class='ckass']");
//unset($this->dom) and unset($xpath) doesn't seem to have any effect
正如您在上面所看到的,我已经在循环之外保留了新DOMDocument类的实例化,尽管这似乎并没有提高性能.我甚至尝试将$xpath类实例从循环中取出并使用__constructor方法直接将DOM加载到Xpath中,内存丢失是相同的.
看到这个答案是她多年没有得出结论,最后更新！我现在遇到了类似的问题,结果发现DOMXPath只是泄漏了内存,你无法控制它.我还没有搜索到目前为止在bug.php.net上是否报告过这种情况(这可能对以后编辑有用).
我找到问题的“工作”解决方案只是解决方法.基本思想是将DOMXPath :: query()返回的DOMNodeList Traversable替换为包含相同节点的另一个. 最合适的解决方法是使用 $nodes = new DOMXPathElementsIterator($this->dom,"//span[@class='ckass']");
foreach ($nodes as $span) {
...
}
此类现在是the development version of Iterator-Garden的一部分,$nodes是所有< span>的迭代器. DOMElements. 此解决方法的缺点是xpath结果限制为 另一种方法是在DOMNodeList上使用 希望这是有用的,即使问题真的很老.它在类似的情况下帮助了我. 只有在不再引用(使用)对象时才调用垃圾收集清理圈. 例如,如果您为同一个DOMDocument重新创建一个新的DOMXPath对象(请记住它已连接到仍然存在的DOMDocument),听起来就像是您的内存“泄漏”.你只需要使用越来越多的内存. 相反,您可以在重复使用DOMDocument对象时重复使用现有的DOMXPath对象.试一试： //Loaded outside of loop
$this->dom = new DOMDocument();
$xpath = new DOMXPath($this->dom);
//Inside Loop
$this->dom->loadHTML($output);
$nodes = $xpath->query("//span[@class='ckass']");
（编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |