perl – 在BaseX中进行基准测试：如何设置

在项目开始时 – 在我参与项目之前 – 该工具仅限于相当小的语料库(最多900万字).目标是使大量文本也可搜索.我们正在谈论–5亿字.已经尝试过,理论上应该通过减少搜索空间来提高速度(见this paper),但尚未经过测试.此尝试的结果是一个新的文件结构.让我们称这个结构为B,与未处理的结构A相比.我们希望B在使用BaseX查询时提供更快的结果.

我的问题是：用Perl脚本测试和比较两种方法的最佳方法是什么？您可以在下面找到我当前在本地查询BaseX的脚本.它需要两个参数.存储不同文件的目录.这些文件分别存储XPath.那些XPath是我选择用于基准测试的那些.第二个参数是要返回的结果的限制.设置为零时,不设置限制.

因为数据集的某些部分非常庞大,我们将它们分成不同的,大小相同的文件,称为treebankparts.它们存储在< tb>中. treebankparts.lst内的标签.

#!/usr/bin/perl

use warnings;

$| = 1;    # flush every print

# Directory where XPaths are stored
my $directory = shift(@ARGV);

# Set limit. If set to zero all results will be returned
my $limit = shift(@ARGV);

# Create session,connect to BaseX
my $session = Session->new([INFORMATION WITHHELD]);

# List all files in directory
@xpathfiles = <$directory/*.txt>;

# Read lines of treebank parts into variable
open( my $tfh,"treebankparts.lst" ) or die "cannot open file treebankparts.lst";
chomp( my @tlines = <$tfh> );
close $tfh;

# Loop through all XPaths in $directory
foreach my $xpathfile (@xpathfiles) {
    open( my $xfh,$xpathfile ) or die "cannot open file $xpathfile";
    chomp( my @xlines = <$xfh> );
    close $xfh;

    print STDOUT "File = $xpathfilen";

    # Loop through lines from XPath file (= XPath query)
    foreach my $xline (@xlines) {
        # Loop through the lines of treebank file
        foreach my $tline (@tlines) {
            my ($treebank) = $tline =~ /<tb>(.+)</tb>/;
            QuerySonar( $xline,$treebank );
        }
    }
}
$session->close();

sub QuerySonar {
    my ( $xpath,$db ) = @_;

    print STDOUT "Querying $db for $xpathn";
    print STDOUT "Limit = $limitn";
    my $x_limit;
    my $x_resultsofxp = 'declare variable $results := db:open("' . $db . '")/treebank/alpino_ds'
      . $xpath . ';';
    my $x_open       = '<results>';
    my $x_totalcount = '<total>{count($results)}</total>';
    my $x_loopinit   = '{for $node at $limitresults in $results';

    # Spaces are important!
    if ( $limit > 0 ) {
        $x_limit = ' where $limitresults <= ' . $limit . ' ';
    }
    # Comment needed to prevent `Incomplete FLWOR expression`
    else { $x_limit = '(: No limit set :)'; }

    my $x_sentenceinfo = 'let $sentid := ($node/ancestor::alpino_ds/@id)
        let $sentence := ($node/ancestor::alpino_ds/sentence)
        let $begin := ($node//@begin)
        let $idlist := ($node//@id)
        let $beginlist := (distinct-values($begin))';

    # Separate sentence info by tab
    my $x_loopexit = 'return <match>{data($sentid)}&#09;
        {string-join($idlist,"-")}&#09;
        {string-join($beginlist,"-")}&#09;
        {data($sentence)}</match>}';
    my $x_close = '</results>';

    # Concatenate all XQuery parts
    my $x_concatquery =
        $x_resultsofxp
      . $x_open
      . $x_totalcount
      . $x_loopinit
      . $x_limit
      . $x_sentenceinfo
      . $x_loopexit
      . $x_close;

    my $querysent = $session->query($x_concatquery);

    my $basexoutput = $querysent->execute();
    print $basexoutput. "nn";

    $querysent->close();
}

(请注意,这是一个精简版本,它可能无法正常工作.此代码段不使用结构B！)

会发生什么：遍历所有XPath文件,遍历XPath文件中的每一行,遍历所有treebankparts然后执行sub.然后子查询BaseX.这归结为向BaseX发送新的XQuery,并返回总命中和结果(可能受Perl脚本中的参数限制).所以我明白了,但现在的问题是：如何改进这个脚本,以便我可以从中获得一些基准测试结果.

首先,我开始在这个脚本中添加一个探查器.我猜这一点很明显.但是,我不确定应该如何开始将结构A与B进行比较.我会将两个查询(到不同的数据库)放在不同的脚本中,然后在两者上调用一个探查器,并多次运行这两个脚本并得到一个平均值并比较？或者我会在同一个脚本中同时运行两个数据库的每个查询吗？

考虑正在发生的缓存很重要.因此,我不完全确定这个巨大的数据库基准测试的构建是否合适.第一个脚本,然后是另一个.两者同时进行.两者之间的交替查询.等等.有这么多的可能性,但我想知道哪个会提供最好的结果.另外,我会重复这个过程几次.我会重复每个查询然后继续下一个,或者完成所有XPath文件,然后再重复整个过程吗？

(阅读基准标签的描述我相信这个 – 虽然精心制作 – 帖子适合SO.)