可搜索存档数千个文档的最佳做法(pdf和/或xml)

总之：我将推荐 ElasticSearch，但让我们把问题解决，并谈谈如何实现它：

这里有几个部分：

>从文档中提取文本，使其可编入索引
>使此文本作为全文搜索
>返回文档的突出显示的代码段
>知道这些代码片段在doc中的位置
用于寻呼
>返回完整的文档

ElasticSearch提供的内容：

> ElasticSearch(如Solr)使用Tika从各种各样的doc formats中提取文本和元数据
>很显然，它提供了强大的全文搜索。可以配置
以适当的语言分析每个文档，干预，提高某些字段(例如标题比内容更重要)，ngram等的相关性，即标准Lucene东西
>它可以为每个搜索结果返回highlighted snippets
>它不知道这些代码段出现在您的文档中
>它可以将原始文档存储为attachment，或者它可以存储和返回提取的文本。但它会返回整个文档，而不是一个页面。

您可以将整个文档作为附件发送到ElasticSearch，您将获得全文搜索。但是坚持要点是上面的(4)和(5)：知道你在文档中的哪个位置，并且返回文档的部分。

存储单个页面可能足以满足您的“我的目的”(虽然您可以等同于段落级别)，但是您希望它们以在搜索结果中返回文档的方式进行分组，即使搜索关键字出现在不同的页面。

首先索引部分：将您的文档存储在ElasticSearch中：

>使用Tika(或任何你喜欢的)从每个文档中提取文本。将其保留为纯文本，或保留为HTML以保留一些格式。 (忘了XML，不需要它)。
>还提取每个文档的元数据：标题，作者，章节，语言，日期等
>将原始文档存储在文件系统中，并记录路径，以便以后可以提供
>在ElasticSearch中，索引一个“doc”文档，其中包含所有元数据，以及可能的章节列表
>将每个页面指定为“页面”文档，其中包含：

> A parent field，其中包含“doc”文档的ID(请参阅下面的“父子关系”)
>文本
>页码
>可能是章节标题或数字
>您想要搜索的任何元数据

现在搜索。如何做到这一点取决于你想如何展示你的结果 – 按页或按doc分组。

按页结果很容易。此查询返回匹配页面的列表(每个页面都完整返回)以及页面中的突出显示的代码段列表：

curl -XGET 'http://127.0.0.1:9200/my_index/page/_search?pretty=1'  -d '
{
   "query" : {
      "text" : {
         "text" : "interesting keywords"
      }
   },"highlight" : {
      "fields" : {
         "text" : {}
      }
   }
}
'

显示按“doc”分组的结果和文本中的突出显示有点棘手。它不能用一个查询，但一个小的客户端分组会得到你。一种方法可能是：

步骤1：执行一个top-children-query，找到其子代(“页面”)与查询最匹配的父代(“doc”)：

curl -XGET 'http://127.0.0.1:9200/my_index/doc/_search?pretty=1'  -d '
{
   "query" : {
      "top_children" : {
         "query" : {
            "text" : {
               "text" : "interesting keywords"
            }
         },"score" : "sum","type" : "page","factor" : "5"
      }
   }
}

步骤2：从上述查询中收集“doc”ID，并发出一个新查询，以从匹配的“page”文档中获取代码段：

curl -XGET 'http://127.0.0.1:9200/my_index/page/_search?pretty=1'  -d '
{
   "query" : {
      "filtered" : {
         "query" : {
            "text" : {
               "text" : "interesting keywords"
            }
         },"filter" : {
            "terms" : {
               "doc_id" : [ 1,2,3],}
         }
      }
   },"highlight" : {
      "fields" : {
         "text" : {}
      }
   }
}
'

第3步：在您的应用程序中，通过doc将上述查询的结果分组并显示它们。

使用第二个查询的搜索结果，您已经拥有了可以显示的页面的全文。要移动到下一页，您只需搜索它：

curl -XGET 'http://127.0.0.1:9200/my_index/page/_search?pretty=1'  -d '
{
   "query" : {
      "constant_score" : {
         "filter" : {
            "and" : [
               {
                  "term" : {
                     "doc_id" : 1
                  }
               },{
                  "term" : {
                     "page" : 2
                  }
               }
            ]
         }
      }
   },"size" : 1
}
'

或者，给“page”docs一个ID由$ doc_id _ $ page_num(例如123_2)，那么你可以只是检索该页：

curl -XGET 'http://127.0.0.1:9200/my_index/page/123_2

父子关系：

通常，在ES(和大多数NoSQL解决方案)中，每个doc /对象是独立的 – 没有真正的关系。通过在“doc”和“page”之间建立父子关系，ElasticSearch确保子文档(即“页面”)存储在与父文档(“doc”)相同的shard上。

这使您能够运行top-children-query，它将根据“页面”的内容找到最匹配的“doc”。