基于HBase的全文索引及檢索技術的研究.pdf

1、大數據時代的來臨，針對大數據的全文檢索技術成為了研究的熱點。HBase是目前流行的支持海量數據實時讀寫、支持非結構化存儲的Nosql數據庫。但是它只支持基于主鍵的查詢，并不支持全文檢索。如何基于HBase設計全文檢索方案，解決全量及增量數據索引的創(chuàng)建、存儲，并實現高效的數據檢索是本文研究的重點。
　　通過對現有的信息檢索技術和HBase的研究，提出了一個基于HBase的全文檢索的方案。本方案設計了在 HBase中創(chuàng)建全量及增量索引

2、的方法，并提出了基于HBase索引表進行檢索的技術方案。首先采用 MapReduce分布式模型創(chuàng)建倒排索引，然后將索引存放至HBase的索引表中，最后設計檢索方案來完成對HBase索引表的檢索，并且利用Coprocessor來完成增量數據的更新。
　　針對全文檢索的性能進一步研究了Hadoop調優(yōu)、索引存儲和檢索策略的優(yōu)化方案。分析 MapReduce任務運行時的性能瓶頸，對 Hadoop參數進行調優(yōu)，提高了任務執(zhí)行效率；采用壓縮