转自:http://blog.csdn.net/huaishu/article/details/8543236

本文介绍lucene区分大小的原因,和解决方案.关于lucene大小写敏感问题我总结一下:

1.对于分词的Field且使用了StandardAnalyzer等分析器进行索引,同时利用StandardAnalyzer进行搜索时,lucene不区分大小写.

2.对于不分词的Field是区分大小写的.

一.分词和不分词

为了能使Field字段参与搜索,那么该Field就必须被索引.Field的Index类型必须是:(ANALYZED或TOKENIZED)和(NOT_ANALYZED或UN_TOKENIZED).区别在于:前者表示分词,后者表示不分词.例如:"中国人",使用StandardAnalyzer分析器分词结果是:"中","国","人".而不分词是把"中国人"作为整体建索引.

二.StandardAnalyzer底层原理

  1. public override TokenStream TokenStream(System.String fieldName, System.IO.TextReader reader)
  2. {
  3. TokenStream result = new StandardTokenizer(reader);
  4. result = new StandardFilter(result);
  5. result = new LowerCaseFilter(result);
  6. result = new StopFilter(result, stopSet);
  7. return result;
  8. }

这是StandardAnalyzer类的一段代码.LowerCaseFilter可知StandardAnalyzer在分词时会有转小写的操作.

建索引且分词时会被转小写.

  1. IndexSearcher searcher = new IndexSearcher("c:\\java\\index");
  2. QueryParser parser = new QueryParser("title", new StandardAnalyzer());
  3. Query query = parser.Parse(string.Format("title:{0}", key));
  4. hits = searcher.Search(query);
  5. printResult(hits, query.ToString());

这是段利用QueryParser和StandardAnalyzer的搜索,同样有转小写的操作.

由于建索引是底层小写,搜索也是被小写化了.故使用这种方式从外观接口的角度来说是不区分大小写的.

三.不分词和TermQuery查询

由于Field没有分词,所以建索引时数据会保持原始大小写.

  1. Hits hits = null;
  2. IndexSearcher searcher = new IndexSearcher("c:\\java\\index");
  3. TermQuery query = new TermQuery(new Term("name", key));
  4. hits = searcher.Search(query);
  5. printResult(hits, query.ToString());

这是一段使用TermQuery查询的方式.同样查询关键字是大写就大写,是小写就小写.

在这种使用情况下就会区分大小写.比如索引"abc",查询"Abc"就查不出来.

我的解决方案是:

建索引时小写化保存能,搜索时关键字小写化查询.

四.分词,不分词,StandardAnalyzer,TermQuery组合.

1.不一定建索引时使用StandardAnalyzer,搜索时也时用StandardAnalyzer或不分词和TermQuery查询.其实有很多组合.

2.不仅StandardAnalyzer底层小写化,还有别的分析器也是这样的.或者可以自定义分析器.

五.lucene区分大小写示例:

  1. using System;
  2. using System.Collections.Generic;
  3. using System.Text;
  4. using Lucene.Net.Documents;
  5. using Lucene.Net.Index;
  6. using Lucene.Net.Search;
  7. using Lucene.Net.Analysis;
  8. using Lucene.Net.Analysis.Standard;
  9. using Lucene.Net.QueryParsers;
  10. namespace IndexTest
  11. {
  12. class Program
  13. {
  14. static void Main(string[] args)
  15. {
  16. createIndex();
  17. searchNameByTermQuery("abc");
  18. searchTitleByTermQuery("abc");
  19. searchNameByTermQuery("ABC");
  20. searchTitleByTermQuery("ABC");
  21. searchNameByQueryParser("ABC");
  22. searchTitleByQueryParser("ABC");
  23. //修改后的解决方案
  24. createIndex2();
  25. searchNameByTermQuery2("ABC");
  26. Console.ReadLine();
  27. }
  28. public static void createIndex()
  29. {
  30. Document doc1 = new Document();
  31. Field field = null;
  32. field = new Field("name", "abc", Field.Store.YES, Field.Index.UN_TOKENIZED);
  33. doc1.Add(field);
  34. field = new Field("title", "abc", Field.Store.YES, Field.Index.TOKENIZED);
  35. doc1.Add(field);
  36. field = new Field("id", "1", Field.Store.YES, Field.Index.NO);
  37. doc1.Add(field);
  38. Document doc2 = new Document();
  39. field = new Field("name", "Abc", Field.Store.YES, Field.Index.UN_TOKENIZED);
  40. doc2.Add(field);
  41. field = new Field("title", "Abc", Field.Store.YES, Field.Index.TOKENIZED);
  42. doc2.Add(field);
  43. field = new Field("id", "2", Field.Store.YES, Field.Index.NO);
  44. doc2.Add(field);
  45. IndexWriter writer = new IndexWriter("c:\\java\\index", new StandardAnalyzer(), true);
  46. writer.AddDocument(doc1);
  47. writer.AddDocument(doc2);
  48. writer.Close();
  49. }
  50. public static void searchNameByTermQuery(string key)
  51. {
  52. Hits hits = null;
  53. IndexSearcher searcher = new IndexSearcher("c:\\java\\index");
  54. TermQuery query = new TermQuery(new Term("name", key));
  55. hits = searcher.Search(query);
  56. printResult(hits, query.ToString());
  57. }
  58. public static void searchTitleByTermQuery(string key)
  59. {
  60. Hits hits = null;
  61. IndexSearcher searcher = new IndexSearcher("c:\\java\\index");
  62. TermQuery query = new TermQuery(new Term("title", key));
  63. hits = searcher.Search(query);
  64. printResult(hits, query.ToString());
  65. }
  66. public static void searchNameByQueryParser(string key)
  67. {
  68. Hits hits = null;
  69. IndexSearcher searcher = new IndexSearcher("c:\\java\\index");
  70. QueryParser parser = new QueryParser("name", new StandardAnalyzer());
  71. Query query = parser.Parse(string.Format("name:{0}",key));
  72. hits = searcher.Search(query);
  73. printResult(hits, query.ToString());
  74. }
  75. public static void searchTitleByQueryParser(string key)
  76. {
  77. Hits hits = null;
  78. IndexSearcher searcher = new IndexSearcher("c:\\java\\index");
  79. QueryParser parser = new QueryParser("title", new StandardAnalyzer());
  80. Query query = parser.Parse(string.Format("title:{0}", key));
  81. hits = searcher.Search(query);
  82. printResult(hits, query.ToString());
  83. }
  84. public static void createIndex2()
  85. {
  86. Document doc1 = new Document();
  87. Field field = null;
  88. field = new Field("name", "abc".ToLower(), Field.Store.YES, Field.Index.UN_TOKENIZED);
  89. doc1.Add(field);
  90. field = new Field("title", "abc", Field.Store.YES, Field.Index.TOKENIZED);
  91. doc1.Add(field);
  92. field = new Field("id", "1", Field.Store.YES, Field.Index.NO);
  93. doc1.Add(field);
  94. Document doc2 = new Document();
  95. field = new Field("name", "Abc".ToLower(), Field.Store.YES, Field.Index.UN_TOKENIZED);
  96. doc2.Add(field);
  97. field = new Field("title", "Abc", Field.Store.YES, Field.Index.TOKENIZED);
  98. doc2.Add(field);
  99. field = new Field("id", "2", Field.Store.YES, Field.Index.NO);
  100. doc2.Add(field);
  101. IndexWriter writer = new IndexWriter("c:\\java\\index", new StandardAnalyzer(), true);
  102. writer.AddDocument(doc1);
  103. writer.AddDocument(doc2);
  104. writer.Close();
  105. }
  106. public static void searchNameByTermQuery2(string key)
  107. {
  108. Hits hits = null;
  109. IndexSearcher searcher = new IndexSearcher("c:\\java\\index");
  110. TermQuery query = new TermQuery(new Term("name", key.ToLower()));
  111. hits = searcher.Search(query);
  112. printResult(hits, query.ToString());
  113. }
  114. public static void printResult(Hits hits, String key)
  115. {
  116. Console.WriteLine("查询 " + key);
  117. if (hits != null)
  118. {
  119. if (hits.Length() == 0)
  120. {
  121. Console.WriteLine("没有找到任何结果");
  122. }
  123. else
  124. {
  125. Console.WriteLine("找到" + hits.Length() + "个结果");
  126. for (int i = 0; i < hits.Length(); i++)
  127. {
  128. Document d = hits.Doc(i);
  129. String id = d.Get("id");
  130. Console.WriteLine(id.ToString() + "   ");
  131. }
  132. Console.WriteLine();
  133. }
  134. }
  135. }
  136. }
  137. }
 

lucene 区分大小写 问题以及解决方案的更多相关文章

  1. Solr和ES对比

    Solr与ES(ElasticSearch)对比 搜索引擎选择: Elasticsearch与Solr 搜索引擎选型调研文档 Elasticsearch简介* Elasticsearch是一个实时的分 ...

  2. 搜索引擎选择: Elasticsearch与Solr

    我用过这两种搜索引擎,但也仅仅是用过而已,没有非常深入研究,以下是我的看法 lucene是完全用java实现,而sphinx是支持java api.显然这两者是有差别的,用java实现的意义在于,你可 ...

  3. 在 Java 应用程序中使用 Elasticsearch

    如果您使用过 Apache Lucene 或 Apache Solr,就会知道它们的使用体验非常有趣.尤其在您需要扩展基于 Lucene 或 Solr 的解决方案时,您就会了解 Elasticsear ...

  4. 【转】搜索引擎选择: Elasticsearch与Solr

    原文地址:http://i.zhcy.tk/blog/elasticsearchyu-solr/ Elasticsearch简介 Elasticsearch是一个实时的分布式搜索和分析引擎.它可以帮助 ...

  5. Elasticsearch与Solr

    公司之前有个用Lucene实现的伪分布式项目,实时性很差,后期数据量逐渐增大的时候,数据同步一次需要十几小时.当时项目重构考虑到的是Solr和ES,我参与的是Solr技术的预研.因为项目实时性要求很高 ...

  6. 全文检索选择-------- Elasticsearch与Solr

    Elasticsearch简介* Elasticsearch是一个实时的分布式搜索和分析引擎.它可以帮助你用前所未有的速度去处理大规模数据. 它可以用于全文搜索,结构化搜索以及分析,当然你也可以将这三 ...

  7. MySql查询不区分大小写解决方案(两种)

    当我们输入不管大小写都能查询到数据,例如:输入 aaa 或者aaA ,AAA都能查询同样的结果,说明查询条件对大小写不敏感. 解决方案一: 于是怀疑Mysql的问题.做个实验:直接使用客户端用sql查 ...

  8. 全文检索解决方案(lucene工具类以及sphinx相关资料)

    介绍两种全文检索的技术. 1.  lucene+ 中文分词(IK) 关于lucene的原理,在这里可以得到很好的学习. http://www.blogjava.net/zhyiwww/archive/ ...

  9. 无法识别的属性“targetFramework”。请注意属性名称区分大小写。错误分析以及解决方案

    我的配置文件中是这样写的,<compilation debug="true" targetFramework="4.0"> 发布在iis上出现了 “ ...

随机推荐

  1. CSS生成内容

    在Web中插入内容,在CSS2.1时代依靠的是JavaScript来实现.但进入CSS3进代之后我们可以通过CSS3的伪类“:before”,“:after”和CSS3的伪元素“::before”.“ ...

  2. CodeSoft随笔 批量连续打印,变量打印,codesoft条码

    调用codeSoft的模板,实现批量连续打印. Code: 制作标签1.lab. 添加两个变量var0,var1. using LabelManager2; string strFile = Syst ...

  3. 什么是RFC

    通俗的话来说,RFC是关于Internet的几乎所有重要的文字资料,相当于一个Internet的标准. 下面是查询网址:http://www.rfcreader.com/ 一下为百科定义: http: ...

  4. MySQL Python教程(4)

    Class cursor.MySQLCursorBuffered 该类从Class cursor.MySQLCursorBuffered继承,如果需要,可以在执行完SQL语句后自动缓冲结果集合.imp ...

  5. Go语言TCP/UDP Socket编程

    1. TCP编程 TCPClient // TCPClient project main.go package main import ( "fmt" "net" ...

  6. Introduction to Computer Networks(网络架构与七层参考模式)

    Network Connectivity 1. Important terminologies 1) Link 设备连接的连线.Link本身既可以是有线的,也可以是无线的. 2) Node 设备.电脑 ...

  7. 学习ThinkPHP-1

    ThinkPHP 自建路由 关于文件关联 当在Applicatin\Home\Controller文件夹下建立一个控制器时如LoginController.class.php 在此文件夹下还有一个默认 ...

  8. HTML 5 History API的”前生今世”

    History是有趣的,不是吗?在之前的HTML版本中,我们对浏览历史记录的操作非常有限.我们可以来回使用可以使用的方法,但这就是一切我们能做的了. 但是,利用HTML 5的History API,我 ...

  9. Python Opearte SQLAlchemy Do Something

    近段时间在看SQLAlchemy,总之万事开头难,但是么办法. Database Urls The create_engine() function produces an Engine object ...

  10. linux 系统维护命令

    cat /home/username/.bash_history :查看用户的历史操作记录 (centos , mac 支持) last -x : 使用root登陆使用last -x可查看用户登陆历史 ...