Lucene StandardAnalyzer类

这是最复杂的分析,并能处理的姓名,电子邮件地址等,它小写每个标记,并删除常用词和标点符号(如有)。

类声明

以下是org.apache.lucene.analysis.StandardAnalyzer类的声明:

public final class StandardAnalyzer
   extends StopwordAnalyzerBase

字段

  • static int DEFAULT_MAX_TOKEN_LENGTH - 默认情况下允许的最大长度令牌

  • static Set<?> STOP_WORDS_SET - 一个不可修改的组包含一些常用的英语单词,通常不用于搜索有用的。

类构造函数


S.N. 构造函数和说明
1 StandardAnalyzer(Version matchVersion)
建立使用默认停用词(STOP_WORDS_SET)分析仪
2 StandardAnalyzer(Version matchVersion, File stopwords)
不推荐使用。使用StandardAnalyzer(版本,读取器)来代替。
3 StandardAnalyzer(Version matchVersion, Reader stopwords)
建立来自给定的读取器停用词的分析。
4 StandardAnalyzer(Version matchVersion, Set<?> stopWords)
建立使用给定的停止字的分析。


类方法


S.N. 方法及说明
1 protected ReusableAnalyzerBase.TokenStreamComponents createComponents(String fieldName, Reader reader)
创建此analyzer 的新 ReusableAnalyzerBase.TokenStreamComponents 实例。
2 int getMaxTokenLength() 
3 void setMaxTokenLength(int length)
设置允许的最大长度的令牌。


方法继承

这个类从以下类继承的方法:

  • org.apache.lucene.analysis.StopwordAnalyzerBase

  • org.apache.lucene.analysis.ReusableAnalyzerBase

  • org.apache.lucene.analysis.Analyzer

  • java.lang.Object

使用

private void displayTokenUsingStandardAnalyzer() throws IOException{
   String text
      = "Lucene is simple yet powerful java based search library.";
   Analyzer analyzer = new StandardAnalyzer(Version.LUCENE_36);
   TokenStream tokenStream
      = analyzer.tokenStream(LuceneConstants.CONTENTS,
        new StringReader(text));
   TermAttribute term = tokenStream.addAttribute(TermAttribute.class);
   while(tokenStream.incrementToken()) {
      System.out.print("[" + term.term() + "] ");
   }
}

应用程序示例

让我们创建一个测试Lucene的应用程序使用BooleanQuery测试搜索。


步骤 描述
1 创建名称为LuceneFirstApplication的项目在packagecom.xxkt.lucene下的Lucene用于解释 Lucene应用程序理解搜索过程。
2 创建LuceneConstants.java作为Lucene的解释- 第一应用程序一章。保持其它的文件不变。
3 创建LuceneTester.java如下所述。
4 清理和构建应用程序,以确保业务逻辑按要求工作。


LuceneConstants.java

这个类是用来提供可应用于示例应用程序中使用的各种常量。

package com.xxkt.lucene;

public class LuceneConstants {
   public static final String CONTENTS="contents";
   public static final String FILE_NAME="filename";
   public static final String FILE_PATH="filepath";
   public static final int MAX_SEARCH = 10;
}

LuceneTester.java

这个类是用来测试Lucene库的搜索能力。

package com.xxkt.lucene;

import java.io.IOException;
import java.io.StringReader;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.StandardAnalyzer;
import org.apache.lucene.analysis.tokenattributes.TermAttribute;
import org.apache.lucene.util.Version;

public class LuceneTester {

   public static void main(String[] args) {
      LuceneTester tester;

      tester = new LuceneTester();

      try {
         tester.displayTokenUsingStandardAnalyzer();
      } catch (IOException e) {
         e.printStackTrace();
      }
   }

   private void displayTokenUsingStandardAnalyzer() throws IOException{
      String text
         = "Lucene is simple yet powerful java based search library.";
      Analyzer analyzer = new StandardAnalyzer(Version.LUCENE_36);
      TokenStream tokenStream = analyzer.tokenStream(
         LuceneConstants.CONTENTS, new StringReader(text));
      TermAttribute term = tokenStream.addAttribute(TermAttribute.class);
      while(tokenStream.incrementToken()) {
         System.out.print("[" + term.term() + "] ");
      }
   }
}

运行程序:

一旦创建源,准备好这一步是编译和运行程序。要做到这一点,请在LuceneTester.Java文件选项卡中,使用Eclipse IDE的 Run 选项,或使用Ctrl+ F11来编译和运行应用程序LuceneTester。如果您的应用程序一切正常,这将在Eclipse IDE的控制台打印以下消息:

[lucene] [simple] [yet] [powerful] [java] [based] [search] [library]