imdict-chinese-analyzer
imdict-chinese-analyzer是imdict智能词典的智能中文分词模块，算法基于隐马尔科夫模型(Hidden Markov Model，HMM)，是中国科学院计算技术研究所的ictclas中文分词程序的重新实现（基于Java），可以直接为lucene搜索引擎提供简体中文分词支持。
imdict-chinese-analyzer的特性
1. 完全Unicode支持
分词核心模块完全采用Unicode编码，无须各种汉字编码的转换，极大的提升了分词的效率。
2. 提升搜索效率
根据imdict智能词典的实践，在有智能中文分词的情况下，索引文件比没有中文分词的索引文件小1/3
3. 提高搜索准确度
imdict-chinese-analyzer采用了HHMM分词模型，极大的提高了分词的准确率，在此基础上的搜索，比对汉字逐个切分要准确得多！
4. 更高效的数据结构
为了提高效率，针对常用中文检索的应用场景，imdict-chinese-analyzer对一些不必要的功能进行了删减，例如词性标注、人名识别、时间识别等等。另外还修改了算法的数据结构，在内存占用量缩减到1/3的情况下把效率提升了数倍。
网友留言/评论
我要留言/评论
相关开源项目
Oxyus:是一个纯java写的web搜索引擎。
Aperture:Aperture这个Java框架能够从各种各样的资料系统(如：文件系统、Web站点、IMAP和Outlook邮箱)或存在这些系统中的文件(如:文档、图片)爬取和搜索其中的全文本内容与元数据。它当前支持的文件格式如下：
Plain text HTML, XHTML XML PDF (Portable Document Format) RTF (Rich Text Format) Microsoft Office: Word, Excel, Powerpoint, Visio, Publisher Microsoft Works OpenOffice 1.x: Writer, Calc, Impress, Draw StarOffice 6.x - 7.x+: Writer, Calc, Impress, Draw OpenDocument (OpenOffice 2.x, StarOffice 8.x) Corel WordPerfect, Quattro, Presentations Emails (.eml files)
Plain text HTML, XHTML XML PDF (Portable Document Format) RTF (Rich Text Format) Microsoft Office: Word, Excel, Powerpoint, Visio, Publisher Microsoft Works OpenOffice 1.x: Writer, Calc, Impress, Draw StarOffice 6.x - 7.x+: Writer, Calc, Impress, Draw OpenDocument (OpenOffice 2.x, StarOffice 8.x) Corel WordPerfect, Quattro, Presentations Emails (.eml files)
BDDBot:BDDBot是一个简单的易于理解和使用的搜索引擎。它目前在一个文本文件(urls.txt)列出的URL中爬行，将结果保存在一个数据库中。它也支持一个简单的Web服务器，这个服务器接受来自浏览器的查询并返回响应结果。它可以方便地集成到你的Web站点中。
Solandra: Solandra是一个实时分布式搜索引擎，基于Apache Solr和Apache Cassandra构建。其核心，Solandra是Solr与Cassandra的一个紧密集成。这意味着Solr与Cassandra将在单个JVM中同时运行，文档（Documents）采用Cassandra的数据模型进行存储和分发。 1、提供开箱即用的Solr功能包括：搜索、faceting、高亮等。 2、通过Cassandra管理复制，分片，缓存和压缩。 3、Multi-master (可以读写到任何节点)。 4、能够很方便添加新的SolrCores并且不需要重新启动整个集群。
YaCy:YaCy基于p2p的分布式Web搜索引擎.同时也是一个Http缓存代理服务器.这个项目是构建基于p2p Web索引网络的一个新方法.它可以搜索你自己的或全局的索引,也可以Crawl自己的网页或启动分布式Crawling等.
起点R3企业级搜索引擎: 起点R3企业级搜索引擎是起点软件提供的企业搜索解决方案，支持企业环境下的数据访问控制（ACL），能够通过定义用户数据访问权限来控制检索数据的安全。
R3是一个强大的,高性能的JAVA企业级搜索引擎产品，R3构建于Solr和Lucene之上，集成了POI、PDFBox和Apache Tika等第三方开源项目，在R3企业级搜索平台上，你可以搜索出你企业所有相关的内容包括网站、邮箱、ECM, CRM。R3使用一中新的集群模式来实现分布式和集群功能，通过扩展计算能力，R3能够支持上千G文档，完成复杂的并行运算；R3能够以集群模式运行来提高系统的可用性。它支持超过15种语言的多语言搜索，能够集成文档自动分类和聚类功能，能够为文档自动、智能的添加标签和关键字。可以通过采集器为索引库定制数据来源，采集器通过插件的方式扩展。默认提供数据库、邮件、本地文件系统、网络文件系统、FTP、Domino、CSV、Access的采集器。R3基于Solr之上，所以在Solr中的层面搜索、同义词等都被完整的保留了下来。R3通过作业调度系统实现了任务的自动化采集、能够增量索引，支持数据更新，能够通过可视化的方式对索引字段进行管理。R3具备用户和用户组管理，R3可以对数据类型定制，支持分词器、过滤器、缓存管理。R3能够很容易的集成Hadoop和HBase。此外它还开发多种编程语言的API包括：Ruby、PHP、Java、Python、JSon、C#、ColdFusion。
R3是一个强大的,高性能的JAVA企业级搜索引擎产品，R3构建于Solr和Lucene之上，集成了POI、PDFBox和Apache Tika等第三方开源项目，在R3企业级搜索平台上，你可以搜索出你企业所有相关的内容包括网站、邮箱、ECM, CRM。R3使用一中新的集群模式来实现分布式和集群功能，通过扩展计算能力，R3能够支持上千G文档，完成复杂的并行运算；R3能够以集群模式运行来提高系统的可用性。它支持超过15种语言的多语言搜索，能够集成文档自动分类和聚类功能，能够为文档自动、智能的添加标签和关键字。可以通过采集器为索引库定制数据来源，采集器通过插件的方式扩展。默认提供数据库、邮件、本地文件系统、网络文件系统、FTP、Domino、CSV、Access的采集器。R3基于Solr之上，所以在Solr中的层面搜索、同义词等都被完整的保留了下来。R3通过作业调度系统实现了任务的自动化采集、能够增量索引，支持数据更新，能够通过可视化的方式对索引字段进行管理。R3具备用户和用户组管理，R3可以对数据类型定制，支持分词器、过滤器、缓存管理。R3能够很容易的集成Hadoop和HBase。此外它还开发多种编程语言的API包括：Ruby、PHP、Java、Python、JSon、C#、ColdFusion。
IKAnalyzer:IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始，IKAnalyzer已经推出了3个大版本。最初，它是以开源项目Luence为应用主体的，结合词典分词和文法分析算法的中文分词组件。新版本的IKAnalyzer3.0则发展为面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。
mmseg4j:mmseg4j用Chih-Hao Tsai 的MMSeg算法实现的中文分词器，并实现lucene的analyzer和solr的TokenizerFactory以方便在Lucene和Solr中使用。
Nutch:Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。
Red-Piranha:Red-Piranha是一个开源搜索系统,它能够真正"学习"你所要查找的是什么.Red-Piranha可作为你桌面系统(Windows,Linux与Mac)的个人搜索引擎,或企业内部网搜索引擎,或为你的网站提供搜索功能,或作为一个P2P搜索引擎,或与wiki结合作为一个知识/文档管理解决方案,或搜索你要的RSS聚合信息,或搜索你公司的系统(包括SAP,Oracle或其它任何Database/Data source),或用于管理PDF,Word和其它文档,或作为一个提供搜索信息的WebService或为你的应用程序(Web,Swing,SWT,Flash,Mozilla-XUL,PHP, Perl或c#/.Net)提供搜索后台等等.