博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Solr4.7从数据库导数据
阅读量:5014 次
发布时间:2019-06-12

本文共 3071 字,大约阅读时间需要 10 分钟。

实际工程应用中,从数据库导出数据创建索引再常见不过了,现在实验一下从数据库导入数据创建索引。

 

一、版本说明

Solr版本:4.7.0

数据库:sqlserver2005

 

二、配置步骤

1、  准备的jar包

1)  solr-dataimporthandler-extras-4.7.0.jar;在solr发布包solr-4.7.0\dist里面有

2)  solr-dataimporthandler-4.7.0.jar;在solr发布包solr-4.7.0\dist里面有

3)  jtds-1.2.2.jar;网上自己找

2、  修改solr的core配置

要想哪个core从数据库导入数据建索引就修改哪个core的配置。

 

2.1修改solrconfig.xml

添加如下这段配置:

[html] 
  1. <requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">   
  2.       <lst name="defaults">   
  3.            <str name="config">data-config.xml</str>   
  4.       </lst>   
  5. </requestHandler>  

2.2添加data-config.xml

在solrconfig.xml同一个文件夹内建立data-config.xml,其配置如下:

[html] 
  1. <?xml version="1.0" encoding="UTF-8" ?>  
  2.   
  3. <dataConfig>   
  4.   <dataSource type="JdbcDataSource"   
  5.               driver="net.sourceforge.jtds.jdbc.Driver"   
  6.               url="jdbc:jtds:sqlserver://localHost/MyHousekeeper"   
  7.               user="sa"   
  8.               password="123456"/>   
  9.   <document>   
  10.         <entity name="pay" query="SELECT payId,payName,payMoney,payDescription,payDatetime FROM t_pay">  
  11.         <field column="payId"          name="id" />  
  12.         <field column="payName"        name="name" />  
  13.         <field column="payMoney"       name="money" />  
  14.         <field column="payDescription" name="description" />  
  15.         <field column="payDatetime"    name="datetime" />  
  16.         </entity>   
  17.   </document>   
  18.   
  19. </dataConfig>  

2.3修改schema.xml

修改这个的目的是让solr知道有哪些field,是否需要索引,是否需要在索引库中存储原文,以及field类型。在上面的sql中有很多种数据类型。

payId:整型

payName:字符型

payMoney:浮点数

payDescription:大文本

payDatetime:日期时间格式

首先在schema.xml中申明field类型,配置在<types> </types>内。下面配置的sring类型是不会做分词处理的,视为完整的一个词,text_ik是一个中文分词器ik-analyzer,专门处理中文分词。

如下:

[html] 
  1. <types>  
  2.    <fieldtype name="string"  class="solr.StrField"       sortMissingLast="true" omitNorms="true"/>  
  3.    <fieldType name="long"    class="solr.TrieLongField"  precisionStep="0" positionIncrementGap="0"/>  
  4.    <fieldType name="float"   class="solr.TrieFloatField" precisionStep="0" positionIncrementGap="0"/>  
  5.    <fieldType name="date"    class="solr.TrieDateField"  precisionStep="0" positionIncrementGap="0"/>  
  6.    <fieldType name="text_ik" class="solr.TextField">   
  7.      <analyzer class="org.wltea.analyzer.lucene.IKAnalyzer"/>   
  8.    </fieldType>   
  9.   </types>  

然后申明field,field的名字应该和sql的查询结果集列名一致,如果不一致,需要在data-config.xml中entity标签中用field指明列和field的对应关系。

Field配置如下:

[html] 
  1. <fields>     
  2.   <field name="_version_"       type="long"       indexed="true"  stored="true"/>  
  3.    
  4.   <field name="id"              type="long"       indexed="true"  stored="true"  multiValued="false" required="true"/>  
  5.   <field name="name"            type="string"     indexed="true"  stored="true"  multiValued="false" />   
  6.   <field name="money"           type="float"      indexed="true"  stored="true"  multiValued="false" />   
  7.   <field name="description"     type="text_ik"    indexed="true"  stored="true"  multiValued="false" />   
  8.   <field name="datetime"        type="date"       indexed="true"  stored="true"  multiValued="false" />   
  9.  </fields>  

其中如下field是必须的,用于标记版本信息,由solr内部自己维护。

[html] 
  1. <field name="_version_"       type="long"       indexed="true"  stored="true"/>  

三、导入测试

进入solr管理界面,command选择full-import全部导入;entity需要导入的实体,也就是配置的哪个sql,点击execute执行导入,如果数据很多的话需要导一段时间,不时的点一下refresh status刷新一下,看看导入是否完成,导入完成后会告诉你导入了多少数据,用了多少时间。如下图

做个查询测试,query,

q,description:米;查询description这个field名的米相关数据

wt,json;查询结果返回格式,默认json

execute query,执行查询,看到返回的json格式的查询结果了。

参考文献:

1)  

2)  

转载于:https://www.cnblogs.com/duyinqiang/p/5696730.html

你可能感兴趣的文章
2015 8月24号 工作计划与实行
查看>>
MVC AJAX
查看>>
Google Map API V3开发(6) 代码
查看>>
Kafka初入门简单配置与使用
查看>>
第三章Git使用入门
查看>>
Amd,Cmd, Commonjs, ES6 import/export的异同点
查看>>
cocos2dx-Lua与Java通讯机制
查看>>
上下文管理器之__enter__和__exit__
查看>>
android3.2以上切屏禁止onCreate()
查看>>
winform文件迁移工具
查看>>
delphi DCC32命令行方式编译delphi工程源码
查看>>
paip.输入法编程----删除双字词简拼
查看>>
or1200下raw-os学习(任务篇)
查看>>
ZOJ - 3939 The Lucky Week(日期循环节+思维)
查看>>
小花梨的取石子游戏(思维)
查看>>
Ubuntu 18.04安装arm-linux-gcc交叉编译器
查看>>
.net core i上 K8S(一)集群搭建
查看>>
django drf 深入ModelSerializer
查看>>
Android---Menu菜单
查看>>
【资源导航】我所用到过的工具及下载地址
查看>>