前篇说过,ES可以自动为文档设定索引。但是问题也来了——如果默认设置的索引不是我们想要的,该怎么办呢?

要知道ES这种搜索引擎都是以Index为实际的分区,Index里面包含了不同的类型,不同的类型是逻辑上的分区;每种类型可能包含有相同的字段,如果字段的类型相同还好,如果不同....那就会导致字段的冲突了。

本篇就讲述如何使用REST API以及Logstash设置默认的索引。

更多内容参考:Elasticsearch知识汇总

使用Rest API设置默认的索引

首先先看一下不设置默认索引时,我们想要索引一个IP地址的字段,会发生什么?输入下面的命令:

$ curl -XPUT localhost:/test/test/ -d '{"ip":"192.168.0.1"}'

查看映射可以发现,我们想要存储成IP类型,但是默认给存储成了字符串类型:

$ curl -XGET localhost:/test/_mapping?pretty           {
"test" : {
"mappings" : {
"test" : {
"properties" : {
"ip" : {
"type" : "string"
}
}
}
}
}
}

这并不是我们想要的。

由于映射一旦设定好了,就不能修改了。因此再次实验的时候,需要删除索引test

$ curl -XDELETE localhost:/test                        
{"acknowledged":true}

然后设置test的默认映射:

$ curl -XPUT localhost:/test?pretty -d '{"mappings":{"_default_":{"properties":{"ip":{"type":"ip"}}}}}'

上面的命令中,设置test索引中,默认字段ip的属性为ip。这样我们查询test的映射时,发现ip字段已经被设置为ip:

$ curl -XGET localhost:/test/_mapping?pretty           {
"test" : {
"mappings" : {
"_default_" : {
"properties" : {
"ip" : {
"type" : "ip"
}
}
}
}
}
}

然后插入一段数据,为了观察到插入数据后的映射的变化,可以多插入一个字段:

$ curl -XPUT localhost:/test/test/ -d '{"name":"xingoo","ip":"192.168.0.1"}'

然后查询映射,可以读取到默认映射信息以及当前的映射信息:

$ curl -XGET localhost:/test/_mapping?pretty           {
"test" : {
"mappings" : {
"test" : {
"properties" : {
"ip" : {
"type" : "ip"
},
"name" : {
"type" : "string"
}
}
},
"_default_" : {
"properties" : {
"ip" : {
"type" : "ip"
}
}
}
}
}
}

恭喜~IP字段的类型已经变成了ip,类似的,我们可以设置date,geo,object等类型。

在Logstash中配置默认的索引

Logstash中默认索引的设置是基于模板的,原理上跟上面差不多。

首先我们需要指定一个默认的映射文件,文件的内容大致如下:

{
"template" : "logstash-*",
"mappings" : {
"_default_" : {
"properties" : {
"ip" :{
"type":"ip"
}
}
}
}
}

其中template定义了匹配的索引模式,如果针对于特定的某个索引,则直接写成索引的名字即可。下面定义了映射的相关信息,与API的内容相同。

有了上面的配置文件,就可以在Logstash中配置output插件了:

output {
elasticsearch {
host => "localhost" #ES的服务器地址
protocol => "http" #使用的协议,默认可能会使用Node,具体还要看机器的环境
index => "logstash-%{+YYYY.MM.dd}" #匹配的索引模式
document_type => "test" #索引的类型,旧的配置会使用index_type,但是这个字段在新版本中已经被舍弃了,推荐使用document_type
   manage_template => true #注意默认为true,一定不能设置为false
template_overwrite => true #如果设置为true,模板名字一样的时候,新的模板会覆盖旧的模板
template_name => "myLogstash" #注意这个名字是用来查找映射配置的,尽量设置成全局唯一的
   template => "D:/test/logstash.conf" #映射配置文件的位置
}
}

其中后四个是使用默认映射需要注意的地方,详细的可以多了解Logstash的源码。

参考

【1】_default_映射:https://www.elastic.co/guide/en/elasticsearch/reference/current/default-mapping.html

【2】Elasticsearch output插件:https://www.elastic.co/guide/en/logstash/current/plugins-outputs-elasticsearch.html

【3】ELK电子书:http://kibana.logstash.es/content/logstash/plugins/output/elasticsearch.html

Elasticsearch之_default_—— 为索引添加默认映射的更多相关文章

  1. elasticsearch系列二:索引详解(快速入门、索引管理、映射详解、索引别名)

    一.快速入门 1. 查看集群的健康状况 http://localhost:9200/_cat http://localhost:9200/_cat/health?v 说明:v是用来要求在结果中返回表头 ...

  2. elasticsearch最全详细使用教程:入门、索引管理、映射详解、索引别名、分词器、文档管理、路由、搜索详解

    一.快速入门1. 查看集群的健康状况http://localhost:9200/_cat http://localhost:9200/_cat/health?v 说明:v是用来要求在结果中返回表头 状 ...

  3. Elasticsearch之重要核心概念(cluster(集群)、shards(分配)、replicas(索引副本)、recovery(据恢复或叫数据重新分布)、gateway(es索引的持久化存储方式)、discovery.zen(es的自动发现节点机制机制)、Transport(内部节点或集群与客户端的交互方式)、settings(修改索引库默认配置)和mappings)

    Elasticsearch之重要核心概念如下: 1.cluster 代表一个集群,集群中有多个节点,其中有一个为主节点,这个主节点是可以通过选举产生的,主从节点是对于集群内部来说的.es的一个概念就是 ...

  4. [搜索]ElasticSearch Java Api(一) -添加数据创建索引

    转载:http://blog.csdn.net/napoay/article/details/51707023 ElasticSearch JAVA API官网文档:https://www.elast ...

  5. IS加载JSON 和 MP4文件 错误 404 提示 需要添加mime映射(默认IIS Express里没有映射)

    问题描述 在发布项目的时候,有一些文件是json文件,在网页中进行加载,但是在IIS7发布的时候,json文件居然是404,无法找到,在URL上输入地址也一样. 错误原因 IIS内部机制,不支持直接访 ...

  6. Elasticsearch(八)【NEST高级客户端--Mapping映射】

    要使用NEST与Elasticsearch进行交互,我们需要能够将我们的解决方案中的POCO类型映射到存储在Elasticsearch中的反向索引中的JSON文档和字段.本节介绍NEST中可用的所有不 ...

  7. ElasticSearch 基本概念 and 索引操作 and 文档操作 and 批量操作 and 结构化查询 and 过滤查询

    基本概念 索引: 类似于MySQL的表.索引的结构为全文搜索作准备,不存储原始的数据. 索引可以做分布式.每一个索引有一个或者多个分片 shard.每一个分片可以有多个副本 replica. 文档: ...

  8. ES入门三部曲:索引操作,映射操作,文档操作

    ES入门三部曲:索引操作,映射操作,文档操作 一.索引操作 1.创建索引库 #语法 PUT /索引名称 { "settings": { "属性名": " ...

  9. EF里的默认映射以及如何使用Data Annotations和Fluent API配置数据库的映射

    I.EF里的默认映射 上篇文章演示的通过定义实体类就可以自动生成数据库,并且EF自动设置了数据库的主键.外键以及表名和字段的类型等,这就是EF里的默认映射.具体分为: 数据库映射:Code First ...

随机推荐

  1. js事件绑定及深入

    学习要点: 1.传统事件绑定的问题2.W3C事件处理函数3.IE事件处理函数4.事件对象的其他补充 事件绑定分为两种:一种是传统事件绑定(内联模型,脚本模型),一种是现代事件绑定(DOM2级模型).现 ...

  2. java实现二分查找

    /** * 二分查找 * @param a * @param n * @param value * @return * @date 2016-10-8 * @author shaobn */ publ ...

  3. android sdk 镜像

    大连东软信息学院镜像服务器地址:- http://mirrors.neusoft.edu.cn 端口:80北京化工大学镜像服务器地址:- IPv4: http://ubuntu.buct.edu.cn ...

  4. SPRINGCLOUD 开发学习记录

    一个简单的微服务系统:服务注册和发现,服务消费,负载均衡,断路器,智能路由,配置管理 服务注册中心: eureka是一个高可用组件,没有后端缓存,每一个实例注册后向注册中心发送心跳,默认情况下,eru ...

  5. [国嵌攻略][164][USB驱动程序设计]

    USB驱动模型 1.USB host controller driver(主控器驱动):为USB主控制器提供驱动程序 2.USB core(USB核心):连接USB主控制器驱动和USB设备驱动 3.U ...

  6. SQLAlchemy 与 fask-SQLAlchemy 中的多表查询例子

    我们知道,<学生.课程.选课>,是一个典型的多对多关系. 现分别用 SQLAlchemy 与 fask-SQLAlchemy 实现. 声明:本人实测通过. 使用 SQLAlchemy fr ...

  7. 【WPF】使用控件MediaElement播放视频

    需求是点击按钮后,弹出弹窗播放视频.按钮的点击事件如下. public void ShowVideo() { Window window = new Window(); window.Width = ...

  8. 浅谈malloc/free和new/delete 的区别

    malloc和new的区别 malloc是库函数,需要包头文件才能成功运行编译:new是操作符(C++中的关键字),需要在C++的环境下使用. malloc既可以在C语言中使用也可以在C++中使用,n ...

  9. ubuntu下安装和破解navicat的方法

    ubuntu下安装和破解navicat的方法 之前我也在苦苦搜寻ubuntu完美破解navicat的方法,但是大家都说是删除掉~/.Navicat,就可以续用,的确是这样,但是很麻烦. 于是我找到了一 ...

  10. Druid 配置_StatFilter

    Druid内置提供一个StatFilter,用于统计监控信息. 1. 别名配置 StatFilter的别名是stat,这个别名映射配置信息保存在druid-xxx.jar!/META-INF/drui ...