ElasticSearch集群搭建.docx

《ElasticSearch集群搭建.docx》由会员分享，可在线阅读，更多相关《ElasticSearch集群搭建.docx（9页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、ElasticSearch集群搭建1 搭建集群 Elasticsearch假如做集群的话Master节点至少三台效劳器或三个Master实例参加一样集群 三个Master节点最多只能故障一台Master节点 假如故障两个Master节点 Elasticsearch将无法组成集群.会报错 Kibana也无法启动 因为Kibana无法获取集群中的节点信息。 由于 我们使用只有一台虚拟机 所以我们在虚拟机中安装三个ES实例 搭建伪集群 而ES启动比拟耗内存 所以先设置虚拟机的内存3G以及CPU个数4个 1.1 整体步骤 步骤如下 拷贝opt目录下的elasticsearch-7.4.0安装包3个 分

2、别命名 elasticsearch-7.4.0-oldlu1 elasticsearch-7.4.0-oldlu2 elasticsearch-7.4.0-oldlu3 然后修改elasticsearch.yml文件件。 然后启动启动oldlu1、oldlu2、oldlu3三个节点。 翻开阅读器输 :/192.168.149.135:9200/_cat/health?v ,假如返回的node.total是3 代表集 群搭建成功 在此 需要我们十分注意的是 像本文这样单效劳器多节点 3 个节点 的情况 仅供测试使用 集群环境如下 cluster namenode nameIP Addr 端口 /

3、 通信端口oldlu-esoldlu1192.168.149.1359201 / 9700oldlu-esoldlu2192.168.149.1359202 / 9800oldlu-esoldlu3192.168.149.1359203 / 99001.2 拷贝副本 拷贝opt目录下的elasticsearch-7.4.0安装包3个 翻开虚拟机到opt目录 执行 拷贝三份 cd /optcp -r elasticsearch-7.4.0 elasticsearch-7.4.0-oldlu1cp -r elasticsearch-7.4.0 elasticsearch-7.4.0-oldlu2c

4、p -r elasticsearch-7.4.0 elasticsearch-7.4.0-oldlu3 1. 3 修改elasticsearch.yml配置文件 1)、创立日志目录 cd /optmkdir logsmkdir data# 受权给oldlu用户chown -R oldlu:oldlu ./logschown -R oldlu:oldlu ./datachown -R oldlu:oldlu ./elasticsearch-7.4.0-oldlu1chown -R oldlu:oldlu ./elasticsearch-7.4.0-oldlu2chown -R oldlu:old

5、lu ./elasticsearch-7.4.0-oldlu3 翻开elasticsearch.yml配置 分别配置下面三个节点的配置文件 vim /opt/elasticsearch-7.4.0-oldlu1/config/elasticsearch.yml vim /opt/elasticsearch-7.4.0-oldlu2/config/elasticsearch.yml vim /opt/elasticsearch-7.4.0-oldlu3/config/elasticsearch.yml 2)、下面是elasticsearch-7.4.0-oldlu1配置文件 cluster.na

6、me: oldlu-esnode.name: oldlu-1 node.master: truenode.data: truenode.max_local_storage_nodes: 3 network.host: 0.0.0.0 .port: 9201transport.tcp.port: 9700discovery.seed_hosts: localhost:9700 , localhost:9800 , localhost:9900 cluster.initial_master_nodes: oldlu-1 , oldlu-2 , oldlu-3 path.data: /opt/dat

7、apath.logs: /opt/logs #集群名称cluster.name: oldlu-es#节点名称node.name: oldlu-1 #是不是有资格主节点node.master: true#是否存储数据node.data: true#最大集群节点数node.max_local_storage_nodes: 3 #ip地址network.host: 0.0.0.0 .port: 9201#内部节点之间沟通端口transport.tcp.port: 9700#es7.x 之后新增的配置 节点发现discovery.seed_hosts: localhost:9700 , localho

8、st:9800 , localhost:9900 #es7.x 之后新增的配置 初始化一个新的集群时需要此配置来选举mastercluster.initial_master_nodes: oldlu-1 , oldlu-2 , oldlu-3 #数据以及存储途径path.data: /opt/datapath.logs: /opt/logs 3)、下面是elasticsearch-7.4.0-oldlu2配置文件 cluster.name: oldlu-esnode.name: oldlu-2 node.master: truenode.data: truenode.max_local_sto

9、rage_nodes: 3 network.host: 0.0.0.0 .port: 9202transport.tcp.port: 9800discovery.seed_hosts: localhost:9700 , localhost:9800 , localhost:9900 cluster.initial_master_nodes: oldlu-1 , oldlu-2 , oldlu-3 path.data: /opt/datapath.logs: /opt/logs #集群名称cluster.name: oldlu-es#节点名称node.name: oldlu-2 #是不是有资格主

10、节点node.master: true#是否存储数据node.data: true#最大集群节点数node.max_local_storage_nodes: 3 #ip地址network.host: 0.0.0.0 .port: 9202#内部节点之间沟通端口transport.tcp.port: 9800#es7.x 之后新增的配置 节点发现discovery.seed_hosts: localhost:9700 , localhost:9800 , localhost:9900 #es7.x 之后新增的配置 初始化一个新的集群时需要此配置来选举mastercluster.initial_m

11、aster_nodes: oldlu-1 , oldlu-2 , oldlu-3 #数据以及存储途径path.data: /opt/datapath.logs: /opt/logs 4)、下面是elasticsearch-7.4.0-oldlu3 配置文件 cluster.name: oldlu-esnode.name: oldlu-3 node.master: truenode.data: truenode.max_local_storage_nodes: 3 network.host: 0.0.0.0 .port: 9203transport.tcp.port: 9900discovery

12、.seed_hosts: localhost:9700 , localhost:9800 , localhost:9900 cluster.initial_master_nodes: oldlu-1 , oldlu-2 , oldlu-3 path.data: /opt/datapath.logs: /opt/logs #集群名称cluster.name: oldlu-es#节点名称node.name: oldlu-3 #是不是有资格主节点node.master: true#是否存储数据node.data: true#最大集群节点数node.max_local_storage_nodes: 3

13、 #ip地址network.host: 0.0.0.0 .port: 9203#内部节点之间沟通端口transport.tcp.port: 9900#es7.x 之后新增的配置 节点发现discovery.seed_hosts: localhost:9700 , localhost:9800 , localhost:9900 #es7.x 之后新增的配置 初始化一个新的集群时需要此配置来选举mastercluster.initial_master_nodes: oldlu-1 , oldlu-2 , oldlu-3 #数据以及存储途径path.data: /opt/datapath.logs:

14、 /opt/logs 1.4 执行受权 在root用户下执行chown -R oldlu:oldlu /opt/elasticsearch-7.4.0-oldlu1chown -R oldlu:oldlu /opt/elasticsearch-7.4.0-oldlu2chown -R oldlu:oldlu /opt/elasticsearch-7.4.0-oldlu3假如有的日志文件受权失败 可使用(也是在root下执行)cd /opt/elasticsearch-7.4.0-oldlu1/logschown -R oldlu:oldlu ./* cd /opt/elasticsearch-

15、7.4.0-oldlu2/logschown -R oldlu:oldlu ./* cd /opt/elasticsearch-7.4.0-oldlu3/logschown -R oldlu:oldlu ./* 1.5 启动三个节点 启动之前 设置ES的JVM占用内存参数 防止内存缺乏错误 vim /opt/elasticsearch-7.4.0-oldlu1/bin/elasticsearch 可以发现 ES启动时加载/config/jvm.options文件 vim /opt/elasticsearch-7.4.0-oldlu1/config/jvm.options 默认情况下 ES启动J

16、VM最小内存1G 最大内存1G -xms:最小内存-xmx:最大内存 修改为256m 启动成功访问节点一 可以从日志中看到 master not discovered yet。还没有发现主节点 访问集群状态信息 :/192.168.149.135:9201/_cat/health?v 不成功 启动成功访问节点二 可以从日志中看到 master not discovered yet。还没有发现主节点master node changed.已经选举出主节点oldlu-2 访问集群状态信息 :/192.168.149.135:9201/_cat/health?v 成功 安康状况结果解释 cluste

17、r 集群名称status 集群状态 green代表安康 yellow代表分配了所有主分片 但至少缺少一个副本 此时集群数据仍旧完好 red 代表局部主分片不可用 可能已经丧失数据。node.total代表在线的节点总数量node.data代表在线的数据节点的数量shards 存活的分片数量pri 存活的主分片数量 正常情况下 shards的数量是pri的两倍。relo迁移中的分片数量 正常情况为 0init 初始化中的分片数量 正常情况为 0unassign未分配的分片 正常情况为 0pending_tasks准备中的任务 任务指迁移分片等 正常情况为 0max_task_wait_time任

18、务最长等待时间active_shards_percent正常分片百分比 正常情况为 100% 启动成功访问节点三 访问集群状态信息 :/192.168.149.135:9201/_cat/health?v 成功 可以看到节点已经变为3个 至此 ES集群已经搭建成功 2 使用Kibana配置以及管理集群 2.1 集群配置 因为之前我们在单机演示的时候也使用到了Kibana 我们先复制出来一个Kibana 然后修改它的集群配置 cd /opt/cp -r kibana-7.4.0-linux-x86_64 kibana-7.4.0-linux-x86_64-cluster# 由于 kibana 中

19、文件诸多 此处会等待大约1分钟的时间 修改Kibana的集群配置 vim kibana-7.4.0-linux-x86_64-cluster/config/kibana.yml参加下面的配置elasticsearch.hosts: :/localhost:9201 , :/localhost:9202 , :/localhost:9203 启动Kibana sh kibana -allow-root 2.2 管理集群 1、翻开Kibana 点开 Stack Monitoring 集群监控 2、点击【Nodes】查看节点详细信息 在上图可以看到 第一个红框处显示【Green】 绿色 表示集群处理安康状态 第二个红框是我们集群的三个节点 注意 oldlu-3旁边是星星 表示是主节点