ES 架构及基础 - 1.doc

ES 架构及基础 - 1.doc

基于Docker安装Elasticsearch

基于Docker安装Elasticsearch

docker安装elk6.7.1-搜集java日志

docker安装elk6.7.1-搜集java日志

elk的docker-compose配置

使用docker-compose 搭建elk日志系统.使用docker-compose 搭建elk日志系统

docker 日志管理（elkf）docker-compose 一键启动.zip

docker elkf 日志管理系统 docker-compose一键启动 内附教程

Elasticsearch-2.3.5安装说明

NULL 博文链接：https://shilaike.iteye.com/blog/2395645

elk-vagrant-docker：ELK与泊坞窗在无业游民

elk-vagrant-docker：ELK与泊坞窗在无业游民

ES笔记 20201012

ES 学习笔记，> - 用java写的基于lucene的一款全文检索框架 > - 源码开放，搜索实时，分布式 > - 对外提供的接口符合RESTFull风格 > ES和Solr > > - 都是基于Lucene > - Solr查询离线数据速度会比较快，如果查询实时数据ES比较快 > - Solr的集群需要Zookeeper进行管理，ES自带有管理组件 > - 在大数据中ES比Solr更有市场

教程：教程

教程：

Centos7 docker-compose安装ELK+Filebeat.zip

Centos7 docker-compose安装ELK+Filebeat.zip 存放这里，让大家下载快捷一点

centos7.5分布式平台搭建.docx

产品名字 版本 centos 7.5 kubernetes 1.13 docker 18.09.5 JDK 1.8_131 SSH 7.4 etcd 3.3.10(API version:2) flannel 0.10.0 TOMCAT 8 Mysql 5.6 Ambari 2.7 HDP 3.0 ElasticSearch 6.5.1 Kibana 6.5.1 Logstash 6.5.1 Neo4j 3.4 esxi 6.5 MAVEN 3.6 ElasticSearch 6.5.1 Kibana 6.5.1 Logstash 6.5.1 目录： 1. ESXI6.5创建centos虚拟机 10 1.1. 准备工作 10 1.2. 创建新的虚拟机 10 2. ESXI虚拟机克隆 13 2.1. 创建文件夹 13 2.2. 复制文件 13 2.3. 注册现有虚拟机 14 2.4. 为克隆的虚拟机添加硬盘 15 3. HPE服务器Centos7.5安装 16 3.1. 服务器（DL388 Gen10）加载镜像文件 16 3.2. 系统安装、配置 18 3.2.1. 选中【install centos7】 18 3.2.2. 语言 18 3.2.3. 其他配置 18 3.2.4. 时区 18 3.2.5. 软件包安装 19 3.2.6. 磁盘分区 19 3.2.7. root用户密码配置 20 3.2.8. 完成安装 20 3.3. IP地址、主机名设置 20 3.4. 磁盘挂载并开机自动挂载 22 3.4.1. 磁盘挂载（如果超过2T的挂载则看超过2T的挂载章节） 22 3.4.2. 设置开机时自动挂载 23 3.4.3. 超过2T的挂载 23 3.5. 磁盘分区扩容 25 3.5.1. 根目录 25 3.5.2. 普通目录 26 3.6. Vim命令安装 26 3.7. Wget命令安装 26 3.8. 查看端口占用命令 26 3.9. 新建用户、用户组并设置root权限 26 4. SSH免密 27 4.1. 查看SSH是否安装，需要客户端与服务都安装，centos7自带ssh服务，一般可以跳过安装步骤 27 4.2. 安装命令 27 4.3. service sshd restart 启动、重启SSH服务； 27 4.4. 开机启动。 27 4.5. 退出SSH命令 27 4.6. SSH免密登录 27 5. 同步系统时间，（分布式系统各个节点需要同步时间） 27 5.1. 安装NTP插件 27 5.2. 同步时间： 27 6. JDK 28 7. Maven 28 8. Tomcat 29 8.1. 配置tomcat的环境变量和内存设置 29 8.2. 服务自启动 30 9. Mysql 30 9.1. 离线安装 30 9.2. 在线安装 30 9.2.1. 检测系统是否自带安装mysql 30 9.2.2. 下载yum包 30 9.2.3. 安装mysql 30 9.2.4. 启动服务 30 9.2.5. 设置root密码 30 9.2.6. 设置开机自启 31 9.2.7. mysql安全设置 31 9.2.8. 创建数据库 31 9.2.9. 创建用户 31 9.2.10. 更改数据存储路径 31 9.2.11. 开启binlog日志 32 9.2.12. 修改mysql配置文件 32 9.3. 问题整理 33 10. Apache Http文件服务器 33 10.1. 安装http 33 10.2. 修改Http服务器根路径 33 10.3. 中文乱码 33 10.3.1. 文件内容中文乱码 33 10.3.2. 文件名字中文乱码 33 10.4. 修改目录文件名不要被截断 33 11. Ambari 33 11.1. 安装相关服务 33 11.2. 同步所有节点时间 34 11.3. IP与主机名映射 34 11.4. SSH免密 34 11.5. JDK安装（建议1.8） 34 11.6. 关闭防火墙、selinux、THP 34 11.7. 最大打开文件要求 34 11.8. mysql配置（server机器操作） 34 11.8.1. 创建数据库 34 11.8.2. 下载mysql-connection-java 34 11.9. 部署本地库（镜像服务器）（server机器操作） 35 11.9.1. 下载HortWorks官网上的4个库到本地（也可以在线下载，但是速度会很慢） 35 11.9.2. 创建本地yum源 35 11.9.3. 上传文件 35 11.9.4. 解压文件 35 11.9.5. 新建一个httpd资源库文件夹 35 11.9.6. 修改本地源地址 35 11.10. Ambari-server端安装部署（server机器操作） 36 11.10.1. 安装Ambari-server 36 11.10.2. 配置Ambari-server 36 11.10.3. 查看并启动Ambari-server 37 11.10.4. Ambari登陆 38 11.11. Ambari集群搭建（所有agent节点机器操作） 38 11.11.1. 安装agent 38 11.11.2. 部署Agent 39 11.11.3. 创建集群： 39 11.11.4. 存储库地址配置： 40 11.11.5. 节点配置： 40 11.11.6. 节点验证： 41 11.11.7. 选择需要安装的服务： 41 11.11.8. 主服务节点配置，尽量均匀分布： 42 11.11.9. 从服务、客户端节点配置： 42 11.11.10. 密码配置： 42 11.11.11. 数据库配置 42 11.11.12. 修改服务存储、日志路径： 44 11.11.13. 用户名配置 44 11.11.14. 配置文件更改 45 11.11.15. 部署 45 11.12. Ambari 卸载服务 48 11.13. 登陆地址 48 11.14. 异常处理 48 11.15. 警告 50 11.15.1. Ambari Metrics ,Hbase rootdir路径问题 50 11.15.2. Atlas 51 12. Ambari集成ElasticSearch6.x 51 12.1. 通过SSH把源码传到centos机器上 51 12.2. 复制源码到Ambari 51 12.3. 编辑metainfo.xml文件 51 12.4. 启动/重启Ambari 51 12.5. 添加服务 51 13. ElasticSearch集群搭建 54 13.1. 解压文件：必须使用非root用户安装和启动 54 13.2. 创建目录 54 13.3. 配置文件 55 13.4. 系统配置文件 55 13.5. 启动服务 56 13.6. 添加系统服务自启动 56 13.7. Head安装 57 13.8. 登陆地址 57 13.9. ES跨域访问配置 57 13.10. IK分词器安装 57 13.11. Cerebro配置 57 13.12. 集群使用经验 58 13.13. 问题整理 58 14. Elasticsearch与reactivesearch快速构建搜索项目 58 15. kibana 59 15.1. 配置kibana配置文件 59 15.2. 启动、停止服务 59 15.3. 登陆地址 59 15.4. 汉化 59 16. Neo4j 59 16.1. 下载地址： 59 16.2. 解压缩： 59 16.3. SSH复制文件到其他节点： 60 16.4. 启动服务: 60 16.5. 登陆地址 60 16.6. 账号密码： 60 16.7. neo4服务自启动 60 16.8. 配置文件解释 61 17. 安装logstash插件同步ES-mysql数据 65 17.1. 下载logstash（版本需与ES一致） 65 17.2. 安装logstash-input-jdbc插件步骤： 65 17.3. 启动logstash 66 18. HDFS 67 18.1. 退出安全模式： 67 19. Kafka 67 19.1. 优化 67 20. Spark2.x 68 20.1. 示例执行 68 21. YARN 68 21.1. 错误处理 68 22. Docker安装 68 22.1. 在线安装 68 22.1.1. 使用国内docker源 68 22.1.2. Docker安装 68 22.1.3. 启动进程 68 22.2. RPM安装方式 68 22.2.1. 安装libtool-ltdl 68 22.2.2. 关闭selinux和内存交换 69 22.2.3. 安装docker-ce-selinux，docker-ce 69 22.3. 二进制文件安装方式 69 22.3.1. 下载地址 69 22.3.2. 安装配置 69 23. Kubernetes集群搭建准备 70 23.1. 机器规划： 70 23.2. 所有节点添加环境变量 70 23.3. 下载地址 70 23.4. 解压文件 70 23.5. Server节点CA证书创建分发 70 23.5.1. 安装cfssl 70 23.5.2. 创建用来生成 CA 文件的 JSON 配置文件 71 23.5.3. 创建用来生成 CA 证书签名请求（CSR）的 JSON 配置文件 71 23.5.4. 生成CA证书（ca.pem）和密钥（ca-key.pem） 71 23.5.5. 分发证书 72 24. ETCD数据库集群搭建 72 24.1. 创建etcd证书签名请求 72 24.2. 生成证书和私钥 73 24.3. 创建配置文件 73 24.4. 创建服务文件 74 24.5. 拷贝etcd.conf和etcd.service文件到其他2个节点 74 24.6. 启动服务 74 24.7. 测试集群 75 24.8. 注意事项 75 25. Kubernetes集群安装部署 75 25.1. Master节点部署 75 25.1.1. 复制文件 75 25.1.2. 部署kube-apiserver服务 75 25.1.3. 部署kube-controller-manager服务 78 25.1.4. 部署kube-scheduler服务 79 25.1.5. 部署kubectl 命令行工具 79 25.2. Node节点部署 81 25.2.1. 复制文件 81 25.2.2. 部署kubelet 81 25.2.3. 部署Kube-proxy服务 84 25.3. Flannel网络配置 86 25.3.1. 下载地址 86 25.3.2. 解压文件 86 25.3.3. 复制文件 86 25.3.4. 生成ca配置文件与证书 86 25.3.5. 分发证书 87 25.3.6. 配置文件 87 25.3.7. Flannel CNI集成 88 25.3.8. 启动服务 88 25.3.9. 配置Docker使用Flannel 89 25.4. coredns安装 89 25.4.1. 编辑配置文件 89 25.4.2. 创建coredns 93 25.4.3. 查看coredns服务 93 25.4.4. Pod容器中进行域名解析测试 93 25.5. kubernetes-dashboard部署 93 26. GlusterFS分布式文件系统部署 95 26.1. 在kubernetes中部署 95 26.1.1. 安装： 95 26.1.2. 创建Heketi服务： 97 26.1.3. 为Heketi设置GlusterFS集群 99 26.2. yum部署 99 26.3. 创建分布式卷 99 27. SpringBoot 100 28. SpringCloud 100

【日志可视化】elk in docker 安装配置和效果展示.pdf

。。。

Kubernetes1.6集群部署完全指南——二进制文件部署开启TLS基于CentOS7

一步步的部署和解析，非常详细。

ELK7.2 安装及操作.pdf

本人写的ELK及相关常用操作，如果有什么不懂的可以给我留言。 本人写的ELK及相关常用操作，如果有什么不懂的可以给我留言。

springboot2.0+elasticsearch5.5+rabbitmq搭建搜索服务的坑

主要介绍了springboot2.0+elasticsearch5.5+rabbitmq搭建搜索服务的坑，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧

demo-EFK

B站整理的乐优商城笔记

B站整理的乐优商城笔记

ElasticsearchinAction全文检索

ElasticsearchinAction全文检索

installing_devops_tools:devops工具的安装指南

安装devops工具

metricbeat-7.8.0-linux-x86_64.tar.gz

metricbeat用来收集诸如系统或者Nginx等服务的指标数据并传输给我们的ELK MetricBeat由两个部分组成：一个是Module，一个是MetricSet