介绍
在本教程中，我们将讨论在CentOS 7上安装Elasticsearch ELK Stack，即Elasticsearch 2.2.x，Logstash 2.2.x和Kibana 4.4.x. 我们还将向您展示如何配置它，以使用Filebeat 1.1.x在集中式位置收集和可视化系统的syslog。 Logstash是一个用于收集，解析和存储日志以供将来使用的开源工具。 Kibana是一个Web界面，可用于搜索和查看Logstash索引的日志。 这两个工具都基于Elasticsearch，用于存储日志。
集中日志记录在尝试识别服务器或应用程序的问题时非常有用，因为它允许您在单个位置搜索所有日志。 它也很有用，因为它允许您通过在特定时间范围内关联其日志来识别跨多个服务器的问题。
可以使用Logstash收集所有类型的日志，但我们将本教程的范围限制为syslog收集。
我们的目标
本教程的目标是设置Logstash以收集多个服务器的syslog，并设置Kibana以可视化收集的日志。
我们的ELK设置有四个主要组件：
- Logstash：用于处理传入的日志Logstash的服务器组件
- Elasticsearch：存储所有的日志
- Kibana：网络接口，用于搜索和可视日志，这将在通过Nginx的代理
- Filebeat：安装的客户端服务器将发送其日志Logstash上，Filebeat作为一个利用樵夫网络协议与Logstash通信的日志传送代理
我们将一台服务器，其中，我们将参照作为我们ELK服务器上安装的前三个分量。 Filebeat将被安装在所有我们要收集原木，我们将把统称为我们的客户服务器客户端服务器。
先决条件
要完成本教程，您需要root用户访问CentOS 7 VPS。 说明设置，最多可以在这里找到（第3步和4）： 初始服务器设置在CentOS 7 。
如果您希望使用Ubuntu，而不是，看看这个教程： 如何在Ubuntu 14.04安装ELK 。
您的ELK服务器将需要的CPU，RAM和存储量取决于您要收集的日志的卷。 在本教程中，我们将使用具有以下规格的VPS用于我们的ELK服务器：
- 操作系统：CentOS 7
- RAM：4GB
- CPU：2
除了您的ELK服务器，您将需要有一些其他服务器，您将收集日志。
让我们开始设置我们的ELK服务器！
安装Java 8
Elasticsearch和Logstash需要Java，所以我们现在就安装它。 我们将安装最新版本的Oracle Java 8，因为这是Elasticsearch推荐的版本。 然而，它应该与OpenJDK，如果你决定走这条路线工作正常。 遵循本节中的步骤意味着您接受Java SE的Oracle二进制许可证协议。
更改到您的主目录，并使用以下命令下载Oracle Java 8（更新73，本文撰写时的最新版本）JDK RPM：
cd ~
wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u73-b02/jdk-8u73-linux-x64.rpm"
然后使用此yum命令安装RPM（如果您下载了不同的版本，请在此处替换文件名）：
sudo yum -y localinstall jdk-8u73-linux-x64.rpm
现在的Java应安装/usr/java/jdk1.8.0_73/jre/bin/java ，并从链接/usr/bin/java 。
您可以删除先前下载的归档文件：
rm ~/jdk-8u*-linux-x64.rpm
现在安装了Java 8，我们安装ElasticSearch。
安装Elasticsearch
Elasticsearch可以通过添加Elastic的软件包仓库与软件包管理器一起安装。
运行以下命令将Elasticsearch公共GPG密钥导入rpm：
sudo rpm --import http://packages.elastic.co/GPG-KEY-elasticsearch
为Elasticsearch创建一个新的yum存储库文件。 注意，这是一个单一的命令：
echo '[elasticsearch-2.x]
name=Elasticsearch repository for 2.x packages
baseurl=http://packages.elastic.co/elasticsearch/2.x/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1
' | sudo tee /etc/yum.repos.d/elasticsearch.repo
使用此命令安装Elasticsearch：
sudo yum -y install elasticsearch
Elasticsearch现已安装。 让我们编辑配置：
sudo vi /etc/elasticsearch/elasticsearch.yml
您将要限制对Elasticsearch实例（端口9200）的外部访问，因此外部人员无法读取您的数据或通过HTTP API关闭Elasticsearch集群。 查找指定线路network.host ，取消它，并与“localhost”的，所以它看起来像这样替换它的价值：
network.host: localhost
保存并退出elasticsearch.yml 。
现在启动Elasticsearch：
sudo systemctl start elasticsearch
然后运行以下命令在启动时自动启动Elasticsearch：
sudo systemctl enable elasticsearch
现在Elasticsearch启动并运行，让我们安装Kibana。
安装Kibana
Kibana软件包与Elasticsearch共享同一个GPG密钥，我们已经安装了该公钥。
为Kibana创建和编辑新的yum存储库文件：
sudo vi /etc/yum.repos.d/kibana.repo
添加以下存储库配置：
[kibana-4.4]
name=Kibana repository for 4.4.x packages
baseurl=http://packages.elastic.co/kibana/4.4/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1
保存并退出。
使用此命令安装Kibana：
sudo yum -y install kibana
打开Kibana配置文件进行编辑：
sudo vi /opt/kibana/config/kibana.yml
在Kibana配置文件，找到指定线server.host ，并替换为“本地主机”的IP地址（由“0.0.0.0”默认值）：
server.host: "localhost"
保存并退出。 这个设置使得Kibana只能访问localhost。 这是很好，因为我们将在同一服务器上安装一个Nginx反向代理，以允许外部访问。
现在启动Kibana服务，并启用它：
sudo systemctl start kibana
sudo chkconfig kibana on
在我们可以使用Kibana Web界面之前，我们必须设置一个反向代理。 让我们现在做，与Nginx。
安装Nginx
因为我们配置Kibana为监听localhost ，我们必须建立一个反向代理，允许它的外部访问。 我们将使用Nginx为此目的。
注意：如果你已经有了要使用Nginx的情况下，随意使用来代替。 只要确保配置Kibana所以它是由你的Nginx服务器访问（您可能要更改的host值， /opt/kibana/config/kibana.yml ，您Kibana服务器的专用IP地址）。 此外，建议您启用SSL / TLS。
将EPEL存储库添加到yum：
sudo yum -y install epel-release
现在使用yum安装Nginx和httpd-tools：
sudo yum -y install nginx httpd-tools
使用htpasswd创建一个名为“kibanaadmin”的管理员用户（您应该使用其他名称），该用户可以访问Kibana Web界面：
sudo htpasswd -c /etc/nginx/htpasswd.users kibanaadmin
在提示符处输入密码。 记住此登录信息，因为您需要访问Kibana Web界面。
现在打开你喜欢的编辑器中的Nginx配置文件。 我们将使用vi：
sudo vi /etc/nginx/nginx.conf
查找默认的服务器块（与启动server { ，文件中的最后一个配置块），并将其删除。 完成后，文件中的最后两行应如下所示：
include /etc/nginx/conf.d/*.conf;
}
保存并退出。
现在我们将在一个新文件中创建一个Nginx服务器块：
sudo vi /etc/nginx/conf.d/kibana.conf
将以下代码块粘贴到文件中。 请务必更新server_name以匹配您的服务器的名称：
server {
listen 80;
server_name example.com;
auth_basic "Restricted Access";
auth_basic_user_file /etc/nginx/htpasswd.users;
location / {
proxy_pass http://localhost:5601;
proxy_http_version 1.1;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection 'upgrade';
proxy_set_header Host $host;
proxy_cache_bypass $http_upgrade;
}
}
保存并退出。 这Nginx的配置您的服务器的HTTP流量直接到Kibana应用程序，它监听localhost:5601 。 此外，Nginx的将使用htpasswd.users文件，我们前面创建和要求基本身份验证。
现在启动并启用Nginx以使我们的更改生效：
sudo systemctl start nginx
sudo systemctl enable nginx
注：本教程假设的SELinux被禁用。 如果不是这种情况，您可能需要运行以下命令Kibana到正常工作： sudo setsebool -P httpd_can_network_connect 1
Kibana现在是通过您的FQDN或ELK服务器即公网IP地址访问的http：//麋鹿\ _ SERVER \ _Public \ _ip / 。 如果您在网络浏览器中访问，输入“kibanaadmin”凭据后，您应该看到一个Kibana欢迎页面，它将要求您配置索引模式。 让我们回到那以后，在我们安装所有其他组件。
安装Logstash
Logstash包与Elasticsearch共享相同的GPG密钥，并且我们已经安装了该公钥，因此让我们为Logstash创建和编辑新的Yum存储库文件：
sudo vi /etc/yum.repos.d/logstash.repo
添加以下存储库配置：
[logstash-2.2]
name=logstash repository for 2.2 packages
baseurl=http://packages.elasticsearch.org/logstash/2.2/centos
gpgcheck=1
gpgkey=http://packages.elasticsearch.org/GPG-KEY-elasticsearch
enabled=1
保存并退出。
使用此命令安装Logstash：
sudo yum -y install logstash
已安装Logstash，但尚未配置。
生成SSL证书
由于我们将使用Filebeat将日志从我们的客户端服务器发送到我们的ELK服务器，我们需要创建一个SSL证书和密钥对。 Filebeat使用该证书来验证ELK Server的身份。 使用以下命令创建将存储证书和私钥的目录：
现在，您有两个选项用于生成SSL证书。 如果你有一个DNS设置，让您的客户端服务器解析服务器ELK的IP地址，使用选项2，否则， 选项1将允许您使用IP地址。
选项1：IP地址
如果没有DNS设置，这将让你的服务器，你会收集日志从，解决您的ELK的IP地址，服务器，你将有你的ELK服务器的私有IP地址添加到subjectAltName （SAN）字段，我们将要生成的SSL证书。 为此，请打开OpenSSL配置文件：
sudo vi /etc/pki/tls/openssl.cnf
找到[ v3_ca ]文件中的部分，并根据它（代在ELK服务器的私有IP地址）添加这一行：
subjectAltName = IP: ELK_server_private_ip
保存并退出。
现在使用以下命令在适当的位置（/ etc / pki / tls /）中生成SSL证书和私钥：
cd /etc/pki/tls
sudo openssl req -config /etc/pki/tls/openssl.cnf -x509 -days 3650 -batch -nodes -newkey rsa:2048 -keyout private/logstash-forwarder.key -out certs/logstash-forwarder.crt
该logstash-forwarder.crt文件将被复制到所有将日志发送到Logstash的服务器，但我们会做到这一点稍晚。 让我们完成我们的Logstash配置。 如果您使用此选项去了，跳过选项2并移动到配置Logstash。
选项2：FQDN（DNS）
如果您的DNS设置与您的专用网络，您应该创建一个A记录，包含ELK服务器的私有IP地址 - 这个域名将在下一个命令中使用，以生成SSL证书。 或者，您可以使用指向服务器的公共IP地址的记录。 只要确保您的服务器（您将收集日志的服务器）将能够将域名解析到您的ELK服务器。
现在使用以下命令（在ELK服务器的FQDN中替换）在适当的位置（/ etc / pki / tls / ...）中生成SSL证书和私钥：
cd /etc/pki/tls
sudo openssl req -subj '/CN=ELK_server_fqdn/' -x509 -days 3650 -batch -nodes -newkey rsa:2048 -keyout private/logstash-forwarder.key -out certs/logstash-forwarder.crt
该logstash-forwarder.crt文件将被复制到所有将日志发送到Logstash的服务器，但我们会做到这一点稍晚。 让我们完成我们的Logstash配置。
配置Logstash
Logstash配置文件采用JSON格式，位于/etc/logstash/conf.d中。 该配置由三个部分组成：输入，滤波器和输出。
让我们创建一个名为的配置文件02-beats-input.conf ，并成立了“filebeat”输入：
sudo vi /etc/logstash/conf.d/02-beats-input.conf
插入下面的输入配置：
input {
beats {
port => 5044
ssl => true
ssl_certificate => "/etc/pki/tls/certs/logstash-forwarder.crt"
ssl_key => "/etc/pki/tls/private/logstash-forwarder.key"
}
}
保存并退出。 这指定了一个beats输入，将监听TCP端口5044 ，它将使用我们前面创建的SSL证书和私钥。
现在，让我们创建一个配置文件名为10-syslog-filter.conf ，在这里我们将添加一个过滤系统日志消息：
sudo vi /etc/logstash/conf.d/10-syslog-filter.conf
插入下面的系统日志过滤器配置：
filter {
if [type] == "syslog" {
grok {
match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp} %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program}(?:\[%{POSINT:syslog_pid}\])?: %{GREEDYDATA:syslog_message}" }
add_field => [ "received_at", "%{@timestamp}" ]
add_field => [ "received_from", "%{host}" ]
}
syslog_pri { }
date {
match => [ "syslog_timestamp", "MMM d HH:mm:ss", "MMM dd HH:mm:ss" ]
}
}
}
保存并退出。 该过滤器会寻找被标记为“系统日志”类型（Filebeat）日志，它会尝试使用grok来分析传入的syslog日志，使之结构化和查询能力。
最后，我们将创建一个名为的配置文件30-elasticsearch-output.conf ：
sudo vi /etc/logstash/conf.d/30-elasticsearch-output.conf
插入下面的输出配置：
output {
elasticsearch {
hosts => ["localhost:9200"]
sniffing => true
manage_template => false
index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"
document_type => "%{[@metadata][type]}"
}
}
保存并退出。 该输出基本上配置Logstash存储其在运行中Elasticsearch的Beats数据localhost:9200 ，在所使用的拍子命名的索引（filebeat，在我们的情况下）。
如果要为使用Filebeat输入的其他应用程序添加过滤器，请确保对文件命名，以便在输入和输出配置之间进行排序（即在02-和30-之间）。
使用此命令测试Logstash配置：
sudo service logstash configtest
它应该显示Configuration OK如果没有语法错误。 否则，请尝试并读取错误输出，以查看您的Logstash配置有什么问题。
重新启动并启用Logstash以使配置更改生效：
sudo systemctl restart logstash
sudo chkconfig logstash on
接下来，我们将加载示例Kibana仪表板。
加载Kibana仪表板
Elastic提供了几个样例Kibana仪表板和Beats索引模式，可以帮助您开始使用Kibana。 虽然我们不会在本教程中使用仪表板，我们仍将加载它们，以便我们可以使用它包括的Filebeat索引模式。
首先，将示例仪表板归档下载到您的主目录：
cd ~
curl -L -O https://download.elastic.co/beats/dashboards/beats-dashboards-1.1.0.zip
安装unzip包用这个命令：
sudo yum -y install unzip
接下来，提取归档的内容：
unzip beats-dashboards-*.zip
并使用以下命令将样本仪表板，可视化和Beats索引模式加载到Elasticsearch中：
cd beats-dashboards-*
./load.sh
这些是我们刚加载的索引模式：
- [packetsbeat-] YYYY.MM.DD
- [topbeat-] YYYY.MM.DD
- [filebeat-] YYYY.MM.DD
- [winlogbeat-] YYYY.MM.DD
当我们开始使用Kibana时，我们将选择Filebeat索引模式作为默认值。
在Elasticsearch中加载Filebeat索引模板
因为我们计划使用Filebeat将日志发送到Elasticsearch，我们应该加载Filebeat索引模板。 索引模板将配置Elasticsearch以智能方式分析传入的Filebeat字段。
首先，将Filebeat索引模板下载到您的主目录：
cd ~
curl -O https://gist.githubusercontent.com/thisismitch/3429023e8438cc25b86c/raw/d8c479e2a1adcea8b1fe86570e42abab0f10f364/filebeat-index-template.json
然后使用此命令加载模板：
curl -XPUT 'http://localhost:9200/_template/filebeat?pretty' -d@filebeat-index-template.json
如果模板加载正确，您应该看到这样的消息：
Output:{
"acknowledged" : true
}
现在我们的ELK服务器已准备好接收Filebeat数据，让我们转到在每个客户端服务器上设置Filebeat。
设置Filebeat（添加客户端服务器）
难道你想将日志发送到您的ELK服务器这些步骤为每个CentOS的或RHEL 7服务器。 有关在基于Debian的Linux发行版（如Ubuntu的，Debian的，等等）安装Filebeat说明，请参阅设置Filebeat（添加客户端服务器）部分本教程的Ubuntu的变化。
复制SSL证书
在您的ELK服务器 ，将SSL证书复制，创造了前提条件教程到你的客户端服务器 （替代客户端服务器的地址和自己的登录）：
scp /etc/pki/tls/certs/logstash-forwarder.crt user@client_server_private_address:/tmp
在提供您的登录凭据后，请确保证书复制成功。 它是客户端服务器和ELK服务器之间的通信所必需的。
现在，你的客户端服务器上，复制ELK服务器的SSL证书到相应位置（在/ etc / PKI / TLS /证书）：
sudo mkdir -p /etc/pki/tls/certs
sudo cp /tmp/logstash-forwarder.crt /etc/pki/tls/certs/
现在我们将安装Topbeat包。
安装Filebeat包
在客户端服务器上 ，创建运行以下命令来导入Elasticsearch公共GPG钥匙插入转：
sudo rpm --import http://packages.elastic.co/GPG-KEY-elasticsearch
为Filebeat创建和编辑新的yum存储库文件：
sudo vi /etc/yum.repos.d/elastic-beats.repo
添加以下存储库配置：
[beats]
name=Elastic Beats Repository
baseurl=https://packages.elastic.co/beats/yum/el/$basearch
enabled=1
gpgkey=https://packages.elastic.co/GPG-KEY-elasticsearch
gpgcheck=1
保存并退出。
使用此命令安装Filebeat：
sudo yum -y install filebeat
已安装Filebeat，但尚未配置。
配置Filebeat
现在我们将配置Filebeat连接到我们的ELK服务器上的Logstash。 本节将逐步介绍如何修改Filebeat附带的示例配置文件。 当你完成这些步骤，你应该有一个看起来像一个文件这样 。
在客户端服务器 ，创建和编辑Filebeat配置文件：
sudo vi /etc/filebeat/filebeat.yml
注：Filebeat的配置文件是YAML格式，这意味着缩进是非常重要的！ 请务必使用这些说明中指定的相同数量的空格。
接近文件的顶部，你会看到prospectors节，这是你可以定义指定淘金哪些日志文件应运，他们应该如何处理。 每个探矿者被标明-字符。
我们将修改现有探矿发送secure和messages日志Logstash。 在paths ，注释掉- /var/log/*.log文件。 这将防止Filebeat发送每.log在那个目录中Logstash。 然后，添加新条目syslog和auth.log 。 完成后应该看起来像这样：
...
paths:
- /var/log/secure
- /var/log/messages
# - /var/log/*.log
...
然后，找到指定行document_type:取消并改变其值设置为“系统日志”。 在修改后应该看起来像这样：
...
document_type: syslog
...
这指定在这个探矿的日志类型的syslog（这是我们Logstash过滤器正在寻找的类型）。
如果要将其他文件发送到ELK服务器，或对Filebeat处理日志的方式进行任何更改，请随时修改或添加探测器条目。
接下来，根据output部分，找到这行elasticsearch:这表明Elasticsearch输出部分（我们不打算使用） 删除或注释掉整个Elasticsearch输出部分 （最多这行logstash: 。
找到注释掉Logstash输出部分，由这行表示#logstash:并通过删除前面的注释它# 。 在本节中，取消对hosts: ["localhost:5044"]行。 更改localhost到您的ELK服务器的私有IP地址（或主机名，如果您使用该选项了）：
### Logstash as output
logstash:
# The Logstash hosts
hosts: ["ELK_server_private_IP:5044"]
这将Filebeat配置为连接到ELK服务器上的端口5044（我们为之前指定的输入端口）上的Logstash。
直属hosts条目，并使用相同的缩进，加入这一行：
bulk_max_size: 1024
接下来，找到了tls部分，并取消它。 然后取消对指定线路certificate_authorities ，它的值更改为["/etc/pki/tls/certs/logstash-forwarder.crt"] 。 它应该看起来像这样：
...
tls:
# List of root certificates for HTTPS server verifications
certificate_authorities: ["/etc/pki/tls/certs/logstash-forwarder.crt"]
这将Filebeat配置为使用我们在ELK服务器上创建的SSL证书。
保存并退出。
现在启动并启用Filebeat将我们的更改放置到位：
sudo systemctl start filebeat
sudo systemctl enable filebeat
同样，如果你如果你的Filebeat配置是否正确还不能确定，比较它反对这个例子Filebeat配置 。
现在Filebeat发送你的系统日志messages和secure文件到您的ELK服务器！ 对于您要收集日志的所有其他服务器重复此部分。
测试Filebeat安装
如果您的ELK已正确设置，Filebeat（在客户端服务器上）应将您的日志发送到ELK服务器上的Logstash。 Logstash应装在日期戳指数，Filebeat数据转换成Elasticsearch filebeat-YYYY.MM.DD 。
在您的ELK服务器 ，验证Elasticsearch确实通过查询Filebeat指数使用此命令接收数据：
curl -XGET 'http://localhost:9200/filebeat-*/_search?pretty'
你应该看到一堆看起来像这样的输出：
Sample Output:...
{
"_index" : "filebeat-2016.01.29",
"_type" : "log",
"_id" : "AVKO98yuaHvsHQLa53HE",
"_score" : 1.0,
"_source":{"message":"Feb 3 14:34:00 rails sshd[963]: Server listening on :: port 22.","@version":"1","@timestamp":"2016-01-29T19:59:09.145Z","beat":{"hostname":"topbeat-u-03","name":"topbeat-u-03"},"count":1,"fields":null,"input_type":"log","offset":70,"source":"/var/log/auth.log","type":"log","host":"topbeat-u-03"}
}
...
如果您的输出显示总计0次点击，Elasticsearch不会在您搜索的索引下加载任何日志，您应该检查您的设置是否有错误。 如果收到预期的输出，请继续下一步。
连接到Kibana
当您在要收集日志的所有服务器上完成Filebeat设置后，让我们看看Kibana，我们之前安装的Web界面。
在Web浏览器中，转到您的ELK服务器的FQDN或公共IP地址。 输入“kibanaadmin”凭据后，您应该看到一个页面，提示您配置默认索引模式：
来吧，从索引模式菜单（左侧） 中选择[filebeat] -YYY.MM.DD，然后单击星（设置为默认索引）按钮设置Filebeat指数为默认值。
现在点击顶部导航栏中的链接发现 。 默认情况下，这将显示过去15分钟内的所有日志数据。 您应该会看到带有日志事件的直方图，其中包含以下日志消息：
现在，在那里不会有太多，因为你只是从您的客户端服务器收集系统日志。 在这里，您可以搜索和浏览您的日志。 您还可以自定义信息中心。
尝试以下事项：
- 搜索“root”以查看是否有人尝试以root身份登录到您的服务器
- 搜索一个特定的主机名（搜索
host: " hostname "） - 通过在直方图上或从上面的菜单中选择一个区域来更改时间范围
- 点击直方图下面的消息，查看数据是如何过滤的
Kibana有许多其他功能，如图形和过滤，所以随便捅！
结论
现在你的系统日志通过Elasticsearch和Logstash集中，你可以用Kibana可视化它们，你应该有一个很好的开始，集中所有重要的日志。 记住，你可以发送几乎任何类型的日志或索引的数据到Logstash，但如果数据被解析和结构与grok，数据变得更加有用。
为了提高新ELK，你应该考虑收集和过滤Logstash你的其他日志和创造Kibana仪表板 。 您可能还需要通过使用Topbeat收集系统度量与ELK。 所有这些主题都在本系列的其他教程中介绍。
祝你好运！
