搭建ELK日志分析平台过程备忘

简介

    最近在工作中需要对一些日志做分析,于是调研了一些日志记录和分析处理的工具,选择了ELK这个套件。ELK是三个开源软件的缩写,分别表示:Elasticsearch, Logstash, Kibana。其中Elasticsearch是用于实现索引和搜索功能目的,Logstash是一个很灵活的日志收集和处理工具。Kibana是和Elasticsearch配套的图形展示界面,用于方便的展示数据和分析数据。本文对整个套件的安装配置过程做一个详细的记录。

环境信息

安装配置的操作系统: Ubuntu 14.04 64bit

具体的安装过程如下:

安装java

    推荐安装的java版本为java 7及以上,其中java 7的安装可以使用如下命令:

  1. sudo apt-get install openjdk-7-jdk

    如果需要安装oracle jdk的话,可以使用如下命令:

  1. sudo apt-get install python-software-properties
  2. sudo add-apt-repository ppa:webupd8team/java
  3. sudo apt-get update

    这里安装上了oracle jdk的源,然后使用如下命令安装:

  1. sudo apt-get install oracle-java8-installer

     如果我们需要安装其他版本的jdk只需要将上述命令行里的java8改成对应的版本就可以了,比如java7, java6。

     JDK可直接下载linux通用二进制包:

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

mkdir -p /usr/local/java/jdk1.8.0_60

解压jdk-8u60-linux-x64.tar.gz到以上目录即可,然后配置全局JAVA环境变量(/etc/profile):

export JAVA_HOME=/usr/local/java/jdk1.8.0_60
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

 

安装elasticsearch

    执行如下命令下载elasticsearch:

  1. wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.4.4.zip 

    这里下载的是目前最新的elasticsearch1.4.4。

    下载到本地之后,将elasticsearch文件包解压到某个目录,假设我们默认解压到当前目录:

  1. tar zxvf elasticsearch-1.4.4.zip

    打开elasticsearch目录下的config/elasticsearch.yml文件,修改文件里面的内容,保证修改后的文件内容包含如下:

  1. # Disable HTTP completely:  
  2. #  
  3. http.enabled: true  
  4. http.cors.enable: true 

   修改完毕后保存文件。

安装Kibana

    执行如下命令下载kibana:   

  1. wget https://download.elasticsearch.org/kibana/kibana/kibana-3.0.1.tar.gz 

    下载完毕后执行命令解压缩:

  1. tar zxvf kibana-3.0.1.tar.gz 

    修改kibana文件目录下的config.js:

    保证文件中有如下内容未被注释:

  1. elasticsearch: “http://”+window.location.hostname+”:9200″, 

     因为后续需要创建nginx服务器来运行kibana,所以这里先建立一个kibana放到一个合适的目录:

  1. sudo mkdir –p /usr/share/nginx/html/kibana-3.0.1

    然后将kibana拷贝到指定的目录中:

  1. sudo cp -R ./kibana-3.0.1/* /usr/share/nginx/html/kibana-3.0.1

    在使用kibana之前我们还需要先安装nginx。

安装nginx

    执行如下命令安装nginx:

  1. sudo apt-get install nginx 

    安装结束之后建立文件nginx.conf,其内容如下:

server {
    listen 80;
    server_name master1.dev.chenpeng.info;

    location / {
        root /usr/share/nginx/html/kibana-3.0.1;
        index index.html index.htm;
    }

    location ~ ^/_aliases$ {
        proxy_pass http://127.0.0.1:9200;
    }
    location ~ ^/.*/_aliases$ {
        proxy_pass http://127.0.0.1:9200;
    }
    location ~ ^/_nodes$ {
        proxy_pass http://127.0.0.1:9200;
    }
    location ~ ^/.*/_search$ {
        proxy_pass http://127.0.0.1:9200;
    }
    location ~ ^/.*/_mapping {
        proxy_pass http://127.0.0.1:9200;
    }
}

    需要将server_name设置成对应的域名或机器名。

   文件修改结束后将文件拷贝到指定的目录:

  1. sudo cp nginx.conf /etc/nginx/sites-available/default 

  重启nginx以使得改动生效:

  1. sudo service nginx restart 

安装logstash

    下载logstash:

  1. wget https://download.elasticsearch.org/logstash/logstash/logstash-1.4.2.tar.gz 

     解压logstash文件包:

  1. tar zxvf logstash-1.4.2.tar.gz 

这样,上述的elasticsearch, kibana, logstash就都已经安装好了。我们可以通过运行一个简单的示例来验证安装是否正确。

验证安装

    进入elasticsearch目录,启动elasticsearch:

  1. cd ~/elasticsearch/  
  2. ./bin/elasticsearch 

image

     在logstash目录创建一个文件sample.conf,其内容如下:

  1. input {   
  2.     stdin{}   
  3. }  
  4. output {  
  5.     elasticsearch { host => localhost }  
  6.     stdout {  
  7.         codec => rubydebug  
  8.     }  

     其中output里将输出定向到两个地方,一个是elasticsearch,一个是本地的console。

     在logstash安装目录下执行命令启动logstash:

  1. ./bin/logstash -f sample.conf 

    在启动命令后输入字符串hello,则屏幕显示如下输出:

  1. {  
  2. “message” => “hello”,  
  3. “@version” => “1”,  
  4. “@timestamp” => “2015-02-27T06:08:02.038Z”,  
  5. “host” => “ubuntu”

KH_EI9(JSD{9BM3G7TRU(BG

    打开浏览器,输入配置的域名http://master1.dev.chenpeng.info,则可以看到kibana的页面如下:

N{5HR~PVJ6BVITO3L{%3QEI

如果点击页面右边logstash dashboard的链接,则可以看到如下的界面:

image

     我们在下面的All EVENTS部分还可以看到刚才在logstash命令行显示的内容hello。

     这样,整个ELK的单机安装过程就结束了。

参考材料

https://www.digitalocean.com/community/tutorials/how-to-use-logstash-and-kibana-to-centralize-and-visualize-logs-on-ubuntu-14-04 

http://shmilyaw-hotmail-com.iteye.com/blog/2187529

About 智足者富

http://chenpeng.info

发表评论

电子邮件地址不会被公开。 必填项已用*标注

You may use these HTML tags and attributes:

<a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>