使用Fluentd将日志发送到Elasticsearch

日志是一个系统的重要组成部分，它可以提供有关系统应用程序的故障诊断信息。当我们将应用程序和系统部署在云环境中时，日志管理变得更加重要。要有效地管理日志，我们需要一个日志聚合和分析工具。在这种情况下，Fluentd是一个非常流行的选择。

Fluentd是一个开源的日志收集器，它使日志的收集和聚合变得容易。在本文中，我们将介绍如何使用Fluentd将日志发送到Elasticsearch。

Elasticsearch是一个分布式的搜索和分析引擎，它被广泛用于实时日志分析。在本文中，我们将使用Elasticsearch作为我们的数据存储。

安装Fluentd

要开始使用Fluentd，您需要先安装它。Fluentd可以在多个平台上运行，如Linux、Windows、MacOS等。但在本文中，我们将在Ubuntu Linux上安装Fluentd。

首先，您需要在Ubuntu Linux上安装Fluentd，可以使用以下命令：

```
$ curl -L https://toolbelt.treasuredata.com/sh/install-ubuntu-xenial-td-agent3.sh | sh
```

此命令将下载并安装Fluentd。安装完成后，您可以检查Fluentd版本：

```
$ /usr/sbin/td-agent --version
```

配置Fluentd

Fluentd的功能是根据输入配置来决定如何处理数据。在本例中，我们将使用Fluentd来收集应用程序产生的日志，并将其发送到Elasticsearch。

首先，我们将创建一个名为myapp.conf的Fluentd配置文件。在此文件中，我们将定义输入来源、过滤器和输出。

输入来源

在本文中，我们将使用标准输出插件作为我们的输入来源。这个插件将从应用程序的输出流中读取日志事件并将它们发送给Fluentd。以下是我们将在配置文件中使用的输入来源：

```

  @type forward
  @id input_from_forward
  port 24224

```

这将创建一个新的输入来源，其类型为forward。它将监听端口24224以接收来自应用程序的日志事件。

过滤器

在本文中，我们将使用grep过滤器来处理日志数据。过滤器根据其名称过滤日志事件，并可以添加、删除或修改事件中的字段。以下是我们将在配置文件中使用的过滤器：

```

  @type grep
  
    key message
    pattern !ruby/regexp /error/
  

```

这个过滤器将从输入来源中获取所有日志事件，然后将匹配正则表达式“error”的事件排除在外。如果日志事件中不包含错误消息，则不会发送到输出插件。

输出插件

在本文中，我们将使用Elasticsearch输出插件将日志事件发送到Elasticsearch。以下是我们将在配置文件中使用的输出插件：

```

  @type elasticsearch
  host elasticsearch.example.com
  port 9200
  logstash_format true
  index_name myapp
  type_name myapp_log

```

这个输出插件将使用Elasticsearch作为数据存储，并将日志事件发送到名为myapp的索引中。我们还指定了一个类型为myapp_log的文档类型。这些设置将确保我们可以轻松地搜索和分析我们的日志数据。

启动Fluentd

现在，我们已经定义了Fluentd的配置文件，我们可以启动Fluentd。可以使用以下命令：

```
$ sudo /usr/sbin/td-agent -c /etc/td-agent/myapp.conf
```

这将以我们之前定义的配置文件作为输入，启动Fluentd。

测试Fluentd

现在，我们已经完成了Fluentd的配置和启动，我们可以通过向应用程序中添加一些日志来测试它。当我们添加日志时，Fluentd将在Elasticsearch中创建新的文档并将其填充到myapp索引中。

您可以使用以下命令从Elasticsearch中检索此数据：

```
$ curl 'http://elasticsearch.example.com:9200/myapp/_search?q=*'
```

这将返回在myapp索引中找到的所有文档。

结论

在本文中，我们已经介绍了如何使用Fluentd将日志发送到Elasticsearch。我们涵盖了Fluentd的安装和配置，以及如何使用Elasticsearch作为数据存储。通过使用Fluentd和Elasticsearch，您可以轻松地收集、聚合和分析您的应用程序日志，从而更好地了解您的系统。