Elastic StackでKafkaをモニタリング！ を始めてみるには？

A presentation at Apache Kafka Meetup Japan #6 in April 2019 in Tokyo, Japan by Jun Ohtani

Elastic StackでKafkaをモニタリング！を始めてみるには？ 2019/04/08 Community Engineer @Elastic Jun Ohtani @johtani !1

about • • !2 Me, Jun Ohtani / Community Engineer ‒ lucene-gosenコミッター ‒ データ分析基盤構築入門共著 ‒ http://blog.johtani.info Elastic, founded in 2012 ‒ Products: Elasticsearch, Logstash, Kibana, Beats Elastic APM, Elastic Cloud, Swiftype Professional services: Support & development subscriptions Trainings, Consulting, SaaS

Kafkaを利用している人？ !3

Kafkaの運用をしている人？ !4

Kafkaの監視どうやってます？ !5

監視してない（ワイルド。。。） !6

Zabbixで監視 !7

Confluent Control Center !8

SaaSサービス Datadog? !9

その他（何があるんだろう？） Prometheus? !10

アジェンダ • Elastic Stackとは？ • Kafkaのモニタリングを軽く試してみるには？ • さらに色々試してみるには？ !11

Elastic Stackとは？ !12

Elastic Stack Kibana 可視化、管理 Elasticsearch 保存、検索、分析 Beats Logstash インジェスト

Application Search Metrics Elastic Stack Site Search APM Enterprise Search Logging Business Analytics Security Analytics Future ソリューション Kibana 可視化、管理 Elasticsearch 保存、検索、分析 Beats Logstash インジェスト

App Search Site Search Metrics Elastic Stack APM Enterprise Search Logging Business Analytics Security Analytics Future ソリューション Kibana 可視化、管理 Elasticsearch 保存、検索、分析 Beats SaaS Elastic Cloud Logstash インジェスト Self Managed Elastic Cloud Enterprise Standalone デプロイ

Application Search Site Search Metrics Elastic Stack APM Enterprise Search Logging Business Analytics Security Analytics Future ソリューション Kibana 可視化、管理 Elasticsearch 保存、検索、分析 Beats SaaS Elastic Cloud Logstash インジェスト Self Managed Elastic Cloud Enterprise Standalone デプロイ

!17

Beats 軽量データシッパーソースからデータを転送転送しElasticsearchに集約変換とパースのため Logstashに転送 Elastic Cloudに転送 Libbeat: カスタムbeatsのためのAPIフレームワーク 30以上のコミュニティbeats 18

The Beats family Packetbeat Metricbeat Winlogbeat Network data Metrics Windows Event Logs Auditbeat Filebeat Audit data Log files Heartbeat Uptime monitoring +40 community Beats

!20

Logstash データ加工パイプライン全ての形式、サイズとデータソースの投入パースと動的なデータ変換あらゆる出力にデータ転送安全で暗号化されたデータ入力独自のパイプライン処理の作成 200以上のプラグイン 21

!22

Elasticsearch Heart of the Elastic Stack 分散型、スケーラブル高可用性マルチテナント開発者フレンドリーリアルタイム、全文検索アグリゲーション 23

!24

Kibana Window into the Elastic Stack 可視化と分析地理空間カスタマイズとレポートの共有グラフ探索 Elastic Stackへのセキュアなアクセスと管理カスタムAppsの作成 25

Kibana 6 !26

Elastic Stackの構成 Beats Log Files Elasticsearch Kibana Wire Data Instances Nodes Metrics your{beat} Distributed Message Queue Kafka !27 Data Store Web APIs Social Sensors Logstash Nodes Queues Storage Metrics Notification

Kafkaのモニタリング with Beats !28

監視ポイント？ • 外形監視 → Heartbeat • メトリック（メトリクス） → Metricbeat • • !29 サーバー、アプリケーションログ → Filebeat

Heartbeat Lightweight Shipper for Uptime Monitoring

Uptime UI Dedicated Uptime Monitoring UI for Kibana

Metricbeat Collect system and application metrics

Metricbeat lots of modules

Metricbeat モジュール ● ● ● ● ● ● ● ● ● ● ● ● !34 Aerospike module Apache module Ceph module Couchbase module Docker module Dropwizard module Elasticsearch module Etcd module Golang module Graphite module HAProxy module HTTP module ● ● ● ● ● ● ● ● ● ● ● ● Jolokia module Kafka module Kibana module Kubernetes module kvm module Logstash module Memcached module MongoDB module Munin module MySQL module Nginx module ● ● ● ● ● ● ● ● ● ● PHP_FPM module PostgreSQL module Prometheus module RabbitMQ module Redis module System module uwsgi module vSphere module Windows module ZooKeeper module

Metricbeat モジュール ● ● ● ● ● ● ● ● ● ● ● ● !35 Aerospike module Apache module Ceph module Couchbase module Docker module Dropwizard module Elasticsearch module Etcd module Golang module Graphite module HAProxy module HTTP module ● ● ● ● ● ● ● ● ● ● ● ● Jolokia module Kafka module Kibana module Kubernetes module kvm module Logstash module Memcached module MongoDB module Munin module MySQL module Nginx module ● ● ● ● ● ● ● ● ● ● PHP_FPM module PostgreSQL module Prometheus module RabbitMQ module Redis module System module uwsgi module vSphere module Windows module ZooKeeper module

デモ画面 - Metricbeat Kafka module !36

Filebeat tail log from file

Filebeat many modules

Filebeat modules - v6.4.2 • Apache2 module • MySQL module • Auditd module • Nginx module • Icinga module • Osquery module • IIS module • PostgreSQL module • Kafka module • Redis module • Logstash module • System module • MongoDB module • Traefik module

Filebeat modules - v6.4.2 • Apache2 module • MySQL module • Auditd module • Nginx module • Icinga module • Osquery module • IIS module • PostgreSQL module • Kafka module • Redis module • Logstash module • System module • MongoDB module • Traefik module

デモ画面 - Filebeat Kafka module !41

さらに活用するには？ !42

!43

!44

!45

!46

!47

参考文献 • Elasticsearch - The Definitive guide ‒ http://www.elastic.co/guide/en/elasticsearch/guide/current/ index.html • 書籍（日本語） !48 ‒ データ分析基盤構築入門 ‒ Elasticsearch実践ガイド

参考サイト • ユースケース • https://www.elastic.co/use-cases • Discuss（Webフォーラム） • https://discuss.elastic.co • Elastic{ON}のビデオと資料 • https://www.elastic.co/elasticon/videos • サポートメニュー • https://www.elastic.co/subscriptions !49

Thank you! ● Web : https://www.elastic.co/jp/ ● Forums : https://discuss.elastic.co/ ● Twitter : @johtani

Jun Ohtani
@johtani

1 / 50

Apache Kafka Meetup Japan #6 @Yahoo! JAPANで話をした時の資料になります。デモを行ったのですが、画面の画像を代わりにスライドに追加してあります。