Elastic StackでKafkaをモニタリング！
を始めてみるには？

Elastic StackでKafkaをモニタリング！ を始めてみるには？ 2019/04/08 Community Engineer @Elastic Jun Ohtani @johtani !1

about • • !2 Me, Jun Ohtani / Community Engineer ‒ lucene-gosenコミッター ‒ データ分析基盤構築入門 共著 ‒ http://blog.johtani.info Elastic, founded in 2012 ‒ Products: Elasticsearch, Logstash, Kibana, Beats Elastic APM, Elastic Cloud, Swiftype Professional services: Support & development subscriptions Trainings, Consulting, SaaS

Kafkaを利用している人？ !3

Kafkaの運用をしている人？ !4

Kafkaの監視どうやってます？ !5

監視してない （ワイルド。。。） !6

Zabbixで監視 !7

Confluent Control Center !8

SaaSサービス Datadog? !9

その他 （何があるんだろう？） Prometheus? !10

アジェンダ • Elastic Stackとは？ • Kafkaのモニタリングを軽く試してみるには？ • さらに色々試してみるには？ !11

Elastic Stackとは？ !12

Elastic Stack Kibana 可視化、管理 Elasticsearch 保存、検索、分析 Beats Logstash インジェスト

Application Search Metrics Elastic Stack Site Search APM Enterprise Search Logging Business Analytics Security Analytics Future ソリューション Kibana 可視化、管理 Elasticsearch 保存、検索、分析 Beats Logstash インジェスト

App Search Site Search Metrics Elastic Stack APM Enterprise Search Logging Business Analytics Security Analytics Future ソリューション Kibana 可視化、管理 Elasticsearch 保存、検索、分析 Beats SaaS Elastic Cloud Logstash インジェスト Self Managed Elastic Cloud Enterprise Standalone デプロイ

Application Search Site Search Metrics Elastic Stack APM Enterprise Search Logging Business Analytics Security Analytics Future ソリューション Kibana 可視化、管理 Elasticsearch 保存、検索、分析 Beats SaaS Elastic Cloud Logstash インジェスト Self Managed Elastic Cloud Enterprise Standalone デプロイ

!17

Beats 軽量データシッパー ソースからデータを転送 転送しElasticsearchに集約 変換とパースのため Logstashに転送 Elastic Cloudに転送 Libbeat: カスタムbeatsのた めのAPIフレームワーク 30以上のコミュニティbeats 18

The Beats family Packetbeat Metricbeat Winlogbeat Network data Metrics Windows Event Logs Auditbeat Filebeat Audit data Log files Heartbeat Uptime monitoring +40 community Beats

!20

Logstash データ加工パイプライン 全ての形式、サイズとデータ ソースの投入 パースと動的な データ変換 あらゆる出力に データ転送 安全で暗号化された データ入力 独自のパイプライン処理 の作成 200以上のプラグイン 21

!22

Elasticsearch Heart of the Elastic Stack 分散型、スケーラブル 高可用性 マルチテナント 開発者フレンドリー リアルタイム、全文検索 アグリゲーション 23

!24

Kibana Window into the Elastic Stack 可視化と分析 地理空間 カスタマイズと レポートの共有 グラフ探索 Elastic Stackへの セキュアなアクセスと管理 カスタムAppsの作成 25

Kibana 6 !26

Elastic Stackの構成 Beats Log Files Elasticsearch Kibana Wire Data Instances Nodes Metrics your{beat} Distributed Message Queue Kafka !27 Data Store Web APIs Social Sensors Logstash Nodes Queues Storage Metrics Notification

Kafkaのモニタリング with Beats !28

監視ポイント？ • 外形監視 → Heartbeat • メトリック（メトリクス） → Metricbeat • • !29 サーバー、アプリケーション ログ → Filebeat

Heartbeat Lightweight Shipper for Uptime Monitoring

Uptime UI Dedicated Uptime Monitoring UI for Kibana

Metricbeat Collect system and application metrics

Metricbeat lots of modules

Metricbeat モジュール ● ● ● ● ● ● ● ● ● ● ● ● !34 Aerospike module Apache module Ceph module Couchbase module Docker module Dropwizard module Elasticsearch module Etcd module Golang module Graphite module HAProxy module HTTP module ● ● ● ● ● ● ● ● ● ● ● ● Jolokia module Kafka module Kibana module Kubernetes module kvm module Logstash module Memcached module MongoDB module Munin module MySQL module Nginx module ● ● ● ● ● ● ● ● ● ● PHP_FPM module PostgreSQL module Prometheus module RabbitMQ module Redis module System module uwsgi module vSphere module Windows module ZooKeeper module

Metricbeat モジュール ● ● ● ● ● ● ● ● ● ● ● ● !35 Aerospike module Apache module Ceph module Couchbase module Docker module Dropwizard module Elasticsearch module Etcd module Golang module Graphite module HAProxy module HTTP module ● ● ● ● ● ● ● ● ● ● ● ● Jolokia module Kafka module Kibana module Kubernetes module kvm module Logstash module Memcached module MongoDB module Munin module MySQL module Nginx module ● ● ● ● ● ● ● ● ● ● PHP_FPM module PostgreSQL module Prometheus module RabbitMQ module Redis module System module uwsgi module vSphere module Windows module ZooKeeper module

デモ画面 - Metricbeat Kafka module !36

Filebeat tail log from file

Filebeat many modules

Filebeat modules - v6.4.2 • Apache2 module • MySQL module • Auditd module • Nginx module • Icinga module • Osquery module • IIS module • PostgreSQL module • Kafka module • Redis module • Logstash module • System module • MongoDB module • Traefik module

Filebeat modules - v6.4.2 • Apache2 module • MySQL module • Auditd module • Nginx module • Icinga module • Osquery module • IIS module • PostgreSQL module • Kafka module • Redis module • Logstash module • System module • MongoDB module • Traefik module

デモ画面 - Filebeat Kafka module !41

さらに活用するには？ !42

!43

!44

!45

!46

!47

参考文献 • Elasticsearch - The Definitive guide ‒ http://www.elastic.co/guide/en/elasticsearch/guide/current/ index.html • 書籍（日本語） !48 ‒ データ分析基盤構築入門 ‒ Elasticsearch実践ガイド

参考サイト • ユースケース • https://www.elastic.co/use-cases • Discuss（Webフォーラム） • https://discuss.elastic.co • Elastic{ON}のビデオと資料 • https://www.elastic.co/elasticon/videos • サポートメニュー • https://www.elastic.co/subscriptions !49

Thank you! ● Web : https://www.elastic.co/jp/ ● Forums : https://discuss.elastic.co/ ● Twitter : @johtani