A presentation at 第30回Elasticsearch勉強会 in in Tokyo, Japan by Jun Ohtani
Elastic再入門 Jun Ohtani, Kosho Owa 2019/03/20 @Elastic
どのくらい再入門？
Elasticsearch (Es) 0.90系から触ってない人？ Kibana 3系
Es1.x系から触ってない人？ Kibana 3系
5
Es2.x系から触ってない人？ Kibana 4系
7
5.x系から触ってない人？ Kibana 5系
9
6.2系から触ってない人？
11
Elastic Stackとは？ !12
Elastic Stack Kibana 可視化、管理 Elasticsearch 保存、検索、分析 Beats Logstash インジェスト
Application Search Metrics Elastic Stack Site Search APM Enterprise Search Logging Business Analytics Security Analytics Future ソリューション Kibana 可視化、管理 Elasticsearch 保存、検索、分析 Beats Logstash インジェスト
App Search Site Search Metrics Elastic Stack APM Enterprise Search Logging Business Analytics Security Analytics Future ソリューション Kibana 可視化、管理 Elasticsearch 保存、検索、分析 Beats SaaS Elastic Cloud Logstash インジェスト Self Managed Elastic Cloud Enterprise Standalone デプロイ
Application Search Site Search Metrics Elastic Stack APM Enterprise Search Logging Business Analytics Security Analytics Future ソリューション Kibana 可視化、管理 Elasticsearch 保存、検索、分析 Beats SaaS Elastic Cloud Logstash インジェスト Self Managed Elastic Cloud Enterprise Standalone デプロイ
!17
Beats 軽量データシッパー ソースからデータを転送 転送しElasticsearchに集約 変換とパースのため Logstashに転送 Elastic Cloudに転送 Libbeat: カスタムbeatsのた めのAPIフレームワーク 30以上のコミュニティbeats 18
The Beats family Packetbeat Metricbeat Winlogbeat Network data Metrics Windows Event Logs Auditbeat Filebeat Audit data Log files Heartbeat Uptime monitoring +40 community Beats
!20
Logstash データ加工パイプライン 全ての形式、サイズとデータソー スの投入 パースと動的な データ変換 あらゆる出力に データ転送 安全で暗号化された データ入力 独自のパイプライン処理 の作成 200以上のプラグイン 21
!22
Elasticsearch Heart of the Elastic Stack 分散型、スケーラブル 高可用性 マルチテナント 開発者フレンドリー リアルタイム、全文検索 アグリゲーション 23
!24
Kibana Window into the Elastic Stack 可視化と分析 地理空間 カスタマイズと レポートの共有 グラフ探索 Elastic Stackへの セキュアなアクセスと管理 カスタムAppsの作成 25
Kibana 6 !26
Elastic Stackの構成 Beats Log Files Elasticsearch Kibana Wire Data Instances Nodes Metrics your{beat} Distributed Message Queue Kafka !27 Data Store Web APIs Social Sensors Logstash Nodes Queues Storage Metrics Notification
Solutions !30
Infrastructure UI !32
Infrastructure Solution Beta | Basic (free) インフラオペレーター向けに特化 1000を超えるインフラの構成を俯瞰 Kubernetes、Docker のネイティブサポー ト メトリック、ログ、APM ビューへの ドリル・ダウン アドホックおよび構造化検索
Logs UI !34
Logs Solution Beta | Basic (free) ライブでログのトラブルシューティング を助ける軽量なログビューアー コンソールのような表示 (tail -fのような)ライブ・ログ・ストリー ミング 履歴ログの無限スクロール アドホックおよび構造化検索
APM !36
Java & Go Agents GA OSS Javaサポート: Java 7-11 テクノロジー/フレームワーク: Servlet API, Spring Web MVC, Spring Boot, Tomcat, WildFly, Jetty, Websphere, JDBCなど Goのサポート: Go 1.8+ テクノロジー/フレームワーク: httprouter, Echo, Gin, gorilla/mux, database/sql, GORM, gocql, gRPC
Distributed Tracing Beta | Basic (free) 全ての計測されたサービスを見るための 統合されたビュー サブコンテキスト内のトレースに遷移 OpenTracing 互換
機能をピックアップ !39
!40
Data Rollups Rollups API (6.3 - Experimental) 容量が。。。 ● API for creating an Elasticsearch process periodically store aggregate statistics ● to 定期的に統計データを集約して保存するElasticsearchのJobを登録 ● Primary benefit is space savings ● 主な利点は容量の削減 ○ Faster queries ● データが少なくなるため ○ Potentially less nodes to manage ○○ Smaller snapshots Queryがより高速に ○○ Longer 少ないノードでデータを管理 retention times ○○ etc. Snapshotがより小さく ● Query rolled up data and “live” data ○ データの保持期間がより長く together in a single query. ● 1つのクエリでロールアップしたデータとしてないデータを問い合わせ !41 X-Pack feature (Basic, free)
Cross-Cluster Replication Beta | Platinum Production DC Elasticsearch クラスター間でインデッ クスを複製 これまでの回避策では、運用上のオーバー ヘッド、複数のテクノロジーの採用、シ ステムの複雑さなどがあった Disaster Recovery DC Leader Follower
Kibana Query Languageで自動補完 !43
Index Management UI UIでIndex管理 !44 X-Pack feature (Basic, free)
Canvas: Create live pixel-perfect presentations Beta | Basic (free)
Spaces Basic (free) / Gold ビジュアル、ダッシュボードなどを、独 立したスペースに分けて整理 ロールベースのアクセス制御を使用して 空間へのユーザーアクセスを制御する マルチテナントの簡素化 ユースケース: ● 組織 ● 段階的フェーズ (開発、ステージ、 プロダクションなど) ● セキュリティ (アクセスの制限)
Beats Central Management Beta | Gold Metricbeat Beats 群を一元管理 ● Beats の登録と解除 Metricbeat ● 設定の追加、変更、削除 Metricbeat UI および API 経由で管理 現在のサポート対象: ● Filebeat (入力、モジュール) ● Metricbeat (モジュール) Filebeat Filebeat Filebeat Beats Admin
Heartbeat GA OSS 新しい設定のリロード機能により、 Heartbeat モニターを簡単に作成、更 新、削除できるように Docker & Kubernetes の自動検出 KibanaのAdd Dataにチュートリアル
Demo !49
Data Visualizer for Files Experimental | Basic (free) 機械学習を最大限に活用するには、デー タを理解する必要がある データビジュアライザーで、ファイル (最 大 100 mb) をアップロード フィールドの識別とインデックスパター ンの作成に ファイル構造APIを使用でき るように CSV、区切りテキスト、または JSON ファイルに対応
Machine Learning
Machine Learning - https://www.elastic.co/jp/products/stack/machine-learning 52
第30回Elasticsearch勉強会 - Elastic再入門で使用したスライドです。 demoでお見せした、CSV読み込みとMachine Learningのスライドを少し追加しました。
for free. You
can too.