ELK Yığın Eğitimi: Kibana, Logstash ve Elasticsearch nedir?

ELK Yığını nedir?

NS HERHANGİ BİR Yığın Elasticsearch, Logstash ve Kibana olmak üzere üç açık kaynaklı üründen oluşan bir koleksiyondur. ELK yığını, sunucular veya uygulamalarla ilgili sorunları belirlemek için merkezi günlük kaydı sağlar. Tüm günlükleri tek bir yerde aramanızı sağlar. Ayrıca, belirli bir zaman aralığında günlükleri bağlayarak birden çok sunucudaki sorunları bulmaya da yardımcı olur.

  • VE ElasticSearch anlamına gelir: günlükleri depolamak için kullanılır
  • NS LogStash anlamına gelir: günlükleri hem nakliye hem de işleme ve depolama için kullanılır
  • İLE Kibana'nın kısaltmasıdır: bir görselleştirme aracı (bir web arayüzü) Nginx veya Apache üzerinden barındırılır

ElasticSearch, LogStash ve Kibana, Elastic adlı şirket tarafından geliştirilir, yönetilir ve sürdürülür.

ELK Stack, kullanıcıların herhangi bir kaynaktan, herhangi bir formatta veri almasına ve bu verileri gerçek zamanlı olarak aramasına, analiz etmesine ve görselleştirmesine izin verecek şekilde tasarlanmıştır.

Bu ELK yığın eğitiminde şunları öğreneceksiniz:

ELK Yığın Mimarisi

Şimdi bu ELK yığın eğitiminde ELK mimarisini öğreneceğiz:

İşte ELK yığınının basit mimarisi

ELK Yığın Mimarisi

  • Kütükler: Analiz edilmesi gereken sunucu günlükleri belirlenir
  • Günlük Deposu: Günlükleri ve olay verilerini toplayın. Hatta verileri ayrıştırır ve dönüştürür
  • Elastik Arama: Logstash'ten dönüştürülen veriler Mağaza, Arama ve dizine eklendi.
  • Kibana: Kibana, Keşfetmek, Görselleştirmek ve Paylaşmak için Elasticsearch DB'yi kullanıyor

Ancak, Beats adlı bir bileşene veya Veri toplamaya daha ihtiyaç vardır. Bu, Elastic'in ELK'yı Elastik Yığın olarak yeniden adlandırmasına neden oldu.

Çok büyük miktarda veri ile uğraşırken, arabelleğe alma ve esneklik için Kafka, RabbitMQ'ya ihtiyacınız olabilir. Güvenlik için nginx kullanılabilir.

Şimdi bu Elastik yığın eğitiminde, Tüm bu açık kaynaklı ürünleri derinlemesine inceleyelim:

Elasticsearch nedir?

Elasticsearch bir NoSQL veritabanıdır. Lucene arama motoruna dayalıdır ve RESTful APIS ile oluşturulmuştur. Basit dağıtım, maksimum güvenilirlik ve kolay yönetim sunar. Ayrıca detaylı analiz yapmak için gelişmiş sorgular sunar ve tüm verileri merkezi olarak saklar. Belgelerde hızlı arama yapmak için yararlıdır.

Elasticsearch ayrıca büyük hacimli verileri depolamanıza, aramanıza ve analiz etmenize olanak tanır. Çoğunlukla, arama gereksinimlerini tamamlayan uygulamalara güç sağlamak için temel motor olarak kullanılır. Modern web ve mobil uygulamalar için arama motoru platformlarında benimsenmiştir. Araç, hızlı aramanın yanı sıra karmaşık analizler ve birçok gelişmiş özellik sunar.

Elastik aramanın özellikleri:

  • Açık kaynak arama sunucusu Java kullanılarak yazılmıştır
  • Her türlü heterojen veriyi indekslemek için kullanılır
  • JSON çıktılı REST API web arayüzüne sahiptir
  • Tam Metin Arama
  • Gerçek Zamana Yakın (NRT) arama
  • Parçalanmış, çoğaltılmış aranabilir, JSON belge deposu
  • Şema içermeyen, REST & JSON tabanlı dağıtılmış belge deposu
  • Çoklu dil ve Coğrafi Konum desteği

Elasticsearch'ün Avantajları

  • Şemasız verileri depolar ve ayrıca verileriniz için bir şema oluşturur
  • Çoklu belge API'lerinin yardımıyla veri kaydınızı kayıt bazında işleyin
  • Öngörüler için verilerinizi filtreleme ve sorgulama işlemi gerçekleştirin
  • Apache Lucene'ye dayalıdır ve RESTful API sağlar
  • Daha hızlı arama yapmak için indekslemenin gerçek zamanlı kullanımı için yatay ölçeklenebilirlik, güvenilirlik ve çok kullanıcılı yetenek sağlar
  • Dikey ve yatay olarak ölçeklendirmenize yardımcı olur

Esnek Aramada Kullanılan Önemli Terimler

Şimdi bu ELK eğitiminde, ElasticSearch'te kullanılan temel terimleri öğrenelim:

Terimkullanım
Küme Küme, verileri bir arada tutan ve birleşik indeksleme ve arama yetenekleri sağlayan bir düğümler topluluğudur.
düğüm Düğüm, bir elasticsearch Örneğidir. Elasticsearch örneği başladığında oluşturulur.
dizin İndeks, benzer özelliklere sahip bir belge koleksiyonudur. örneğin müşteri verileri, ürün kataloğu. İndeksleme, arama, güncelleme ve silme işlemlerini gerçekleştirirken çok kullanışlıdır. Tek bir kümede çok sayıda dizin tanımlamanıza olanak tanır.
Belge İndekslenebilen temel bilgi birimidir. JSON (anahtar: değer) çiftinde ifade edilir. '{'user': 'nullcon'}'. Her bir Belge, bir tür ve benzersiz bir kimlikle ilişkilendirilir.
kırık Verileri dağıtabilmek için her dizin birkaç parçaya bölünebilir. Parça, daha fazla düğüm eklemek istiyorsanız kümeye dağıtılabilen bir dizinin atomik kısmıdır.

Logstash nedir?

Logstash, veri toplama boru hattı aracıdır. Veri girişlerini toplar ve Elasticsearch'e beslenir. Farklı kaynaktan her türlü veriyi toplar ve daha fazla kullanım için hazır hale getirir.

Logstash, farklı kaynaklardan gelen verileri birleştirebilir ve verileri istediğiniz hedeflere göre normalleştirebilir. Kullanım senaryolarının analizi ve görselleştirilmesi için tüm verilerinizi temizlemenize ve demokratikleştirmenize olanak tanır.

Üç bileşenden oluşur:

  • Giriş : günlükleri makine tarafından anlaşılır şekilde işlemek için geçirme

    biçim

  • Filtreler : Belirli bir eylemi veya olayı gerçekleştirmek için bir dizi koşuldur.
  • Çıktı : İşlenmiş olay veya günlük için karar verici

Logstash'ın Özellikleri

Şimdi bu LogStash eğitiminde, LogStash'in özelliklerini öğrenelim:

  • Olaylar, dahili kuyruklar kullanılarak her aşamadan geçirilir
  • Günlükleriniz için farklı girişlere izin verir
  • Günlükleriniz için filtreleme/ayrıştırma

Logstash'ın Avantajı

  • Teklifler veri işlemeyi merkezileştirir
  • Çok çeşitli yapılandırılmış/yapılandırılmamış veri ve olayları analiz eder
  • ELK LogStash, çeşitli giriş kaynakları ve platformlarla bağlantı kurmak için eklentiler sunar

Kibana nedir?

Kibana, ELK yığınını tamamlayan bir veri görselleştirmesidir. Bu araç, Elasticsearch belgelerini görselleştirmek için kullanılır ve geliştiricilerin belge hakkında hızlı bir fikir edinmelerine yardımcı olur. Kibana panosu, karmaşık sorguları görselleştirmek için çeşitli etkileşimli diyagramlar, coğrafi veriler ve grafikler sunar.

Elasticsearch dizinlerinde depolanan verileri aramak, görüntülemek ve bunlarla etkileşim kurmak için kullanılabilir. Kibana, gelişmiş performans göstermenize yardımcı olur veri analizi ve verilerinizi çeşitli tablolarda, çizelgelerde ve haritalarda görselleştirin.

Kibana'da verileriniz üzerinde arama yapmak için farklı yöntemler vardır.

İşte en yaygın arama türleri:

Arama Tipikullanım
Serbest metin aramalarıBelirli bir diziyi aramak için kullanılır
Alan düzeyinde aramalarBelirli bir alan içinde bir dizi aramak için kullanılır.
mantıksal ifadelerAramaları mantıksal bir ifadede birleştirmek için kullanılır.
Yakınlık aramalarıBelirli bir karakter yakınlığı içinde terimleri aramak için kullanılır.

Şimdi bu Kibana eğitiminde, Kibana'nın önemli özelliklerini öğrenelim:

Kinbana'nın Özellikleri:

  • Elastik kümeden dizine alınmış bilgileri görselleştirebilen güçlü ön uç gösterge panosu
  • Dizine alınmış bilgilerin gerçek zamanlı aranmasını sağlar
  • Elasticsearch'te depolanan verileri arayabilir, görüntüleyebilir ve bunlarla etkileşimde bulunabilirsiniz.
  • Veriler üzerinde sorgular yürütün ve sonuçları grafiklerde, tablolarda ve haritalarda görselleştirin
  • Elasticsearch'te logstash günlüklerini dilimlemek ve zar atmak için yapılandırılabilir pano
  • Grafikler, çizelgeler vb. şeklinde geçmiş verileri sağlama yeteneğine sahiptir.
  • Kolayca yapılandırılabilen gerçek zamanlı panolar
  • Kibana ElasticSearch, dizinlenmiş bilgilerin gerçek zamanlı aranmasını sağlar

Kinbana'nın Avantajları ve Dezavantajları

  • Kolay görselleştirme
  • Elasticsearch ile tamamen entegre
  • görselleştirme aracı
  • Gerçek zamanlı analiz, grafik oluşturma, özetleme ve hata ayıklama yetenekleri sunar
  • İçgüdüsel ve kullanıcı dostu bir arayüz sağlar
  • Aranan günlüklerin anlık görüntülerinin paylaşılmasına izin verir
  • Panoyu kaydetmeye ve birden çok panoyu yönetmeye izin verir

Neden Log Analizi?

Bulut tabanlı ortam altyapılarında performans ve izolasyon çok önemlidir. Buluttaki sanal makinelerin performansı, sistemdeki belirli yüklere, ortamlara ve aktif kullanıcı sayısına göre değişebilir. Bu nedenle, güvenilirlik ve düğüm hatası önemli bir sorun haline gelebilir.

Günlük yönetim platformu yukarıda belirtilen tüm sorunların yanı sıra işlem işletim sistemi günlüklerini, web trafiği analizi için NGINX, IIS sunucu günlüğünü, uygulama günlüklerini ve AWS'deki (Amazon web hizmetleri) günlükleri izleyebilir.

Günlük yönetimi, DevOps mühendislerinin, sistem yöneticisinin daha iyi iş kararları almasına yardımcı olur. Bu nedenle, Elastic Stack veya benzeri araçlarla log analizi önemlidir.

ELK vs Splunk

Her biriatılgan
Elk açık kaynaklı bir araçtırSplunk ticari bir araçtır.
Elk yığını, Kibana nedeniyle Solaris Taşınabilirliği sunmuyor.Splunk, Solaris Taşınabilirliği sunar.
İşlem hızı kesinlikle sınırlıdır.Doğru ve hızlı süreçler sunar.
ELK, Elastic Search-Logstash-Kibana kombinasyonu ile oluşturulmuş bir teknoloji yığınıdır.Splunk tescilli bir araçtır. Hem şirket içi hem de bulut çözümleri sunar.
ELK Aramada, Analiz ve Görselleştirme ancak ELK yığını kurulduktan sonra mümkün olacaktır.Splunk, emrinizde eksiksiz bir veri yönetimi paketidir.
ELK aracı, diğer araçlarla entegrasyonu desteklemez.atılgan diğer araçlarla entegrasyonlar kurmak için kullanışlı bir araçtır.

Durum çalışmaları

NetFlix

Netflix, ELK yığınına büyük ölçüde güveniyor. Müşteri hizmetleri operasyonunun güvenlik günlüğünü izlemek ve analiz etmek için ELK yığınını kullanan şirket. Neredeyse 800 düğüm içeren on beşten fazla kümeden belgeleri indekslemelerine, saklamalarına ve aramalarına olanak tanır.

LinkedIn

Ünlü sosyal medya pazarlama sitesi LinkedIn, performansı ve güvenliği izlemek için ELK yığınını kullanır. BT ekibi, yüklerini gerçek zamanlı olarak desteklemek için ELK'yı Kafka ile entegre etti. ELK operasyonları, altı farklı veri merkezinde 100'den fazla küme içerir.

Tripwire:

Tripwire, dünya çapında bir Güvenlik Bilgileri Olay Yönetim sistemidir. Şirket, bilgi paketi günlük analizini desteklemek için ELK'yı kullanır.

Orta:

Medium, ünlü bir blog yayınlama platformudur. Üretim sorunlarının hatalarını ayıklamak için ELK yığınını kullanırlar. Şirket ayrıca DynamoDB erişim noktalarını tespit etmek için ELK'yı kullanıyor. Ayrıca, bu yığını kullanarak şirket, her hafta 25 milyon benzersiz okuyucuyu ve binlerce yayınlanmış gönderiyi destekleyebilir.

ELK yığınının Avantajları ve Dezavantajları

Avantajlar

  • ELK, bir kuruluşun çeşitli Uygulamalarından alınan günlükler tek bir ELK örneğinde birleştiğinde en iyi sonucu verir
  • Bu tek örnek için harika bilgiler sağlar ve ayrıca yüzlerce farklı günlük veri kaynağında oturum açma ihtiyacını ortadan kaldırır.
  • Hızlı yerinde kurulum
  • Terazileri dikey ve yatay olarak dağıtmak kolay
  • Elastic, Ruby'yi içeren bir dizi dil istemcisi sunar. Python. PHP, Perl, .NET, Java ve JavaScript ve daha fazlası
  • Farklı programlama ve komut dosyası dilleri için kitaplıkların mevcudiyeti

Dezavantajları

  • Karmaşık kuruluma geçtiğinizde yığındaki farklı bileşenlerin işlenmesi zor olabilir
  • Deneme yanılma gibisi yok. Böylece, ne kadar çok yaparsanız, yol boyunca o kadar çok öğrenirsiniz.

Özet

  • Sunucular veya uygulamalarla ilgili sorunları belirlemeye çalışırken merkezileştirilmiş günlük kaydı yararlı olabilir
  • ELK sunucu yığını, merkezi kayıt sistemiyle ilgili sorunları çözmek için kullanışlıdır
  • ELK yığını, Elasticsearch, Logstash Kibana olmak üzere üç açık kaynaklı araçtan oluşan bir koleksiyondur.
  • Elasticsearch bir NoSQL veritabanıdır
  • Logstash, veri toplama boru hattı aracıdır
  • Kibana, ELK yığınını tamamlayan bir veri görselleştirmesidir.
  • Bulut tabanlı ortam altyapılarında performans ve izolasyon çok önemlidir.
  • ELK'da yığın işleme hızı kesinlikle sınırlıdır, oysa atılgan doğru ve hızlı süreçler sunar
  • Netflix, LinkedIn, Tripware, Medium, hepsi işleri için ELK yığınını kullanıyor
  • ELK Syslog, bir kuruluşun çeşitli Uygulamalarındaki günlükler tek bir ELK örneğinde birleştiğinde en iyi sonucu verir
  • Karmaşık kuruluma geçtiğinizde yığındaki farklı bileşenlerin işlenmesi zor olabilir

bizim başvurun ElasticSearch Mülakat Soruları ve Cevapları daha taze ve deneyimli adaylar için.