search

COMU / Fluman

Apache Flume Management & Monitoring Tool
GNU General Public License v3.0
5 stars 4 forks source link

[Monitoring] Çalışan flume vekillerini görüntüleme desteği #1

Open farukuzun opened 11 years ago

farukuzun commented 11 years ago

Çalışan flume vekilleri (agent) flume-ng aracılığıyla görüntülenemiyor, daha önce çalıştırılmış dahil, çalışan tüm flume vekillerini görüntülemenin yolları araştırılıp, özellik olarak eklenmeli.

farukuzun commented 10 years ago

flume master komutu bu işi yapıyor, local'de bir web adresine gönderiyor bilgileri, ancak bu flume'ün eski sürümü, yeni sürümde var mı test edilip, varsa o bilgilerin parse edilip aktarilmasi gerek.

http://archive.cloudera.com/cdh/3/flume/UserGuide/#_the_master

ygokirmak commented 10 years ago

// yanlışlıkla kapalı issue'yu güncellemişim, yorumumu buraya da alıyorum

Arayüzde sistemde şu anda çalışan bütün flume agent'ların listelebilmesi gerekiyor.

fluman merkezi bir yerde çalışan bir arayüz uygulaması olacak.

bu yüzden networkde dağıtık olarak bulunabilecek olan flume agentlarının bilgisini "bir yerden" alabilmemiz gerekiyor. Flume mimarisi içinde bu ihtiyacı "master-node" karşılıyor.

Fluman master-node ile nasıl konuşur ve sistemde çalışan flume agentları hakkında ne detayda bilgi alabilir bunun netleştirilmesi gerekiyor.

Örneğin, bir flume agent'in ismi, hangi ip'de çalıştığı, configurasyon dosyası gibi bilgiler elde edilebiliyor mu ?

ygokirmak commented 10 years ago

mimarinin oturtulması ve önümüzü sağlıklı bir şekilde görebilmemiz için en öncelikli maddemiz bu, bu konuda bir noktaya geldin mi faruk? nedir durum

farukuzun commented 10 years ago

Selamlar, üzgünüm ancak başlayabildim.

Öncelikle makinelerinizde hangi flume sürümünü kullanıyorsunuz. Çünkü Flume-ng'den sonra master-node ilişkisi yerini agent'lara bıraktı diye okudum.

Fluman'a Flume-ng'yi yönettirmek için başladım. Nasıl ilerlemeliyim bilmiyorum.

ygokirmak commented 10 years ago

flume-ng'yi kullanmayı hedefliyoruz ama başka bir sürüme de geçebiliriz sorun yok o konuda..

node-master ilişkisinin agentlara bırakılması ne demek? biraz açar mısın burayı ya da link varsa verir misin

farukuzun commented 10 years ago

Bu kısmı yapmak için aklıma gelen yöntemler.

  1. Yapılandırma dosyalarına müdahele etmek. Makinede fluman ile bir port açıp dinlerim, tüm flume'lar json-reporting ile durumlarını gönderirler.)
  2. pid'ler (Sadece aynı makinedeki flume agentları görüntüleyebilmek için, bence ekstra olarak eklenmeli, sonuçta sadece fluman'ın kurulduğu makinedeki agentları görmek isteyenler olacaktır.)
  3. Üçüncü-parti yazılımlar. (Bana uyar ancak sonuçta bu yazılımlar da flume agent'lara müdahele etmeyi gerektiriyor.( Bkz: 1) Bence fluman olabildiğince sade, indir, kullan biçiminde olmalı.)

Ayrıca ben araştırmama rağmen, network'teki diğer makinelere herhangi bir yazılım kurmadan, onlarda çalışan herhangi bir aracı gözlemleyecek bir yazılım göremedim, genelde o makinelere de bir ayar çekmek gerekiyor. Hali hazırda tüm bu makinelerde kullanılan araçlar için destek eklenebilir. (Örn; tüm ağdaki makineleri bir araçla görüntüleyebiliyorsanız, bu yazılım ile Fluman'ı konuşturabilirim.)

Bu arada; @ygokirmak telefonda konuştuğumuz için yanıtlamadım.

Muhtemelen kaçırdığım bir şeyler vardır, ekleme yaparsanız çok iyi olur.