Bir Flume-agent'ın uzaktan configure edilmesi

[ygokirmak]

Çalışan bir flume agent uzaktan configure edilebiliyor mu, edilebiliyorsa nasıl? flume-master bunu yapabiliyor mu?

[farukuzun]

Bir flume agent'ın _çalışırken_ kontrol edilmesine rastlayamadım. Önce aynı kaynağı dinleyen yeni bir flume agent yapılandırılması oluşturulur. Ardından halihazırda çalışan durdurulur. Bu şekilde de aynı yetkiyi yaratabilir diye düşünüyorum.

Uzaktan kısmına gelirsek, Fluman nginx, apache gibi bir şey üzerinde çalışırsa ve gerekli izinlere sahip olursa internet üzerinden ulaşılıp flume'u kolayca yönetebilmesi, projenin amaçlarından.

Flume-master ile ilgili herhangi bir şeye son sürümde rastlayamadım, bug tracker'larını araştıracağım, eğer yoksa pidler kontrol edeceğim gibi duruyor.

Not: yanılıyor olabilir, çünkü ben yalnızca tek bir makine ve ip üzerinde flume ile çalıştım.

[ygokirmak]

Flume agent'ın configurasyon dosyasını değiştiğinde flume kendisi otomatik olarak ayarları yüklüyor, o yüzden çalışırken ayarların değişmesi mevcutta desteklenen bir özellik.

fluman bir a makinesinde olmalı, ama benim b,c,d,e,f,g,h makinalarında flume agentları var ve her makinada 10 ar tane agentım var diyelim..

a makinasındaki fluman arayüzünde bütün agentları yönetibiliyor olmamız lazım.. bu konuda aynı noktada mıyız?

flume-master'a ben de bakıyorum. o olmadan pid'ler ile olmaz bu iş.. network seviyesinde bir şekilde agent'ın merkezi bir deamonla konuşması gerekiyor.

[farukuzun]

O halde halihazırda varolan bir yapılandırma dosyasını düzenleme desteği eklenmeli.

A makinesinden b,c,d gibi makinelerdeki çalışan flume agent'ları nasıl kontrol ettirebiliriz bunu araştıracağım, şu an aklıma bir çözüm gelmiyor.

Flume'u ayar dosyalarıyla çalıştırıyorsanız bu dosyaları aynı yerde mi tutuyorsunuz?

[syigit]

Selam Faruk, Farklı makinelerdeki agentları nasıl yönetebiliriz, remote management konusunda birşey çıktı mı? Bu konuyla ilgili başka ayrıntılı sorular varsa dönüş yapabilirmisin.

[farukuzun]

Gecikmeler için üzgünüm ancak başlayabildim çalışmaya. Bu konuyu araştırdım. flume-master yeni sürümlerde yok. Dağıtık flume kurulumu anlatımları ve yönetimi genelde eski sürümler üzerinden yapılmış.

Ağda dağıtık çalışan flume agent'larına ulaşmak için şimdilik aklıma gelen tek yöntem bunların yapılandırma (config) dosyalarının olduğu dizinleri belirlemek ve ulaşmak.

Bu konu hakkında ne düşünüyorsunuz? Eğer uygunsa kafamdaki tasarımını buraya yazabilirim.

[ygokirmak]

Faruk, puppet, chef veya ansible aracılığıyla configurasyonun yönetilebileceğinden bahsettiler

@syigit da bunu önermişti

Flume listesindeki adam şöyle yazmış

" Monitoring and configuration are two separate things here. Flume is typically monitored using either ganglia or http/json. Both methods are documented here: http://flume.apache.org/FlumeUserGuide.html#monitoring

As for configuration management and changes a common way of handling this would be to use a configuration management tool such as chef, puppet or ansible. The agent polls the conf file every 30 seconds and if changes are detected than the necessary components will be dynamically reloaded. "

puppet, chef, ansible'dan hangisini nasıl kullanacağımızı değerlendirmek lazım. ayrı bir issue acarak devam ediyorum

[farukuzun]

Bu konuyla ilgili çokca araştırma yaptım dün. Bu işi yapan Cloudera Manager network'teki tüm makinelerle kendi belirlediği, kurulacak bir yazılım aracılığıyla konuşuyor. Flume'ün eski sürümlerindeki master node yeni sürümlerine aktarılmamış. Eski sürümlerin dökümanlarında şurada konudan bahsedilmiş. Bu olayi mumkun kilmak için aklıma bir kaç şey geldi, yeni issue'da tartışalım.