[Config Tool] Ayar dosyaları oluşturma bölümünün tasarımı

[farukuzun]

Flume ayar dosyalarını (config) hem grafiksel arayüzle, hem de web editör ile (el ile) düzenleme desteği eklenmeli. Arayüz için; Flume ile en çok kullanılan sink, channel ve source seçenekleri ayar dosyasına yazılabilecek kalıpta veritabanına eklenmeli. Kullanıcı bunları drop-down menüler aracılığıyla kolayca seçebilmeli. Cloumon bu işi nasıl yapıyor öğrenip, kopya çekmek işleri hızlandırır.

Örnek ayar dosyası;

a1.sources = r1
a1.sinks = k1
a1.channels = c1

a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

a1.sinks.k1.type = logger

a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

[farukuzun]

http://flume.apache.org/FlumeUserGuide.html#configuration

Resmi dökümanlarda çok güzel anlatılmış, sanırım daha çok okumalıyım.

[farukuzun]

Ayarlar sayfasından => Flume ayar dosyası yaratmak istiyorum => İki seçenek gelir

a) Dosyayı yüklemek istiyorum b) Adım adım fluman ile yaratmak istiyorum.

[Upload edilme kisminda dosya laravel'in storage dizininde bir yerlere atilir. (Hatta storage'i tüm ayar dosyaları için kullanmak mantıklı, zaten izinleri 777) Ayrıca Dosyaya bir isim verilir. Adım adım yaratma kısmında aynı zamanda bu dosyalar düzenlenebilmeli.

Eklenen tüm dosyalar anamenüdeki Fluman kısmında ayar dosyaları sekmesine görüntülenmeli.

Adım adım yaratma kısmı biraz ilginç. Hem el ile hem de dropdown list ile seçilebilmeli ayarlar.

Bu ayar dosyalarını non-relational bir veritabanında tutmak iyi bir fikir gibi gelmeye başladı.

[farukuzun]

Burada radikal değişiklik gerekiyor, son 2 commit'le yapılan şey, istenileni karşılamıyor.

[farukuzun]

Her seyi kullaniciya sormak yerine, isimleri fluman halletsin, arayüz çok sıkıcıydı bu yüzden değiştirdim ayar dosyaları üç kısımdan oluşuyor bu üç kısmın öntanımlı değerleri veritabanına eklenmeli, ama nasıl?

[farukuzun]

Örneğin aşağıda avro tipi source'a ait propertyler listelenmiş. compression-type, selector.type vs. gibi. https://flume.apache.org/FlumeUserGuide.html#avro-source

Ayar dosyasi olusturulurken kullanici avro tipini seçtiğinde c'ye bastığında otomatik tamamlama ile ona compression-type'i getirebilmem gerek.

Bu propertyleri veritabaninda mi tutmaliyim yoksa javascript ile listelerde mi emin olamadim. elimde mongodb olsa harika olurdu ancak mongodb veritabanı kullanmak kurulum kolaylığı ilkesini bozuyor. aslinda javascriptte python'daki dictionary gibi bir sey varsa en mantikli yöntem o olur.

başka bir öneriye de açığım. php'de bilmediğim bu işi yapabilen bir şeyler olabilir.

[farukuzun]

Taşınabilir diskteki işletim sistemimde nerdeyse bitirdim burayı, tasarım çirkin ancak kullanılabilirlik iyi oldu, push ederken screenshot'ları wikiye ekleyeceğim. Hiç flume bilmeyen biri sadece yapılandırma dosyası yaratmak için bu aracı kullanabilir. Olabildiğince kullanıcı dostu geldi bana.