ulgens / tez-ismi-bul

maidis :heart:
The Unlicense
3 stars 0 forks source link

Büyük Düşünmek #3

Open maidis opened 6 years ago

maidis commented 6 years ago

Ülgen projeyi bir bakıma sadece benim için yaptın :) ve benim için bu kadarı fazlasıyla yeterli ama aracı herkesin her amaçla işine yarar hale getirmeyi düşünürsen ve sen yapmak için zaman ve motivasyon bulamazsan bile bu yönde gelen katkıları kabul edersen çok güzel olabilir.

Demek istediğim bu araç sadece tez numarasından ismini ve çeşitli bilgilerini döndürmekle kalmayıp Ulusal Tez Merkezi Tarama Ekranı için bir konsol önyüzü olsa nasıl olur?

ulgens commented 6 years ago

Büyük düşünelim ❤️

Benim aklımda web arayüzü tarafında bir şeyler vardı. Malumunuz uğraştığımız web sayfaları oldukça çirkin tasarlanmış, içeriğin okunması gibi en basit fonksiyonel ihtiyaç için bile sayfanın büyütülmesine ihtiyaç duyan şeyler. Aynı zamanda, veritabanındaki bilgilerin analizinin oldukça değerli sonuçlar verebileceğini düşünüyorum ancak ham veriyi indirmek gibi seçeneğimiz, bulabildiğim kadarıyla, yok. Hepsine ek, sistem bir programlama arayüzü (API) de sunmuyor. Önceliğim ham veriyi indirip düzenleyebileceğim bir şey yapmak olacak diye tahmin ediyorum ama bir konsol arayüzü de oldukça şık olabilir, hatta daha kolay bir iş olacaktır.

Aklında ne gibi özellikler var, konuşmaya başlayalım 😺

maidis commented 6 years ago

Aslında yerleşmiş bir açık veri politikası olsa Türkiye'de, bizim onlardan istememize gerek kalmadan internet sitesinin kullandığı veritabanı indirilebilir olarak sağlanırdı. Ama yok bu şu an ve söylediğin gibi alternatif bir yol da gözüme çarpmadı elde etmek için benim de.

Yazılacak konsol arayüzünün başarımı için bilgilerin bir kereliğine tamamen tez.yok.gov.tr'den çekilmesi bunların bir veritabanına aktarılması ve bu veritabanının arasıra elle tez.yok.gov.tr'den çekilecek yeni verilerle güncellenmesi gerekiyor.

Örneğin şu an 486750 tez bilgisi bulunuyor ve siteden sadece başlıklar üzerinden bir analiz yapmak istediğimden başlıkları çekeyim dedim ama 5000'den sonra bunun makul bir sürede olmayacağını düşünerek bıraktım. Başlık bilgilerini ben çektikten sonra internette paylaşmazsam bunlar üzerinden bir çalışma yapmak isteyen de tekrar elde etmek zorunda kalacak. Başka ek veriler üzerinde çalışmak isteyen de benzer şekilde uğraşacak.

Bu yukarıda söylediğim şey mantıklı gelir ve yapmak düşünülürse şöyle bir şey de var. Bir ara tezleri tez.yok.gov.tr'den daha düzgün şekilde gösterme amacında bir site vardı ama bu site kapandı/engelledi ya da başka bir şey oldu, tam bilmiyorum. Yani burada demek istediğim başımızın belaya girebileceği ihtimali, neden verilerimizi aldınız, neden verilerimizi sunuyorsunuz vs. Saçma ama mümkün ne yazık ki. Bu arada site duruyormuş hala veya dönmüş tekrar.

Veritabanının kendi kopyamızı oluşturmadan paralelleştirme düşünülebilir ama bu da tez.yok.gov.tr'yi yoracak ve bir bakıma onun için DOS saldırısı olacaktır. e-devlet sitesi çöküyorsa bu da çökebilir.

Böyle bir tezler için konsol arayüzü olsa beklentim bir paket yöneticisinden beklentilerime çok yakın: