Server ile Model Arası Bağlantı Araştırması

[OguzKaanOselmis]

Görev Açıklaması

14 issue'su ile end point requestlerinin gerekli olanları modele iletilmelidir. Bunun için local'de çalışan language model ile server arasında socket programming veya diğer tür iletişim türlerinden biri kullanılarak modele üretilen prompt iletilmeli ve modelden dönen yanıt geri server'a iletilmelidir.

Görev Gereksinimleri ve Yapılacaklar

Öncelikle Spring Boot'ta çalışan bir server ile python'da çalışan model arası bidirectional iletişimin ne ile en hızlı ve güvenilir halde yapılabileceği araştırılmalıdır. Sonucunda bulunan yollar arasından seçim yapılmalı ve implementasyonu gerçekleştirilmelidir. Bu implementasyonlar yapılırken mimari tarafının düzenli yapılması, service ve rest layerları kullanılarak düzenli bir yapı oluşturulmalıdır

Yapılacaklar

• [x] Server ve model arası bağlantı araştırması
• [x] Soket Programming tarafının uygunluğu araştırması
• [x] FastAPI tarafının araştırılması
• [x] AMQP protokollerinden RabbitMQ veya Kafka gibi microservice araştırması

Görev Çıktısı

Server'dan modele giden isteğin ve modelden dönen yanıtın belirlenen iletişim yöntemiyle hızlı ve stabil çalışması ve gerekmektedir. Herhangi bir exception durumunda bu durum handle edilebilmeli ve belli sayıda tekrar denemden sonra timeout durumunda hata mesajı verilmelidir.

[OguzKaanOselmis]

Araştırmalar sonucunda FastAPI kütüphanesi kullanılmasına karar verilmiştir