ElifnurCiftci / Yemek-Asistanim

0 stars 1 forks source link

Qdrant Database oluşturulması ve dataların eklenmesi #4

Open oguzhandoganoglu opened 6 months ago

oguzhandoganoglu commented 6 months ago

OpenAi asistanını kullanmaya karar verdikten sonra bir sorunda bununla birlikte ortaya çıktı. Yemek tarifleri sunabiliyorduk fakat yeme içme alışkanlıkları ve alerjilerini öğrenemiyorduk ve bundan dolayıda kullanıcıya özel bir yemek asistanı oluşturamıyorduk. Bu noktada bunu nasıl yapabileceğimiz konularında araştırmalar yaptık. Bizim için en uygun seçeneğin bir vektör database'in oluşturulup kullanıcının girdiğini bilgiler ile kendi database'imizdekiler semantic olarak benzerliklerinin değelendirilmesi daha sonrası için bunun kullanıcı database'ine eklenmesiydi. Vector database'ler bizim için çok yabancı kavramlar oldukları için bu noktada uzun bir araştırma yapmamız gerekti. Embedding gibi kavramlar karşımıza çıktı. Semantic benzerliği nasıl kuracağımızı öğrenmemiz gerekti. Ve bu noktada hangi hizmet sağlayıcıyı kullancağımızı seçmemiz gerekti. Bu noktada LLM kütüphanesinde bulunan embeding teknolojisini kullanmayı ve vector database'i için son zamanlarda popülerliği de artan aynı zamanda büyük yatırımlarda alan Qdrant'ı tercih ettik. Qdrant, tercih ettiğimiz embedding teknolojileriyle embed edilen datayı kolaylıkla kendi sisteminde tutabiliyor ve arama olanakları sunabiliyor. En güzel taraflarından biriside ücretsiz cloud ortamı sağlayabiliyor. Bu da bizim için çok iyi. Proje ekibimiz ile aynı database üzerinde değişiklikler yapmamız daha kolay olmuş oluyor. Aşağıda Qdrant'ta örnek olarak oluşturduğumuz cluster ve node'u görebilirsiniz. Henüz tam olarak tamamlanmadı. Data eklenmesi gerekiyor. Ayrıca api imkanından da söz etmek gerekir. Sağladığı api ile uzaktan bağlantı kurup data eklenmesi, aramalar yapılması kolay oluyor. bununda bir ekran resmini ekliyorum. Ekran Resmi 2024-02-25 18 26 23 Ekran Resmi 2024-02-25 18 26 42 Ekran Resmi 2024-02-25 18 27 23

oguzhandoganoglu commented 6 months ago

Kendi araştırmalarımın doğrultusunda database'e data eklemesi için json formatında dietler ekledim. Grup arkadaşlarımın data eklemesini bekliyorum. Daha sonra topluca embedding yapıp Qdrant vektör database'ine göndereceğiz

oguzhandoganoglu commented 5 months ago

Data'lar openAi embedding ile vector haline getirilip daha sonrasında Qdrant database eklendi.