acikyazilimagi / deprem-yardim-backend-go

Apache License 2.0
287 stars 56 forks source link

ayni lokasyonda 1900 uzeri nokta #66

Closed 0xCakin closed 1 year ago

0xCakin commented 1 year ago

Hata Tanımı

Ayni noktada 1900 uzeri nokta var. Tweetler de bos gozukuyor.

-- bu bilgiyi ekleyiniz discord kullanıcı adı: @canerakin111

Hata Ortamı

rc.afetharita.com afetharita.com

Hatayı nasıl aldığınızı adım adım açıklayın

  1. Afetharita.com'a gidin. https://afetharita.com/#lat=36.213508623647314&lng=36.15446342155337&zoom=18
  2. Hatay bolgesine en cok pin'in oldugu cluster'a zoomlayin
  3. Asagidaki ekran goruntusundeki cluster 1913 tane nokta gosteriyor.

Beklenen Davranış

Amac kurtarma oldugu icin 1 veya 1'den cok bildirimin olmasi durumu degistirmiyor. Akut 1 kisi de olsa gidecek 10 kisi de olsa gidecek. O yuzden coklu bildirimlerin oldugu lokasyonlara filtreleme yapip tek bir nokta secelim.

  1. Bir kullanci olarak, haritayi aciyorum.
  2. Her zoom yaptigim noktada sadece bir tweet bildirimi gorunuyor.

Ekran Görüntüleri

image

Masaüstü Bilgileri

muhammedsedef commented 1 year ago
Screen Shot 2023-02-10 at 06 39 36

area içerisinde bulunan 557054 idli entryi entry_id tablosundan sorguladıktan sonra elde ettigimiz: Akevler, 432.Sk., 31030 Antakya/Hatay, Türkiye adres bilgisi sosyal medya üzerinden çok yogun yardım destek twitleri atılan Taha Duymaz ve ailesinin lokasyonu olduğunu keşfettik.

Screen Shot 2023-02-10 at 06 51 32

Girişleri yapılan tweet entrylerinin user_id bilgilerinin farklı olup aynı point i referans edecek lokasyon bilgileri çözüldügü için 1911 countluk nokta oluştu.

Bizim tarafta bu durumun olası bir durum oldugunu düşünüyoruz.

muhammedsedef commented 1 year ago

Aynı pointi hit eden lokasyonları tekrar frontend tarafından fetch edilmemesi adına buraya lat, long bazlı group by sorgusu ile optimize edilebilir

cagridursun commented 1 year ago
select count(1)
from (select count(1)
      from feeds_location a
      group by northeast_lat, northeast_lng, southwest_lat, southwest_lng
      having count(*) > 1) as ac;

Sorgu sonucu 3232 kayit duplicate görünüyor.

Bu veriyi düzelttiğimizde problem çözülmüş olacaktır.

Data deduplication algoritmasını gözden geçirmemiz gerekiyor.

ihsancemil commented 1 year ago

Daha fazla bildirilmiş olması daha güvenilir bir talep olduğunu gösterir mi? Kaç kere talep edildiği bilgisini de dönsek mi?

younver commented 1 year ago

Aynı talebin 20+ kere tekrar ettiği case'ler mevcut. Öncelikle onun engellenmesi lazım.

0xCakin commented 1 year ago

Daha fazla bildirilmiş olması daha güvenilir bir talep olduğunu gösterir mi? Kaç kere talep edildiği bilgisini de dönsek mi?

Bot hesaplar isi karistiriyor. Mesela su durumda Taha Duymaz'in evi high rating olacak. Bu durumda da insanlar bizi yargilar. Yoksa Rating'leme olabilir. Bunu yapabilmek icin tweetlerin karsilastirilmasi lazim. O da processing time'i cok fazla arttirir.

0xCakin commented 1 year ago

Aynı talebin 20+ kere tekrar ettiği case'ler mevcut. Öncelikle onun engellenmesi lazım.

Suan efficiency daha onemli. Ne kadar filtering yaparsak sistem o kadar optimize olacak. O yuzden simdilik her noktaya bir tweet en faydalisi olur. Yada count as "Tweet sayisi" ek olarak konulabilir ama bu tweetlerin tekrar bot oldugunu bilmiyoruz. kullaniciyi bir not ile bilgilendirmek lazim.

yusufgns commented 1 year ago

TR: Issue'ların bundan sonra ingilizce olarak gönderilmesi gerekiyor ve halihazırda açık olanlara da bu talebimizi iletiyoruz. O nedenle sizden ricamız bu issue'yu ingilizce olarak düzenlemeniz. Lütfen ingilizce olarak düzenler misiniz?

EN: "Issues" must be sent in English from now on, and we forward this request to those who are already open. Therefore, we request you to edit this "issue" in English. Could you please edit it in english?

mstrYoda commented 1 year ago

Fixed, data deleted and deduplication api implemented.