emreuenal / turkiye-il-ilce-sokak-mahalle-veri-tabani

https://adres.nvi.gov.tr/ adresinde yer alan tüm İl - İlçe - Mahalle / Köy / Mezra / Mevki - CSBM bilgilerini içeren veri tabanları (PostgreSQL, MariaDB / MySQL, MongoDB, Sqlite ve Redis)
GNU General Public License v3.0
128 stars 23 forks source link

Yapısal değişiklik #3

Open arkenyazilim opened 3 years ago

arkenyazilim commented 3 years ago

Emre Bey Merhaba,

Kaynak kodunuzdaki yapı değişmiş sanırım güncel hali varsa paylaşır mısınız?

İyi Çalışmalar

emreuenal commented 3 years ago

Merhaba,

https://adres.nvi.gov.tr/VatandasIslemleri/AdresSorgu adresi il ve ilçe seçimleri için google recaptcha kullandığı için il ve ilçeleri bu adresten çekmek mümkün değil.Fakat il ve ilçeden sonra gelen bilgiler için recaptcha kontrolu yok :).

Birkaç hafta önce ufak bir deneme yaptım, "dask adres kodu" olarak google'da arama yaptığınızda birçok özel sigorta şirketi tarafından da bu bilgilerin sağlandığını farkedeceksiniz. Bu aşamadan sonra yapılabilecek iki şey var, ya sadece il ve ilçeler bu özel şirketlerden birinden scrape edilecek ve gelen bilgiler ile sonrası (Mahalle / Köy / CSBM) nvi'den çekilecek ya da seçilen şirket sayfası için sıfırdan bir crawler yazılacak.

Ben birinci yöntemi denedim ve bir şirketin sayfasından il, ilçe ve en önemlisi bunların id'lerini aldım, sonrasında bu bilgiler ile nvi'deki endpointlerden mahalleler sokaklar gibi bilgileri çektim.

Kodun düzenlenmiş halini daha paylaşmadım çünkü hem özel bir şirketten veri çektiği için ne tarz sorunlar olabilir öcelikle vaktim olduğunda bunu araştırmak isterim, hem de tamam paylaşayım desem bile vakit ayırıp düzgün paylaşılabilir hale getirmem gerekiyor. Şu anki halinde testlerimden kalan birçok gereksiz kısım, comment, try except vb var.

Son olarak yakın bir zamanda kodun yukarıda bahsettiğim çalışan halinden güncel dump'lar oluşturarak paylaşacağım.

alisaitteke commented 1 year ago

Guncel dump lari bekliyoruz :)

Eline saglik bu arada, baya emek var.