Pekiştirmeli Öğrenme - Bölüm 8: Tabular Metotlar

[ayyucekizrak]

Pekiştirmeli Öğrenme - Bölüm 8: Tabular Metotlar https://yz-ai.github.io/blog/pekistirmeli-ogrenme/tabular-metotlar-bolum-8

---

Başlık altı yazısı için: "Modele dayalı yöntemler, temel bileşen olarak planlama yapmaya dayanırken, model içermeyen yöntemler temel olarak öğrenmeye dayanır. Bu iki yöntem arasında farklılıklar ve benzerlikler vardır. Özellikle, her iki yöntemin temelin de , değer fonksiyonlarının hesaplanması vardır. Bu bölümdeki amacımız, model tabanlı ve modelsiz yöntemlerin birleştirilmesidir (integration)."

Bu cümleyi anlamını koruyarak yeniden yazıyorum:

Bu iki yöntemin benzer ve farklı yanları vardır. En önemli farklılıkları; model gerektiren yöntemlerin temel bileşeni planlama iken model içermeyen yöntemlerin öğrenmeye dayalı bir temel bileşene sahip olmasıdır. En önemli benzerlikleri ise, değer fonksiyonlarının hesaplama gereksinimleridir. Bu bölümdeki amacımız model gerektiren ve model içermeyen yöntemlerin birleştirilmesidir (integration).

Bu lafın aynısı Planlama ve Tabular Metotlar ile Öğrenme başlığı altında da geçiyor.

Modeller ve Planlama başlığı için:

1. Dağıtım modeli (distribution model) : buna emin miyiz genellikle dağılım denir. RL de dağıtım deniyorsa kalsın tabi.
2. simülasyon etmek yerine simüle etmek daha iyi olur gibi.
3. Model→Taklitdeneyimi→Değerler→Politika kısmı çok güzel ama önündeki ve arkasındaki satırdan ayırıp tek başına yani iki paragraf arasında bırakmak daha güzel görünebilir. Bir de Taklit Deneyimi arasına bir boşluk :)

Dyna: Entegre Planlama, Oyunculuk (Acting) ve Öğrenme başlığı için:

1. ilk kullanılan şeklin üstündeki yazının harflerinden sarkan kuyturklar görünüyor tekrar üst kısmı kesilde bide şekil sayfada ortalanabiliyorsa süper olur. Bir de şekilde "acting" ingilizce kalmış.
2. Bu başlık altında da simülasyon edilmiş diye geçiyor.
3. (Direct RL) her seferinde parantez içinde verilmeli mi emin olamadım. Ama kalabilir herkes tüm kitabı okumayabilir karşılaşınca görsün. (yazılı düşündüm :) )
4. Örneğin, Şekil 8.2’de diye başlayan paragrafın altındaki şeklin öyle bir numarası yok burda kitaptaki numarasına atıf verince kafalar karışıyor. Aşağıdaki şekil diyip parantez içinde de kitaptaki 8.2 gibi bi atıflama yoluna mı gitsek acaba.
5. Aynı şekil iki kez eklenmiş (Türkçe ve İng. olarak) ve arasına % kontrol edilmeli yazılmış bilginize.
6. "Eylemler arasında açgözlü( greedily) seçerken, bağlar rastgele kırıldı. Ajanların, planlama adımlarının sayısı da değişti." kırılır ve değişir desek daha iyi.
7. Şekil 8.3 denen yer içinde şekil atıfları konusunu düşünmek gerek.
8. Son şekilde hem Türkçe hem İngilizce olarak duruyor.
9. Son paragrafta yine simülasyon edilmiş demişiz.

Model Yanlış Olduğunda başlığı için:

1. "Model boş başladı ve daha sonra sadece tam olarak doğru bilgilerle dolduruldu. Genel olarak, bu kadar şanslı olmayı bekleyemeyiz. Modeller yanlış olabilir, çünkü ortam stokastiktir ve sadece sınırlı sayıda örnek gözlemlenmiştir, ya da model, kusurlu bir şekilde genelleştirilen fonksiyon yaklaşımı kullanılarak ya da çevrenin değiştiği ve yeni davranışının henüz gözlemlenmediği için öğrenilmiştir. Model yanlış olduğunda, planlama sürecinin optimal bir politika oluşturması muhtemeldir." Bu paragrafı yeniden yazıyorum: Boş olarak başlayan model ve sonrasında sadece doğru bilgilerle doldurulur desek de genel olarak bu kadar şanslı olmayı beklemeyiz. Ortam stokastiktir ve sadece sınırlı sayıda örnek ile gözlemlenmektedir. Bu yüzden model yanlış olabilir. Model yanlış demek; kusurlu şekilde genelleştiren fonksiyon yaklaşımı kullanılması ya da çevrenin değiştiği için yeni davranışın henüz gözlemlenmediği öğrenilmiştir. Model yanlış olduğunda planlanma sürecinin optimal bir politika oluşturması muhtemeldir.

2. İkinci paragrafın sondan bir önceki cümlesinin noktası yok.

3. Şekil İngilizce kalmış.

Öncelikli Süpürme başlığı için:

1. ilk paragrafta simülasyon edilmiş demişiz yine.
2. Savurgan güncelleme ? Parantez içinde ingilizcesini de verelim.
3. İkinci paragraftan "Tipik olarak, bu, diğer birçok durumun değerlerinin de değiştirilmesi gerektiği anlamına gelecektir, ancak tek yararlı tek adım güncellemeleri, değeri değiştirilmiş olan tek bir duruma yönlendiren eylemlerdir. Bu eylemlerin değerleri güncelleştirilirse, önceki durumların değerleri sırayla değişebilir. Öyleyse, bunları yönlendiren işlemlerin güncellenmesi gerekiyor ve ardından önceki durumlar değişmiş olabilir." Yeniden yazıyorum: Tipik olarak, diğer birçok durumun değerinin değiştirilmesi gerektiği anlamını taşır. Ancak yararlı olacak tek adım güncellemeleri, değeri değiştirilmiş olan yalnız bir duruma yönlendiren eylemlerdir. Bu eylemlerin değerleri güncellenirse, önceki durumların değeri de sırayla değişebilir olacaktır. Öyleyse, bunları yönlendiren işlemlerin güncellenmesi gerekmektedir ve böylece önceki durumlar da değişmiş olur.
4. Paragraf 3te etki hesaplanır. etki, küçük eşikten noktadan sonra büyük harf lütfen :)
5. Son paragrafta bu cümleyi yeniden yazmak gerek. "Bu bölümde, her türlü durum alanı planlamasının, yalnızca güncellemenin türü, büyük, küçük ya da küçük ve güncellemelerin yapıldığı sıraya göre değişen değer güncellemeleri dizileri olarak görülebileceğinin önermesini gördük." Şu şekilde yazıyorum: Bu bölümde, tüm durumların alan planlaması yalnızca güncellemenin türü, büyük ya da küçük güncellemelerin yapıldığı sıraya göre değişen değer dizileri olarak görülemeyeceğinin önermesini inceledik.

Beklenen ve Örnek Güncellemeler başlığı için:

1. Bu başlıktaki şekiller İngilizce kalmış.
2. İlk cümledeki q, v, q ve v bir kontrol edilsin. İndisleri yazılmamış sanırım.
3. % Kontrol yazılmış (kendinize not sanırım)
4. Yine şekil 8.7 denmiş şekil atıfını bir yola koymak gerek.

Yörünge Örneklemesi m başlığı için:

1. Bu başlıkta da şekiller İngilizce.
2. İkinci paragraf simülasyon etmek
3. Mesela burada da şekillere hiç atıf verilmemiş.

Gerçek Zamanlı Dinamik Programlama başlığı için:

1. Bu başlık altındaki kitaptaki ilk şekil eklenebilir güzel bir anlatımı var.
2. İlk paragrafta zaten kitaptaki 8.8 şekline atıf cümle var ama şekil yok.

Karar Zamanında Planlama başlığı için:

1. Bu başlık altında da simülasyon edilmiş şeklinde kullanılmış.

Sezgisel Arama başlığı için:

1. Şekil 8.9 denmiş olan paragrafın altındaki şekil ifade edilmek isteniyor sanırım

Rollout Algoritmaları başlığı için: bu kısım çok güzel yazılmış.

Monte Carlo Arama Ağacı başlığı için:

1. Monte Carlo Arama Ağacı (MCTS) ingilizce kısaltmasını açık hali de parantezin içinde bi seferlik verilebilir. (Monte Carlo Tree Search-MCTS)

---

Elinize sağlık 👍

[eralpozcan]

• Başlık altı yazısı

  • [x] 1. : Düzeltildi.

• Modeller ve Planlama başlığı :

  • [ ] 1. : Bunu sonraya bıraktım.
  • [x] 2. : simüle etmek olarak cümle düzeltildi.
  • [x] 3. : Düzelttim "ğ" de font tipinden ötürü sorun var daha sonra düzelteceğim.

• Dyna: Entegre Planlama, Oyunculuk (Acting) ve Öğrenme

  • [x] 1. : Eksik yerleri düzeltilip güncellendi.
  • [x] 2. : simüle etmek olarak cümle düzeltildi.
  • [x] 3. : Önceki konularda tek yerde gösterdiğimiz için burayı da öyle yapıyorum.
  • [x] 4. : Şekillerin aslında isimleri var ancak manuel olarak tekrar eklemek gerekiyor. 😢
  • [x] 5. : Türkçe çevirisinin doğruluğunun kontrolü için not düşmüştüm.Sanırım sıkıntı yok. 🙄
  • [x] 6. : Dediğiniz gibi düzeltim.
  • [x] 7. : Artık atıflar kitaptaki gibi.
  • [x] 8. : Kaldırdım.
  • [x] 9. : Tüm yazıda düzelttim.

• Model Yanlış Olduğunda başlığı

  • [x] 1. : Dediğiniz gibi değiştirdim.
  • [x] 2. : Ekledim
  • [x] 3. : Türkçeye çevirip ekledim.Atıflarını ekledim.

• Öncelikli Süpürme başlığı

  • [x] 1.:Tüm yazıda düzeltmiştim.Önceki maddelerden ötürü.
  • [x] 2.:Kitapta "wasteful" kullanılmış cümlede eklendi.
  • [x] 3.:Yazdığınız ile değiştirdim.
  • [x] 4.: 👍 .
  • [x] 5.:Yazdığınız ile değiştirdim.

• Beklenen ve Örnek Güncellemeler

  • [ ] 1.: Düzeltip kaldırdım fazla olanı. Alt bilgi yazısını ekledim .
  • [x] 2.: Düzelttim.
  • [x] 3.: Düzelttim.
  • [x] 4.: Şekil artık kitaptaki ile aynı.

• Yörünge Örneklemesi

  • [x] 1.: Şekiller düzeltildi ve alt yazısı eklendi.
  • [x] 2.: Tüm yazıda düzeltildi.
  • [x] 3.: Şekiller düzeltildi ve atıfları verildi.

• Gerçek Zamanlı Dinamik Programlama

  • [x] 1.: Eklendi.Yüklemesi yapılınca görünür olacak.
  • [x] 2.: Atıflar düzeltildi.

• Karar Zamanında Planlama

  • [x] 1.: Düzelttim.

• Sezgisel Arama

  • [x] 1.: Düzeltildi.

• Rollout Algoritmaları TAM NOT ALINDI. 💯

• Monte Carlo Arama Ağacı

  • [x] 1. : Dediğiniz gibi ekledim.

Eksikleri tamamlanınca güncelleyeceğim. Elinize sağlık hocam

[eralpozcan]

Güncellemesi yapıldığı için kapatıyorum. Elinize sağlık 👍