search

pureexe / sd-light-time

Adding light condition at time
0 stars 0 forks source link

วิธีการวัดคะแนนสำหรับ EnvConditionedSD #3

Open pureexe opened 3 weeks ago

pureexe commented 3 weeks ago

บริบท

EnvConditionedSD คือโมเดลที่ SD. 1.5 ที่มี input เป็นข้อความและภาพ Environment map และต้องการให้โมเดลนี้สร้างภาพ output ที่มีแสงตรงกับ Environmetn map

ต้องการรู้ว่า EnvConditionedSD ที่เทรนไว้นั้นมีประสิทธิภาพดีแค่ไหน

วิธีการ

สิ่งที่สามารถทำได้อย่างหนึ่ง คือเราสามารถใช้ text prompt a photo of <d> face เพื่อสร้างภาพหน้าคนออกมาได้ จากนั้นจะสามารถใช้ DECA เพื่อหา ทิศทางของแสงบนใบหน้าในรูปแบบของ spherical harmonic โดยทิศแสงนี้จะสามารถใช้บอกซ้าย-ขวา ได้เพื่อดูว่าผลลัพธ์ของ EnvConditionedSD ตรงแค่ไหน

  1. เลือกภาพ Environment map มาทั้งสิ้น 200 ภาพ โดยที่ 100 ภาพเป็นภาพที่มีแสงเข้ามาด้านซ้าย และอีก 100 ภาพมีแสงเข้ามาด้านขวา
  2. เลือก text promt มา 10 prompt โดย จาก a photo of <d> face ให้ เป็น boy girl woman man person etc.
  3. เมื่อสร้างภาพได้ทั้งสิ้น 2000 ภาพ จะนำเข้าไปใน DECA เพื่อให้ได้ spherical harmonic coefficient จากนั้นดูว่า ทิศของแสง ซ้าย-ขวา ตรงกับ environment map หรือไม่

ทำอะไรได้บ้าง

  1. ภาพ environment map จะใช้จาก training set ที่เป็น unsplash-lite เพื่อดูว่าสามารถ fit กับข้อมูลที่เทรนได้ไหม 2 ภาพ enviroment map บางส่วนจะใช้ภาพที่ไม่เคยเห็นเลยในการเทรน โดยที่ 2.1 ใช้ภาพจาก polyhaven 2.2 หาภาพเพิ่มเติมจาก unsplash เว็บไซต์หลัก
  2. เราสามารถใช้ Inversion ในการประเมินผลได้เลย

สิ่งที่ต้องการเป็นผลลัพธ์

  1. script สำหรับรันเพื่อวัดค่า โดย input เป็น path ของ checkpoint และได้คะแนนออกมาเป็น output
  2. dataset เป็นรูป environment map จำนวน 200 รูป
  3. text prompt จำนวน 10 prompt
  4. เพิ่มให้ training script ให้สร้างหน้าคนเพื่อดูว่าภาพหน้าคนที่ได้ ตรงกับทิศแสงหรือไม่ โดยจำนวนหน้าคนประมาณ 10 หน้า
    • Environment map ที่ใช้ควบคุมหน้าคนควรจะมีความชัดเจนว่าแสงมาจากทิศทางใดมากๆ เพื่อจะได้มองด้วยตาได้ว่าโมเดลทำงานถูกต้องหรือไม่
pureexe commented 2 weeks ago

Update: We can evaluate using inversion directly to see if it able to be relight