search

toru-ver4 / sample_code

sample cods.
BSD 3-Clause "New" or "Revised" License
38 stars 7 forks source link

float と half float の線形補間の誤差 #33

Open toru-ver4 opened 4 years ago

toru-ver4 commented 4 years ago

背景

Resolve の 3DLUT の出力値を分析していたところ、誤差が発生し、しかも正規分布になっていた。もしかして Resolve は 3DLUTの補間計算が half float だったりする？という仮説の検証をしたい。

目的

float と half float とで線形補間計算を行った場合の誤差の分布がどのような形になるかを調べる。

toru-ver4 commented 4 years ago

CPU と GPU の違いの可能性もあるんじゃない？