search

ICDI0906 / MachineLearning

该仓库包含了机器学习，数据挖掘中的理论知识和相关实践代码
17 stars 6 forks source link

TrAdaboost中的KL divergence的计算 #1

Open owenmx opened 5 years ago

owenmx commented 5 years ago

你好，我看了你计算KL-divergence的那一部分，感觉你是在计算类别分布也就是P(y_d)和P(y_s)两个分布之间的距离，但是在原论文的5.1小节的最后有几句：“KL-divergence on the feature space between each corresponding diff-distribution ....”，应该计算的是特征空间P(X)上的KL散度，但是X包含多个维度，如何直接计算它的分布感觉没有方法，想问一下您，有没有相关的解决方法。

ICDI0906 commented 5 years ago

对于多维数据应该可以用条件独立性假设来计算。比如P(x1,x2,...,xn)=P(x1)P(x2)...P(xn)。或者有更好的办法。