更新时间：2026-07-10 23:39:06
求解答，词语「相对熵」是什么意思？再说说相对熵有什么含义？
相对熵（relative entropy），又被称为Kullback-Leibler散度（Kullback-Leibler divergence）或信息散度（information divergence），是两个概率分布（probability distribution）间差异的非对称性度量。在在信息理论中，相对熵等价于两个概率分布的信息熵（Shannon entropy）的差值。相对熵是一些优化算法，例如最大期望算法（Expectation-Maximization algorithm, EM）的损失函数。此时参与计算的一个概率分布为真实分布，另一个为理论（拟合）分布，相对熵表示使用理论分布...
欢迎使用朴木新华词语词典！我们专注于提供权威、全面的汉语词语查询服务，涵盖成语、近义词、反义词、组词等丰富内容。无论是学生、教师还是文字工作者，都能在这里找到精准的词语解释与用法。专业、高效、友好，助您轻松掌握汉语词汇。