什么是隐变量?

一、什么是隐变量?

广义上的隐变量主要就是指“不能被直接观察到,但是对系统的状态和能观察到的输出存在影响的一种东西”。

举个例子,一个人拿着n个袋子,里面有m种颜色不同的球。现在这个人随机地抓球,规则如下:

1. 先随机挑一个袋子

2. 从这个袋子中随机挑一个球

如果你站在这个人旁边,你目睹了整个过程:这个人选了哪个袋子、抓出来的球是什么颜色的。然后你把每次选择的袋子和抓出来的球的颜色都记录下来(样本观察值),那个人不停地抓,你不停地记。最终你就可以通过你的记录,推测出每个袋子里每种球颜色的大致比例。并且你记录的越多,推测的就越准(中心极限定理)。

然而,抓球的人觉得这样很不爽,于是决定不告诉你他从哪个袋子里抓的球,只告诉你抓出来的球的颜色是什么。这时候,“选袋子”的过程由于你看不见,其实就相当于是一个隐变量。

二、隐变量是啥?

是不可观测的随机变量,我们通常通过可观测变量的样本对隐变量作出推断。

举个高斯混合模型的例子,GMM中隐变量指的是每个observation对应的高斯component,由于产生过程是不可观测的(或者说隐藏的),故得名隐变量。

我们可以通过收集样本对隐变量的后验概率进行推断,然后用估计的后验概率来对数据进行聚类。

三、MEM算法是指?

是指最大期望算法(Expectation-Maximization algorithm, EM),或Dempster-Laird-Rubin算法[1],是一类通过迭代进行极大似然估计(Maximum Likelihood Estimation, MLE)的优化算法[2],通常作为牛顿迭代法(Newton-Raphson method)的替代用于对包含隐变量(latent variable)或缺失数据(incomplete-data)的概率模型进行参数估计。

四、em算法分菜时隐变量是啥?

EM算法是求含有隐变量的极大似然估计,可以用于包含隐变量的参数估计