好贷网好贷款

图模型简介(一)

发布时间:2016-12-4 14:10:50 编辑:www.fx114.net 分享查询网我要评论
本篇文章主要介绍了"图模型简介(一)",主要涉及到图模型简介(一)方面的内容,对于图模型简介(一)感兴趣的同学可以参考一下。

概率在现在模式识别中占有很重要的地位,可以把概率问题纯粹的转化成图的操作。 转化成图有三个优点:                                       1.提供一个简单的方式去形象化概率模型结构,并且可以设计和改进出新的模型。                                       2.观察模型性质,包括条件独立的性质,可以检查图模型的正确性。                                       3.在数学公式计算比较隐含的情况下,复杂的计算,可以在复杂的图模型中进行推理和学习,转换成图的操作。 一个图由节点组成,节点间由边或者弧线相连,每一个节点都代表一个随机变量(或者一组随机变量)。并且相连的边表达了变量之间的概率关系。之后图表通过所有随机变量得到的联合分布,都可以分解成每一个独立变量的乘积。有向图用于表示具有因果关系的变量,而无向图用于表示具有软约束性质的变量(soft constraints)。为了能够解决推理问题,把有向图或者无向图模型转换成不同的因子图(factor  graph)表示形式。 为了能够用有向图来描述一个概率分布问题,可以用任意一个由3个变量a,b,c组成的联合分布p(a,b,c),在这里3个变量没有具体的表明是离散的还是连续的。图模型很大的一个方面是,一个特定的图可以表示一类概率分布的可能的状态。使用概率乘法法则(1):                                     p(X,Y)=P(X|Y)*P(X) 可以得到p(a,b,c)=p(c|a,b)*p(a,b),接着使用公式可以得到p(a,b,c)=p(c|a,b)*p(b|a)*p(a)。这种分解方式适用于任何联合分布。可以把得到的式子用如下图模型表示:                                           构图方式,因为c是在a,b作用条件下的,b是在a的作用条件下,故a,b有有向箭头指向c,a有有向箭头指向b,而a没有什么条件可以影响它,所以没有谁指向它。从图中可以看出,如果有一个节点指向另一个节点a-->b可以看出a是b的父节点(parent),b是a的子节点(child)。 可以由一般推广,一个有K个随机变量组成的联合分布p(w1,...,wk),使用概率乘法法则可以得到p(w1,...,wk)=p(wk|w1,...,wk-1)...p(w2|w1)p(w1)。 给定一个K,可以看出每一个K节点,都有一个比它低的节点指向它(起点除外),并且每一对节点间都有一个连线,像这样的图成为完全连接图(fully connected)。 如下图 一个非完全连接图:                                                从图中可以看出来,每一个每个条件分布的节点仅与它的父节点有关系,比如x1,x3是w5的父节点,x5只有x1,x3有关系。他们七个的联合分布: p(x1,x2,x3,x4,x5,x6,x7)=p(x1)*p(x2)*p(x3)p(x4|x1,x2,x3)*p(x5|x1,x3)*p(x6|x4)*p(x7|x4,x5)。 所以在给定一个特定的有向图和相应的随机变量分布,联合分布可以定义为所有节点在其父节点下的条件分布的乘积,因此对于k个节点的图来说,联合分布可以定义为:                                               其中pak表示xk的一组父节点集合,这里x={x1,...,xk}。 一个例子:多项式回归模型。如图:                                                             在这个例子中,随机变量是多项式系数w的一个向量,观察数据时t=(t1,...,tN)的T(T表示括号内数据的转置),此外这个模型包含输入数据x=(x1,...,xN)的T,噪声方差为σ的平方,超参数(当参数时随机变量时,该参数分布中的参数就是超参数,简单的说就是参数的参数)α代表了优先w的高斯精度,所有的这些都是模型的参数,而不是随机变量。可以得到一个概率因子和N个条件分布p(tn|w)(n从1到N)公式(从上图可以看出):                                                                        在实际使用中,模型不会像上图那么简单,为了方便的使用,引入tn表示一个贴上N的块(N表示有N个这样的节点),重新改写上边的公式:                                                                  上图更简洁的代表方式:                                                   类似的,为了是x和α能够在图里表示出来,采用更方便的随机变量表示方法,决定性的参数将会被方形环包围,如下图:                                                                                           当把模型实际运用时,会具体的设定一组观察值为随机变量,比如在这个多项式拟合的例子中{tn},是观察到的变量。而w则是隐藏的变量。 从已经观察值{tn},可以通过后验概率计算公式计算的到多项式系数w的概率,现在简写成:                                                                                                                   这里为了简写忽略了决定性参数的计算。 由于最终的目标是为了对新的输入变量值进行预测,一般对w不太感兴趣。假如给定一组新的输入变量w‘(‘代表上弧线),和希望找到在观察数据条件下一致符合的t’分布。如下图:                                                                                                                在这个模型中,在决定参数条件下,所有随机变量的联合分布:                                                                         需要预测t‘的分布就可以通过整合出来的模型参数w以及概率加法法则计算得到:                                                                                           。

上一篇:对 HTTP 304 的理解
下一篇:common interview questions pertaining project manager

相关文章

相关评论