马尔可夫随机场与条件随机场

“生成式模型”是直接对“联合分布”进行建模，而“判别式模型”则是对“条件分布”进行建模。

马尔可夫随机场(MRF)

“马尔可夫随机场”是“生成式无向图”模型，对“联合分布”建模。

图中的每个“结点”表示一个或一组“变量”，结点之间的“边”表示两个变量之间的“依赖关系”。

若令F={f1, f2, …, fn}是一组随机变量，其中f_i代表标签集L中的一个取值f_i，F_i=f_i代表取值为f_i的事件，(F_1=f_1, …, F_n=f_n)代表联合事件（joint event）。

若满足：P(f_v|F_V\{v})=P(f_v|F_n(v))，则称F是一个条件随机场。

上面的式子可以理解为：结点v为f_v的概率只与邻接结点有关，与非邻接结点无关(相互独立)。

若从“结点集A中的结点到B中的结点”都必须经过“结点集C中的结点”，则称结点集A和B被结点集C“分离”，C称为分离集。则对马尔可夫随机场，有：

全局马尔可夫性：给定两个变量子集的分离集，则这两个变量子集条件独立。

其推论：

• 局部马尔可夫性：给定某变量的邻接变量，则该变量条件独立于其他变量。
• 成对马尔可夫性：给定所有其他变量，两个非邻接变量条件独立。

马尔可夫随机场有一组势能函数，用于定义概率分布函数，是定义在变量子集上的非负实函数。势能函数的作用是定量刻画“变量集中变量之间的相关关系”。

条件随机场(CRF)

“条件随机场”是一种“判别式无向图”模型，对“条件分布”建模。

“条件随机场”试图对多个变量在“给定观测值”后的“条件概率”进行建模。

若令X={x1, x2, …, xn}为观察序列，Y={y1, y2, …, yn}为与之相应的标记序列，则“条件随机场”的目标是构建“条件概率模型P(y|x)”。

令G=表示结点与标记变量y中元素一一对应的无向图，y_v表示结点v的标记变量，n(v)表示结点v的邻接结点。

若图G的每个变量y_v都满足马尔可夫性，即“P(y_v|X,Y_V\{v})=P(y_v|X,Y_n(v))”，则(Y,X)构成一个条件随机场。

上面的式子可以理解为：在观察序列X的前提下，结点v为y_v的概率只与邻接结点有关，与非邻接结点无关(相互独立)。

图像标记

对于图像的标记问题，MRF的应用可以看做根据“周围图像像素的标签”来推测“目标像素的标签”。

其实这里同样隐含着对图像底层信息的抽象，比如两个相邻像素亮度越接近，那么像素越有可能被给予相同的标签。这种抽象更多的体现在势能函数的形式中。