假设已知观察序列O1O2...OT，要求解状态序列S1S2...ST，并使条件概率P(S1S2...ST|O1O2...OT)最大。在MEMM中，将这一概率因子化为马尔可夫转移概率，从上面的图中也可以看出，在MEMM中，当前时刻的状态St取决于前一时刻的状态S(t-1)和当前时刻的观察输出Ot，所以：
这样，MEMM中的MM有了，接下来是ME，我们还记得上一篇讲最大熵模型的时候，讲到，最大熵模型解决的是给定上下文条件下，获得待消歧问题结果的问题，那么在现在情况下，前一时刻的状态S(t-1)和当前时刻的观察输出Ot就是上下文，而当前时刻的状态St就是待消歧问题，所以我们依照这个思想通过最大熵分类器建模：
前面讲过最大熵模型可以通过GIS来进行求解，GIS是一种EM算法，HMM中用于参数估计的前后向算法也是一种EM算法，在这里，前向后向算法修改后可用于MEMM的状态转移概率估计，这里具体的计算方法较为复杂，还用到了维特比算法的思想，这里不再深入讲解。
MEMM是有向图和无向图的混合模型，其主体还是有向图框架，与HMM相比，MEMM最大的优点在于它允许使用任意特征刻画观察序列，因为在MEMM里，处理观察序列的实际上是最大熵模型的套路，最大熵模型在推导时就考虑了处理多种特征的情况。
MEMM的缺点在于存在标记偏置问题（label bias problem），MEMM解决了HMM输出独立性假设的问题，但是只解决了观察值独立的问题，而状态之间的假设--有限历史性假设，则是标注偏置问题产生的根源。
什么是标注偏置问题？比如这样的状态转换概率分布：
路径1-1-1-1的概率：0.40.450.5=0.09
路径2-2-2-2的概率：0.018
路径1-2-1-2的概率：0.06
路径1-1-2-2的概率：0.066
由此看来，最优的路径是1-1-1-1，但是实际上，状态1偏向于转移到状态2，而状态2总倾向于停留在状态2，这就是所谓的标注偏置问题，由于分支数不同，概率的分布不均衡，导致状态的转移存在不公平的情况。条件随机场CRF则解决了标注偏置问题，是进一步优化。
这里给出HMM、MEMM、CRF的对比图：
可以清晰的看到HMM的有限历史性假设（认为Yt只取决于Y(t-1)）和输出独立性假设（认为Xt只取决于Yt）。
MEMM克服了HMM的输出独立性假设，不再认为Xt只取决于Yt。但是仍然存在有限历史性假设，认为Yt只取决于Y(t-1)。
CRF模型解决了标注偏置问题，去除了HMM中两个不合理的假设（有限历史性假设、输出独立性假设），当然，模型相应得也变复杂了。
条件随机场
条件随机场（conditional random fields）由J.Lafferty提出，是一种典型的判别模型，就是对于给定的输出标识序列Y和观测序列X；条件随机场通过定义条件概率P(Y|X)，而不是联合概率分布P(X,Y)来描述模型。CRF也可以看做一个马尔可夫随机场（无向图模型、马尔可夫网络）。
