aihot  2020-11-12 11:20:41  OpenCV |   查看评论   

  首先是知网

知网的概念关系示意图

知网的概念关系示意图

  它着力反映概念的共性和个性,比如对于『患者』与『医生』,他们的共性是『人』,同时又具有个性,与类之间的继承关系相似;此外,还反映了概念之间以及概念的属性之间的各种关系,通过对各种关系的标注,知网把这种知识网络系统明确教给了计算机,进而使知识对计算机而言成为可计算的

  知网定义了如下各种关系:上下位关系、同义关系、反义关系、对义关系、部件-整体关系、属性-宿主关系、材料-成品关系、施事/经验者/关系主体-事件关系(医生、雇主)、受事/内容/领属物等-事件关系(患者、雇员)、工具-事件关系(手表、计算机)、场所-事件关系(银行、医院)、时间-事件关系(假日、孕期)、值-属性关系(蓝、慢)、实体-值关系(矮子、傻瓜)、事件-角色关系(购物、盗墓)、相关关系(谷物、煤田)。

  然后是动态演化认知架构系统(Dynamically Evolving Cognitive Architecture System,简称DECAS),DECAS是前苹果Siri开发团队离职后所设计的bot创建平台Viv所使用的技术。这部分介绍参考了

  DECAS中主要包含了两种对象:概念对象(Concept Object)和动作对象(Action Object),其中概念对象指的就是实体,而动作对象就是执行的动作。

  概念对象之间定义了两种关系:扩展(extension),相当于“is a”的关系,比如“跑步鞋”概念对象扩展自“鞋”概念对象;属性(property),相当于“has a”的关系,比如“跑步鞋”概念对象有属性“尺码”概念对象。

  动作接收一些概念对象,然后产出一些新的概念对象,类似于函数有输入和输出。动作接收的概念对象包含了两类,一类是必须要有的,没有动作就没法执行;另一类是可选的,可有可无,类似提供了默认参数。

  以概念和动作对象为节点,Viv构建了规模庞大的有向网络图。概念节点到动作节点的边表示此动作以此概念为输入参数,而动作节点到概念节点的边表示此动作的输出中包含了此概念。如果两个概念节点存在扩展或者属性关系,那么它们之间也会存在有向边。随着开发者不断把新的概念和动作对象加入到Viv系统,这个网络图会逐渐延伸,越来越大。借助于Viv的动态演化认知架构系统,Viv能做的事会随着网络图的增大而指数增长。

DECAS

DECAS

  举一个具体的例子,有条这样的问句『我是学生,买什么Asics跑步鞋合适呢?』,Viv首先将问句进行词法分析,得到语义组块序列,然后对其进行意图识别,意图分为两部分,一部分是目标概念对象,另一部分是条件概念对象。如下图:

浅谈自然语言处理基础

 

  Viv的核心技术就是利用DECAS找到从条件概念对象到目标概念对象的连通路径,Viv把一条路径称为一个计划(Plan)。

  前面提到,动作接收一些概念对象,然后产出一些新的概念对象,如果执行一个动作就可以由条件到目标,那当然直接执行下这个动作就搞定了,但显然实际情况复杂得多。

浅谈自然语言处理基础

 

  举个例子,开发者定义了两种动作,1) transform_occupation_to_price,转化职业为价格偏好;2) rec_shoes_based_on_price,转化价格偏好为跑鞋推荐。也就是上图中的计划一,这样就实现了由条件概念对象到目标概念对象的推理。当然达到目标的计划也许并不只有一个,开发者可以为每个计划设定一个价值函数,DECAS则只需要选择价值最高的topN计划具体执行即可,或者做得更复杂,比如依据用户反馈实时调整计划。

  如果一个计划包含的动作所需的必须输入概念对象缺失,那么就需要与用户进行多次交互以收集缺失概念对象的值,也即多轮对话。多轮对话的目的从来不应该是为了炫技或是强行提高与用户的对话轮数,而是帮助不能清晰表达自己意思的用户补全自己的需求。

语言模型

  语言模型(language model,LM)在基于统计模型的语音识别、机器翻译、汉语自动分词和句法缝隙等相关研究领域得到了广泛的应用。

  目前主要采用的是n元文法模型(n-gram model),这种模型构建简单、直接,但同时也因为数据缺乏而必须采取平滑(smoothing)算法。

  一个语言模型通常构建为字符串s的概率分布p(s),这里p(s)试图反映的是字符串s作为一个句子出现的频率。

  对于一个由l个基元(“基元”可以为字、词或短语等,为了表述方便,以后我们只用“词”来通指)构成的句子s=w1w2…wl,其概率计算公式可以表示为:

浅谈自然语言处理基础

 

 

除特别注明外,本站所有文章均为 赢咖4注册 原创,转载请注明出处来自浅谈自然语言处理基础(上)

留言与评论(共有 0 条评论)
   
验证码:
[lianlun]1[/lianlun]