KG摘要--大白话_event detection (ed) 提出的概念-程序员宅基地

技术标签: 机器学习  深度学习  自然语言处理  

  1. 什么是实体抽取?怎么做?

分词和NER联合训练,能够提高NER的性能;(中文的分词会影响后面的NER;比如‘南京市长江大桥’这个例子;)从两种语言(Bilingual Constraints,比如汉语和英语)训练可得到效果更好的NER;

什么是NER?
The task of named entity recognition is to assign a named entity label to every word in a sentence;一般用IOB格式标注,即Inside, Outside, Beginning;还可以用IOBES,是IOB的一种变体;研究表明 using a more expressive tagging scheme like IOBES improves model performance marginally;

百度的BI-LSTM-CRF是第一个使用BI-LSTM-CRF做NER的模型;由于bi-lstm,因此能够同时利用past and future input features;另外由于CRF,因此能够使用sentence level tag information;可以用Adversarial Transfer Learning和Self-Attention Mechanism来训练中文NER;

  1. 什么是关系抽取?怎么做?

bootstrapping, unsupervised relation discovery and supervised classification;
(远程监督是在bootstrap之后提出的)(可以看成被database监督着,而不是被labeled text监督;)
在远程监督之前(2009之前)关系抽取还有基于逻辑回归的方法、基于核函数的方法、基于条件随机场的方法等;

远程监督的含义和假设:如果知识库存在两个实体的关系,那么认为所有出现这两实体的句子都在表达这种关系;基于假设进行自动标记;以freebase为例,苹果和乔布斯,创始人关系;假设太强,导致错误的标记;远程监督用来生成训练数据,不是关系抽取的方法;

远程监督的缺点:wrong label、noise导致较差的性能;

PCNN和multi-instance learning解决以上问题;

一个开源实现是清华的OpenNRE;

传统的RE,分为NER和RC两步;

此外,还有实体和关系联合抽取,听说比较难做;(例如CoType,LSTM-CRF、 LSTM-LSTM、LSTM-LSTM-Bias,把关系抽取转换成序列标注任务)

关系抽取也经历了从ML、CNN、RNN(LSTM、BiLSTM、GRU)、Attention、BERT的过程,甚至有AT(对抗训练,Adversarial training)以及RL做的;

关系抽取是否能看成是一种端到端的序列标注问题?能

  1. 什么是事件抽取?怎么做?

EE主要有两种方法:joint approach和 pipelined approach;前者同时predicts event triggers and arguments;后者首先performs trigger prediction,然后identifies arguments in separate stages.
联合抽取的好处是,可以阻止error propagation,以及从全局对 inter-dependencies 建模;

Event Detection(ED)是事件抽取的子任务;(ED指的就是trigger的识别)ED可看成是一种多分类任务,也可看成是sequence labelling task;

搞清楚什么是Event trigger、Event arguments、Event mention;

思考:知识图谱为啥要进行事件抽取?

一个经典模型DMCNN,使用多个max-pooling layer,解决one sentence may contain two or more events;

  1. 什么是实体消歧?怎么做?

实体消歧是实体链接的一部分(后者还包括共指消解),是专门用于解决同名实体产生歧义问题的技术;Named Entity Disambiguation (NED)的数据集有the CoNLL dataset and the TAC 2010 dataset;

  1. 什么是实体链接Entity Linking (EL)?

EL的过程中会有歧义,比如对‘Michael Jordan’进行EL,发现可以是NBA篮球运动员,也可以是ML教授;实体链接属于知识融合;后者还包括知识合并;可以利用random walk或Referent Graph算法(A Graph-Based Method)来解决EL问题;

  1. 什么是知识图谱的补全?

尽管图谱有很多实体和关系,它也是不完整的;包括entity prediction和Relation Prediction;

  1. KBE(Knowledge base embedding)是什么?作用?

知识图谱的补全、Relation Inference(推理);辅助关系抽取;且传统的SPO无法扩展规模,KBE是对符号表示的补充;Trans(E, H, R, and D)和TranSparse、KG2E、PTransE、TransG等;

  1. 本体和实体的关系?

实体是strings,而本体是things;
番茄和西红柿,有些文本会写番茄,有些会写西红柿,但它们指的是客观世界的同一事物(同一个客体);

知识图谱一定要用本体?不是;可以不构建本体,认准三元组,kg就是一个实体与实体或者与值的这种关联关系;

知识融合需要用到本体:
通过数据映射技术,建立本体中术语和不同数据源抽取知识中词汇 的映射关系,进而将不同数据源的数据融合在一起;同时不同源的实体可能会指向现实世界的同一个客体,这时需要使用实体匹配将不同 数据源相同客体的数据进行融合;

什么是本体推理?
从一个已有的知识图谱,利用规则,推理出新的实体间关系,还可以对知识图谱进行逻辑的冲突检测;包括owl推理和rdf推理;

什么是本体匹配?怎么做?
本体匹配算法分为模式匹配、实例匹配;(即schema-based and instance-based)从技术层面,本体匹配可分为启发式方法、 概率方法、基于图的方法、基于学习的方法和基于推理的方法;

  1. 什么是知识融合?怎么做?

知识融合技术中,本体匹配扮演着非常重要的角色,提供了概念或者实体之间的对应关系;知识融合需要考虑 threshold;知识融合需要同时考虑数据层和模式层的合并!!!

  1. 什么是知识图谱的数据层和模式层?

数据层是三元组构成的图,保存在图数据库中;
模式层在数据层之上,是知识图谱的核心;模式层存储的是经过提炼的知识,通常采用本体库来管理;
(本体库在知识图谱中的地位相当于知识库的模具,通过本体库来规范数据层的一系列事实表达,拥有本体库的知识库冗余知识较少、且层次结构较强;)

  1. 自顶向下和自底向上构建知识图谱的区别?

自顶向下是先为知识图谱定义好本体与数据模式,再将实体加入到知识库;(即先模式层,再数据层,因此本体构建在知识抽取之前)该构建方式需要利用现有的结构化知识库作为其基础知识库,因此难度和工作量较小;(例如Freebase就是从维基百科得到的)

自底向上是从一些开放链接数据中提取出实体,选择置信度较高的加入知识库,再构建顶层的本体模式(即先数据层,再模式层,因此本体构建在知识抽取之后)目前大多数知识图谱都采用自底向上的方式构建;其中最典型就是Google的Knowledge Vault;

  1. 知识图谱的构建步骤?(以自顶向下为例,方便讲解知识融合,涉及模式层和数据层的融合)

0)本体构建(模式层)
1)爬取数据 (结构化、半结构化、非结构化)
2)实体识别、关系抽取、事件抽取
3)知识融合(实体链接、知识合并)
4)入库(知识存储)
5)知识计算和推理
6)kbqa、语义搜索、推荐等

参考资料:
https://www.cnblogs.com/theodoric008/p/7874373.html (实体关系抽取 entity relation extraction 文献阅读总结)
http://www.cipsc.org.cn/qngw/?p=890 (基于深度学习的关系抽取)
https://github.com/lvjianxin/Relationship-extraction (中文关系抽取)
https://www.sohu.com/a/165856071_465975 (关于远程监督,我们来推荐几篇值得读的论文 )
https://www.dazhuanlan.com/2019/10/04/5d9623fc85a15/(知识图谱:知识表示之TransH模型)
https://www.cnblogs.com/Luv-GEM/p/11598294.html(关系抽取之远程监督算法)
https://zhuanlan.zhihu.com/p/39205829 (知识图谱入门 (三) 知识抽取)
https://www.cnblogs.com/chenyusheng0803/p/11574318.html (事件抽取的简单方法)
https://www.biendata.com/competition/ccks_2019_4/(一个事件抽取比赛)
https://aistudio.baidu.com/aistudio/competition/detail/32?qq-pf-to=pcqq.group (2020语言与智能技术竞赛:事件抽取任务)
https://blog.csdn.net/ZJRN1027/article/details/80590810 (揭开知识库问答KB-QA的面纱)

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/fearlesslpp/article/details/108698653

智能推荐

c# 调用c++ lib静态库_c#调用lib-程序员宅基地

文章浏览阅读2w次,点赞7次,收藏51次。四个步骤1.创建C++ Win32项目动态库dll 2.在Win32项目动态库中添加 外部依赖项 lib头文件和lib库3.导出C接口4.c#调用c++动态库开始你的表演...①创建一个空白的解决方案,在解决方案中添加 Visual C++ , Win32 项目空白解决方案的创建:添加Visual C++ , Win32 项目这......_c#调用lib

deepin/ubuntu安装苹方字体-程序员宅基地

文章浏览阅读4.6k次。苹方字体是苹果系统上的黑体,挺好看的。注重颜值的网站都会使用,例如知乎:font-family: -apple-system, BlinkMacSystemFont, Helvetica Neue, PingFang SC, Microsoft YaHei, Source Han Sans SC, Noto Sans CJK SC, W..._ubuntu pingfang

html表单常见操作汇总_html表单的处理程序有那些-程序员宅基地

文章浏览阅读159次。表单表单概述表单标签表单域按钮控件demo表单标签表单标签基本语法结构<form action="处理数据程序的url地址“ method=”get|post“ name="表单名称”></form><!--action,当提交表单时,向何处发送表单中的数据,地址可以是相对地址也可以是绝对地址--><!--method将表单中的数据传送给服务器处理,get方式直接显示在url地址中,数据可以被缓存,且长度有限制;而post方式数据隐藏传输,_html表单的处理程序有那些

PHP设置谷歌验证器(Google Authenticator)实现操作二步验证_php otp 验证器-程序员宅基地

文章浏览阅读1.2k次。使用说明:开启Google的登陆二步验证(即Google Authenticator服务)后用户登陆时需要输入额外由手机客户端生成的一次性密码。实现Google Authenticator功能需要服务器端和客户端的支持。服务器端负责密钥的生成、验证一次性密码是否正确。客户端记录密钥后生成一次性密码。下载谷歌验证类库文件放到项目合适位置(我这边放在项目Vender下面)https://github.com/PHPGangsta/GoogleAuthenticatorPHP代码示例://引入谷_php otp 验证器

【Python】matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距-程序员宅基地

文章浏览阅读4.3k次,点赞5次,收藏11次。matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距

docker — 容器存储_docker 保存容器-程序员宅基地

文章浏览阅读2.2k次。①Storage driver 处理各镜像层及容器层的处理细节,实现了多层数据的堆叠,为用户 提供了多层数据合并后的统一视图②所有 Storage driver 都使用可堆叠图像层和写时复制(CoW)策略③docker info 命令可查看当系统上的 storage driver主要用于测试目的,不建议用于生成环境。_docker 保存容器

随便推点

网络拓扑结构_网络拓扑csdn-程序员宅基地

文章浏览阅读834次,点赞27次,收藏13次。网络拓扑结构是指计算机网络中各组件(如计算机、服务器、打印机、路由器、交换机等设备)及其连接线路在物理布局或逻辑构型上的排列形式。这种布局不仅描述了设备间的实际物理连接方式,也决定了数据在网络中流动的路径和方式。不同的网络拓扑结构影响着网络的性能、可靠性、可扩展性及管理维护的难易程度。_网络拓扑csdn

JS重写Date函数,兼容IOS系统_date.prototype 将所有 ios-程序员宅基地

文章浏览阅读1.8k次,点赞5次,收藏8次。IOS系统Date的坑要创建一个指定时间的new Date对象时,通常的做法是:new Date("2020-09-21 11:11:00")这行代码在 PC 端和安卓端都是正常的,而在 iOS 端则会提示 Invalid Date 无效日期。在IOS年月日中间的横岗许换成斜杠,也就是new Date("2020/09/21 11:11:00")通常为了兼容IOS的这个坑,需要做一些额外的特殊处理,笔者在开发的时候经常会忘了兼容IOS系统。所以就想试着重写Date函数,一劳永逸,避免每次ne_date.prototype 将所有 ios

如何将EXCEL表导入plsql数据库中-程序员宅基地

文章浏览阅读5.3k次。方法一:用PLSQL Developer工具。 1 在PLSQL Developer的sql window里输入select * from test for update; 2 按F8执行 3 打开锁, 再按一下加号. 鼠标点到第一列的列头,使全列成选中状态,然后粘贴,最后commit提交即可。(前提..._excel导入pl/sql

Git常用命令速查手册-程序员宅基地

文章浏览阅读83次。Git常用命令速查手册1、初始化仓库git init2、将文件添加到仓库git add 文件名 # 将工作区的某个文件添加到暂存区 git add -u # 添加所有被tracked文件中被修改或删除的文件信息到暂存区,不处理untracked的文件git add -A # 添加所有被tracked文件中被修改或删除的文件信息到暂存区,包括untracked的文件...

分享119个ASP.NET源码总有一个是你想要的_千博二手车源码v2023 build 1120-程序员宅基地

文章浏览阅读202次。分享119个ASP.NET源码总有一个是你想要的_千博二手车源码v2023 build 1120

【C++缺省函数】 空类默认产生的6个类成员函数_空类默认产生哪些类成员函数-程序员宅基地

文章浏览阅读1.8k次。版权声明:转载请注明出处 http://blog.csdn.net/irean_lau。目录(?)[+]1、缺省构造函数。2、缺省拷贝构造函数。3、 缺省析构函数。4、缺省赋值运算符。5、缺省取址运算符。6、 缺省取址运算符 const。[cpp] view plain copy_空类默认产生哪些类成员函数

推荐文章

热门文章

相关标签