关键词提取方法及装置

1.一种关键词提取方法，其特征在于，包括：
提供一领域内的语料数据，所述语料数据包括多个文档；
对所述语料数据进行预处理，得到文本数据；
对所述文本数据进行分词处理，得到多个语料词语；
对所述语料词语进行过滤处理，得到多个候选词；
为每个所述候选词设置初始权重值；
根据候选词在每个文档中的共现关系调整所述候选词的初始权重值，得到候选词在每个文档中的最终权重值；
根据所述最终权重值确定每个文档的关键词。
2.如权利要求1所述的关键词提取方法，其特征在于，所述预处理包括：将语料数据的格式统一为文本格式，过滤脏词、敏感词和停用词中的一种或多种，并将过滤后的文本数据按照标点划分为多行。
3.如权利要求1所述的关键词提取方法，其特征在于，所述分词处理采用字典双向最大匹配法、viterbi方法、HMM方法和CRF方法中的一种或多种。
4.如权利要求1所述的关键词提取方法，其特征在于，所述过滤处理采用以下任一种或两种方式：
根据词性对所述语料词语进行过滤，保留名词、动词以及形容词；
根据频次对所述语料词语进行过滤，保留频次大于频次阈值的语料词语。
5.如权利要求1所述的关键词提取方法，其特征在于，所述初始权重值通过以下方式进行设置；
当候选词在标题中出现过时，根据 计算候选词的初始权重值；
否则，根据 计算候选词的初始权重值；
其中：wi表示初始权重值，ni表示候选词出现的文档次数，N表示语料的所有文档数；m为大于1的系数。
6.如权利要求5所述的关键词提取方法，其特征在于，所述1.5≤m≤2。
7.如权利要求1所述的关键词提取方法，其特征在于，根据候选词在每个文档中的共现关系调整所述候选词的初始权重值，得到候选词在每个文档中的最终权重值具体包括：
设置预定大小的滑动窗口，将所述滑动窗口在当前文档中进行动态滑动；
获取所述滑动窗口中出现的2个以上的候选词，将所述2个以上的候选词之间添加互相指向的2个连接，并将每个候选词作为一个节点，构建当前文档的关联有向图；
根据所述初始权重值，迭代计算所述关联有向图中各个节点的权重值，直到当前节点的相邻两次权重值之差小于第二阈值或达到迭代次数后停止迭代计算，并将最后一次计算的权重值作为相应节点的最终权重值。
8.如权利要求7所述的关键词提取方法，其特征在于，根据以下公式迭代计算所述关联有向图中各个节点的权重值：
其中，WS(Vi)表示候选词Vi调整后的权重值，d为预先设置的阻尼系数，In(Vi)表示当前文档中指向候选词Vi的节点，Out(Vi)表示Vi指向的节点，WS(Vj)表示所述词语关联有向图中节点Vj的权重值，Nj表示Vj指向的节点的个数。
9.如权利要求1所述的关键词提取方法，其特征在于，根据所述最终权重值确定每个文档的关键词包括：
将最终权重值最大的前N个候选词作为文档的关键词，其中，N为自然数；或者，将最终权重值大于预先设置的权重阈值的候选词作为文档的关键词。
10.一种关键词提取装置，其特征在于，包括：
提供模块，用于提供一领域内的语料数据，所述语料数据包括多个文档；
预处理模块，用于对所述语料数据进行预处理，得到文本数据；
分词模块，用于对所述文本数据进行分词处理，得到多个语料词语；
过滤模块，用于对所述语料词语进行过滤处理，得到多个候选词；
设置模块，用于为每个所述候选词设置初始权重值；
调整模块，用于根据候选词在每个文档中的共现关系调整所述候选词的初始权重值，得到候选词在每个文档中的最终权重值；
确定模块，用于根据所述最终权重值确定每个文档的关键词。
11.如权利要求10所述的关键词提取装置，其特征在于，所述预处理模块具体用于：将语料数据的格式统一为文本格式，过滤脏词、敏感词和停用词中的一种或多种，并将过滤后的文本数据按照标点划分为多行。
12.如权利要求10所述的关键词提取装置，其特征在于，所述过滤模块具体用于：
根据词性对所述语料词语进行过滤，保留名词、动词以及形容词；和/或，根据频次对所述语料词语进行过滤，保留频次大于频次阈值的语料词语。
13.如权利要求10所述的关键词提取装置，其特征在于，所述设置模块具体用于：
当候选词在标题中出现过时，根据 计算候选词的初始权重值；
否则，根据 计算候选词的初始权重值；
其中：wi表示初始权重值，ni表示候选词出现的文档次数，N表示语料的所有文档数；m为大于1的系数。
14.如权利要求10所述的关键词提取装置，其特征在于，所述调整模块具体用于：
设置预定大小的滑动窗口，将所述滑动窗口在当前文档中进行动态滑动；
获取所述滑动窗口中出现的2个以上的候选词，将所述2个以上的候选词之间添加互相指向的2个连接，并将每个候选词作为一个节点，构建当前文档的关联有向图；
根据所述初始权重值，迭代计算所述关联有向图中各个节点的权重值，直到当前节点的相邻两次权重值之差小于第二阈值或达到迭代次数后停止迭代计算，并将最后一次计算的权重值作为相应节点的最终权重值。
15.如权利要求14所述的关键词提取装置，其特征在于，所述调整模块具体用于：
根据以下公式迭代计算所述关联有向图中各个节点的权重值：
其中，WS(Vi)表示候选词Vi调整后的权重值，d为预先设置的阻尼系数，In(Vi)表示当前文档中指向候选词Vi的节点，Out(Vi)表示Vi指向的节点，WS(Vj)表示所述词语关联有向图中节点Vj的权重值，Nj表示Vj指向的节点的个数。
16.如权利要求10所述的关键词提取装置，其特征在于，所述确定模块具体用于：
将最终权重值最大的前N个候选词作为文档的关键词，其中，N为自然数；或者，将最终权重值大于预先设置的权重阈值的候选词作为文档的关键词。

暂无