垃圾短信处理方法和系统

1.一种垃圾短信处理方法，其特征在于，包括：
移动终端的垃圾短信过滤客户端根据垃圾短信判决准则将接收到的短信中的垃圾短信过滤出来；
所述垃圾短信过滤客户端将未能过滤出的垃圾短信反馈给垃圾短信处理平台；
所述垃圾短信处理平台根据反馈短信分类准则对接收到的反馈短信进行分类；
所述垃圾短信处理平台根据对所述反馈短信的分类，将不同属性的所述反馈短信分别存储到不同的语料库；
所述垃圾短信处理平台基于所述语料库建立用户模型；
通过对所述用户模型的训练，所述垃圾短信处理平台生成或更新所述反馈短信分类准则和所述垃圾短信判决准则；
所述垃圾短信处理平台将所述垃圾短信判决准则发送给移动终端的所述垃圾短信过滤客户端
其中，所述垃圾短信处理平台根据对所述反馈短信的分类，将不同属性的所述反馈短信分别存储到不同的所述语料库，包括：
所述垃圾短信处理平台将所述反馈短信分类为公用短信和个性化短信；
所述垃圾短信处理平台将所述公用短信存储到所有用户能够共享的公用短信语料库，将所述个性化短信存储到网络侧分别为不同用户设立的个性化语料库。
2.根据权利要求1所述的垃圾短信处理方法，其特征在于，网络侧分别为不同用户设立的所述个性化语料库采用用户的移动识别码进行标识。
3.根据权利要求1所述的垃圾短信处理方法，其特征在于，所述垃圾短信处理平台基于所述语料库建立所述用户模型，包括：
所述垃圾短信处理平台通过提取短信的分词结构和使用词频分别对所述公用短信语料库和所述个性化语料库存储的短信进行特征统计；
所述垃圾短信处理平台根据对所述公用短信语料库的短信的特征统计建立用户基本模型，根据对所述个性化语料库的短信的特征统计建立用户特性模型。
4.根据权利要求3所述的垃圾短信处理方法，其特征在于，通过对所述用户模型的训练，所述垃圾短信处理平台生成或更新所述反馈短信分类准则和所述垃圾短信判决准则，包括：
所述垃圾短信处理平台通过采用统计模式识别方法对所述用户基本模型的训练选取出第一最优分词结构和函数参数，根据所述第一最优分词结构和函数参数生成或更新所述反馈短信分类准则和垃圾短信判决基本准则；
所述垃圾短信处理平台通过采用统计模式识别方法对所述用户基本模型和所述用户特性模型的线性联合训练选取出第二最优分词结构和函数参数，根据所述第二最优分词结构和函数参数生成或更新反馈短信分类准则和垃圾短信个性化判决准则。
5.根据权利要求4所述的垃圾短信处理方法，其特征在于，所述垃圾短信处理平台将所述垃圾短信判决准则发送给移动终端的所述垃圾短信过滤客户端，包括：
所述垃圾短信处理平台根据用户的定制情况，将所述垃圾短信判决基本准则和/或所述垃圾短信个性化判决准则发送给移动终端所述垃圾短信过滤客户端。
6.一种垃圾短信处理系统，其特征在于，包括：
移动终端的垃圾短信过滤客户端，用于根据垃圾短信判决准则将接收到的短信中的垃圾短信过滤出来，并发送反馈短信，所述反馈短信为所述垃圾短信过滤客户端未能过滤出的垃圾短信；
垃圾短信处理平台，包括：
接收模块，用于接收所述反馈短信；
分类模块，用于根据反馈短信分类准则对所述反馈短信进行分类，根据对所述反馈短信的分类，将不同属性的所述反馈短信分别存储到不同的语料库；
用户建模模块，用于基于所述语料库建立用户模型；
训练机，用于通过对所述用户模型的训练，生成或更新所述反馈短信分类准则和所述垃圾短信判决准则；
发送模块，用于将所述垃圾短信判决准则发送给所述垃圾短信过滤客户端；
所述语料库包括公用短信语料库和个性化语料库，其中，所述分类模块将所述反馈短信分类为公用短信和个性化短信，并将所述公用短信存储到所有用户能够共享的所述公用短信语料库，将所述个性化短信存储到网络侧分别为不同用户设立的所述个性化语料库。
7.根据权利要求6所述的垃圾短信处理系统，其特征在于，所述用户建模模块，包括：
特征统计单元，用于通过提取短信的分词结构和使用词频对所述语料库存储的短信进行特征统计；
建模单元，用于根据对所述语料库的短信的特征统计建立所述用户模型。
8.根据权利要求6所述的垃圾短信处理系统，其特征在于，所述训练机，包括：
训练单元，用于通过采用统计模式识别方法对所述用户模型的训练选取出最优分词结构和函数参数；
准则建立单元，用于根据最优分词结构和函数参数生成或更新所述反馈短信分类准则和所述垃圾短信判决准则。

垃圾短信处理方法和系统\n技术领域\n[0001] 本发明涉及信息处理系统，特别是涉及一种垃圾短信处理方法和系统。\n背景技术\n[0002] 随着移动通信的蓬勃发展，短信成为用户基础最为广泛的移动增值业务。然而繁荣滋生弊病，垃圾短信(即非用户所需要的，对用户造成骚扰的短信)泛滥使手机用户深受其扰。用户对垃圾短信治理有强烈需求。各类垃圾短信过滤系统应时而生。\n[0003] 然而现有的垃圾短信过滤系统对垃圾短信的判定大多基于面向所有用户统一的固定准则。这对于不良短信、非法短信的过滤还是有显著效果的。但对于如广告内容的短信，不同用户有着不同的定义与需求，对某用户造成骚扰的短信却可能是另一用户亟需的资讯。\n发明内容\n[0004] 本发明的目的是提出一种垃圾短信处理方法和系统，以提供可以适应用户个性化过滤需求的垃圾短信过滤方案。\n[0005] 为实现上述目的，本发明提供了一种垃圾短信处理方法，包括：移动终端的垃圾短信过滤客户端根据垃圾短信判决准则将接收到的短信中的垃圾短信过滤出来；垃圾短信过滤客户端将未能过滤出的垃圾短信反馈给垃圾短信处理平台；垃圾短信处理平台根据反馈短信分类准则对接收到的反馈短信进行分类；垃圾短信处理平台根据对反馈短信的分类，将不同属性的反馈短信分别存储到不同的语料库；垃圾短信处理平台基于语料库建立用户模型；通过对用户模型的训练，垃圾短信处理平台生成或更新反馈短信分类准则和垃圾短信判决准则；垃圾短信处理平台将垃圾短信判决准则发送给移动终端的垃圾短信过滤客户端。\n[0006] 在一个实施例中，垃圾短信处理平台基于语料库建立用户模型，包括：垃圾短信处理平台通过提取短信的分词结构和使用词频对语料库存储的短信进行特征统计；垃圾短信处理平台根据对语料库的短信的特征统计建立用户模型。\n[0007] 在一个实施例中，通过对用户模型的训练，垃圾短信处理平台生成或更新反馈短信分类准则和垃圾短信判决准则，包括：垃圾短信处理平台通过采用统计模式识别方法对用户模型的训练选取出最优分词结构和函数参数；垃圾短信处理平台根据最优分词结构和函数参数生成或更新反馈短信分类准则和垃圾短信判决准则。\n[0008] 在一个实施例中，垃圾短信处理平台根据对反馈短信的分类，将不同属性的反馈短信分别存储到不同的语料库，包括：垃圾短信处理平台将反馈短信分类为公用短信和个性化短信；垃圾短信处理平台将公用短信存储到所有用户能够共享的公用短信语料库，将个性化短信存储到网络侧分别为不同用户设立的个性化语料库。\n[0009] 在一个实施例中，网络侧分别为不同用户设立的个性化语料库采用用户的移动识别码进行标识。\n[0010] 在一个实施例中，垃圾短信处理平台基于语料库建立用户模型，包括：垃圾短信处理平台通过提取短信的分词结构和使用词频分别对公用短信语料库和个性化语料库存储的短信进行特征统计；垃圾短信处理平台根据对公用短信语料库的短信的特征统计建立用户基本模型，根据对个性化语料库的短信的特征统计建立用户特性模型。\n[0011] 在一个实施例中，通过对用户模型的训练，垃圾短信处理平台生成或更新反馈短信分类准则和垃圾短信判决准则，包括：垃圾短信处理平台通过采用统计模式识别方法对用户基本模型的训练选取出第一最优分词结构和函数参数，根据第一最优分词结构和函数参数生成或更新反馈短信分类准则和垃圾短信判决基本准则；垃圾短信处理平台通过采用统计模式识别方法对用户基本模型和用户特性模型的线性联合训练选取出第二最优分词结构和函数参数，根据第二最优分词结构和函数参数生成或更新反馈短信分类准则和垃圾短信个性化判决准则。\n[0012] 在一个实施例中，垃圾短信处理平台将垃圾短信判决准则发送给移动终端的垃圾短信过滤客户端，包括：垃圾短信处理平台根据用户的定制情况，将垃圾短信判决基本准则和/或垃圾短信个性化判决准则发送给移动终端垃圾短信过滤客户端。\n[0013] 为实现上述目的，本发明还提供了一种垃圾短信处理系统，包括：移动终端的垃圾短信过滤客户端，用于根据垃圾短信判决准则将接收到的短信中的垃圾短信过滤出来，并发送反馈短信，反馈短信为所属垃圾短信过滤客户端未能过滤出的垃圾短信；垃圾短信处理平台，包括：接收模块，用于接收反馈短信；分类模块，用于根据反馈短信分类准则对反馈短信进行分类，根据对反馈短信的分类，将不同属性的反馈短信分别存储到不同的语料库；用户建模模块，用于基于语料库建立用户模型；训练机，用于通过对用户模型的训练，生成或更新反馈短信分类准则和垃圾短信判决准则；发送模块，用于将垃圾短信判决准则发送给垃圾短信过滤客户端。\n[0014] 在一个实施例中，用户建模模块，包括：特征统计单元，用于通过提取短信的分词结构和使用词频对语料库存储的短信进行特征统计；建模单元，用于根据对语料库的短信的特征统计建立用户模型。\n[0015] 在一个实施例中，训练机，包括：训练单元，用于通过采用统计模式识别方法对用户模型的训练选取出最优分词结构和函数参数；准则建立单元，用于根据最优分词结构和函数参数生成或更新反馈短信分类准则和垃圾短信判决准则。\n[0016] 在一个实施例中，语料库包括公用短信语料库和个性化语料库，其中，分类模块将反馈短信分类为公用短信和个性化短信，并将公用短信存储到所有用户能够共享的公用短信语料库，将个性化短信存储到网络侧分别为不同用户设立的个性化语料库。\n[0017] 基于上述技术方案，根据本发明的一方面，网络侧的垃圾短信处理平台可以基于用户反馈的短信进行用户建模，从而生成垃圾短信判决准则和反馈短信分类准则。移动终端的客户端可以根据垃圾短信判决准则对接收到的垃圾短信进行过滤。通过垃圾短信处理平台对垃圾短信判决准则和反馈短信分类准则的更新，不断的提高过滤精度，适应用户的需求。\n附图说明\n[0018] 此处所说明的附图用来提供对本发明的进一步解释，构成本发明的一部分。本发明的示意性实施例及其说明仅用于解释本发明，但并不构成对本发明的不当限定。在附图中：\n[0019] 图1为根据本发明实施例的垃圾短信处理方法的流程图。\n[0020] 图2为根据本发明另一实施例的垃圾短信处理方法的流程图。\n[0021] 图3为根据本发明又一实施例的垃圾短信处理方法的流程图。\n[0022] 图4为根据本发明实施例的垃圾短信处理系统的结构示意图。\n[0023] 图5为根据本发明实施例的垃圾短信处理平台的结构示意图。\n[0024] 图6为根据本发明实施例的垃圾短信处理平台的结构示意图。\n具体实施方式\n[0025] 下面参照附图对本发明进行更详细的描述，其中说明本发明的示例性实施例。在附图中，相同的标号表示相同或者相似的组件或者元素。\n[0026] 图1为根据本发明实施例的垃圾短信处理方法100的流程图。\n[0027] 在步骤102中，移动终端的垃圾短信过滤客户端根据垃圾短信判决准则将接收到的短信中的垃圾短信过滤出来。\n[0028] 在步骤104中，垃圾短信过滤客户端将未能过滤出的垃圾短信反馈给垃圾短信处理平台。\n[0029] 在步骤106中，垃圾短信处理平台根据反馈短信分类准则对接收到的反馈短信进行分类。\n[0030] 在步骤108中，垃圾短信处理平台根据对反馈短信的分类，将不同属性的反馈短信分别存储到不同的语料库。\n[0031] 在步骤110中，垃圾短信处理平台基于语料库建立用户模型。\n[0032] 在步骤112中，通过对用户模型的训练，垃圾短信处理平台生成或更新反馈短信分类准则和垃圾短信判决准则。\n[0033] 在步骤114中，垃圾短信处理平台将垃圾短信判决准则发送给移动终端的垃圾短信过滤客户端。\n[0034] 图2为根据本发明另一实施例的垃圾短信处理方法200的流程图。\n[0035] 在步骤202中，移动终端的垃圾短信过滤客户端根据垃圾短信判决准则将接收到的短信中的垃圾短信过滤出来。垃圾短信过滤客户端可以是安置在移动终端内的面向用户的应用软件。垃圾短信过滤客户端可以存储和维护垃圾短信判决准则。移动终端接收到短信时，垃圾短信过滤客户端可以根据垃圾短信判决准则对短信进行过滤判决，比如，将垃圾短信过滤至垃圾短信信箱，不向用户发通知信号音，正常短信正常接收。垃圾短信判决准则由后续流程中网络侧的垃圾短信处理平台基于用户模型生成和更新。不同用户的垃圾短信判决准则可以是有差异性的。\n[0036] 在步骤204中，垃圾短信过滤客户端将未能过滤出的垃圾短信反馈给垃圾短信处理平台。垃圾短信处理平台是网络侧的短信存储和处理系统。\n[0037] 在步骤206中，垃圾短信处理平台根据反馈短信分类准则对接收到的反馈短信进行分类。比如，垃圾短信处理平台可以将反馈短信分类为公用短信和个性化短信。垃圾短信处理平台可以保存维护反馈短信分类准则。反馈短信分类准则可以由后续流程中垃圾短信处理平台基于用户模型生成和更新。\n[0038] 在步骤208中，垃圾短信处理平台根据对反馈短信的分类，将不同属性的反馈短信分别存储到不同的语料库。语料库可以文件形式分类存储，不同类别不同用户的语料库可以彼此隔离。比如，垃圾短信处理平台可以将公用短信存储到所有用户能够共享的公用短信语料库，将个性化短信存储到网络侧分别为不同用户设立的个性化语料库。\n[0039] 在步骤210中，垃圾短信处理平台通过提取短信的分词结构和使用词频对语料库存储的短信进行特征统计。\n[0040] 在步骤212中，垃圾短信处理平台根据对语料库的短信的特征统计建立用户模型。垃圾短信处理平台可以数据库形式存储和索引用户短信特征。\n[0041] 在步骤214中，垃圾短信处理平台通过采用统计模式识别方法对用户模型的训练选取出最优分词结构和函数参数。\n[0042] 在步骤216中，垃圾短信处理平台根据最优分词结构和函数参数生成或更新反馈短信分类准则和垃圾短信判决准则。\n[0043] 在步骤218中，垃圾短信处理平台将垃圾短信判决准则发送给移动终端的垃圾短信过滤客户端。在一个实施例中，垃圾短信处理平台可以预定周期将垃圾短信判决准则发送给移动终端的垃圾短信过滤客户端。在另一个实施例中，垃圾短信处理平台可以根据移动终端的触发，对垃圾短信过滤客户端的垃圾短信判决准则进行更新。\n[0044] 图3为根据本发明又一实施例的垃圾短信处理方法300的流程图。\n[0045] 在步骤302中，移动终端的垃圾短信过滤客户端根据垃圾短信判决准则将接收到的短信中的垃圾短信过滤出来。不同用户的垃圾短信判决准则可以是有差异性的。\n[0046] 在步骤304中，垃圾短信过滤客户端将未能过滤出的垃圾短信反馈给垃圾短信处理平台。\n[0047] 在步骤306中，垃圾短信处理平台可以根据反馈短信分类准则将移动终端的反馈短信分类为公用短信和个性化短信。垃圾短信处理平台可以保存维护反馈短信分类准则。\n垃圾短信处理平台可以将与现有垃圾短信定义相似度较高的短信存储为公用短信，将反映用户个性化需求的短信存储为个性化短信。\n[0048] 在步骤308中，垃圾短信处理平台可以为所有用户建立能够共享的公用短信语料库，用于存储公用短信。\n[0049] 在步骤310中，垃圾短信处理平台通过提取短信的分词结构和使用词频对公用短信语料库的短信进行特征统计。\n[0050] 在步骤312中，垃圾短信处理平台根据对公用短信语料库的短信的特征统计建立用户基本模型。\n[0051] 在步骤314中，垃圾短信处理平台通过采用统计模式识别方法对用户基本模型的训练选取出第一最优分词结构和函数参数，根据第一最优分词结构和函数参数生成或更新反馈短信分类准则和垃圾短信判决基本准则。统计模式识别是人工智能和模式识别技术中一类传统的方法理论。其原理是将模式用n维向量来表示，即模式特征。模式类就是这些向量的集合。统计模式识别方法通过对有限数据样本做训练，研究模式类的统计概率模型，确定不同模式类在某一特征空间彼此隔离的最优决策界，从而确定统计模式识别的分类器。统计模式识别方法包括贝叶斯分类、线性判别函数、近邻法分类、最小距离分类、聚类分类等。垃圾短信处理平台可以通过对用户基本模型的训练选取出不同的最优分词结构和不同的函数参数，进而分别生成反馈短信分类准则和垃圾短信判决基本准则。在一个实施例中，反馈短信分类准则可以比垃圾短信判决基本准则精度要求略低一个比例。\n[0052] 在步骤316中，垃圾短信处理平台将垃圾短信判决基本准则发送给移动终端垃圾短信过滤客户端，该移动终端的用户可以是非个性化服务定制用户。\n[0053] 在步骤318中，垃圾短信处理平台为定制个性化服务的用户开辟个性化存储空间，即个性化语料库，存储个性化短信。其中，垃圾短信处理平台可以为不同的用户分别建设个性化语料库。在一个实施例中，网络侧分别为不同用户设立的个性化语料库可以采用用户的移动识别码进行标识。用虚拟化方法实现用户与其移动识别码标识的个性化语料库的一一对应关系。利用移动识别码可以对用户身份进行认证，实现个性化语料库的控制访问，保证彼此隔离。\n[0054] 在步骤320中，垃圾短信处理平台通过提取短信的分词结构和使用词频对个性化语料库存储的短信进行特征统计。\n[0055] 在步骤322中，垃圾短信处理平台根据对个性化语料库的短信的特征统计建立用户特性模型。\n[0056] 在步骤324中，垃圾短信处理平台通过采用统计模式识别方法对用户基本模型和用户特性模型的线性联合训练选取出第二最优分词结构和函数参数，根据第二最优分词结构和函数参数生成或更新反馈短信分类准则和垃圾短信个性化判决准则。垃圾短信处理平台可以通过对用户基本模型和用户特性模型的线性联合训练选取出不同的最优分词结构和不同的函数参数，进而分别生成反馈短信分类准则和垃圾短信个性化判决准则。在一个实施例中，用户基本模型和用户特性模型的双模型结构按训练学习出的权重，组合词频，参与后续的训练过程。\n[0057] 在步骤326中，垃圾短信处理平台可以将垃圾短信个性化判决准则发送给已定制个性化服务的移动终端垃圾短信过滤客户端。\n[0058] 图4为根据本发明实施例的垃圾短信处理系统400的结构示意图。垃圾短信处理系统400包括：垃圾短信过滤客户端402和垃圾短信处理平台404。\n[0059] 移动终端的垃圾短信过滤客户端402，用于根据垃圾短信判决准则将接收到的短信中的垃圾短信过滤出来，并发送反馈短信，反馈短信为所属垃圾短信过滤客户端未能过滤出的垃圾短信。\n[0060] 垃圾短信处理平台404，如图5所示，包括：接收模块502、分类模块504、用户建模模块505、训练机506和发送模块508。接收模块502，用于接收反馈短信。分类模块504，用于根据反馈短信分类准则对反馈短信进行分类，根据对反馈短信的分类，将不同属性的反馈短信分别存储到不同的语料库。用户建模模块505，用于基于语料库建立用户模型。训练机506，用于通过对用户模型的训练，生成或更新反馈短信分类准则和垃圾短信判决准则。\n发送模块508，用于将垃圾短信判决准则发送给垃圾短信过滤客户端。\n[0061] 图6为根据本发明另一实施例的垃圾短信处理平台600的结构示意图。垃圾短信处理平台600包括：接收模块602、分类模块604、用户建模模块605、训练机606和发送模块608。\n[0062] 接收模块602，用于接收反馈短信。\n[0063] 分类模块604，用于根据反馈短信分类准则对反馈短信进行分类，根据对反馈短信的分类，将不同属性的反馈短信分别存储到不同的语料库。\n[0064] 用户建模模块605，用于基于语料库建立用户模型。用户建模模块605可以包括特征统计单元12和建模单元14。特征统计单元12，用于通过提取短信的分词结构和使用词频对语料库存储的短信进行特征统计。建模单元14，用于根据对语料库的短信的特征统计建立用户模型。\n[0065] 训练机606，用于通过对用户模型的训练，生成或更新反馈短信分类准则和垃圾短信判决准则。训练机606可以包括训练单元22和准则建立单元24。训练单元22，用于通过采用统计模式识别方法对用户模型的训练选取出最优分词结构和函数参数。准则建立单元24，用于根据最优分词结构和函数参数生成或更新反馈短信分类准则和垃圾短信判决准则。\n[0066] 发送模块608，用于将垃圾短信判决准则发送给垃圾短信过滤客户端。\n[0067] 在一个实施例中，语料库可以包括公用短信语料库和个性化语料库。其中，分类模块604将反馈短信分类为公用短信和个性化短信，并将公用短信存储到所有用户能够共享的公用短信语料库，将个性化短信存储到网络侧分别为不同用户设立的个性化语料库。\n[0068] 用户建模模块605可以通过提取短信的分词结构和使用词频分别对公用短信语料库和个性化语料库存储的短信进行特征统计，并根据对公用短信语料库的短信的特征统计建立用户基本模型，根据对个性化语料库的短信的特征统计建立用户特性模型。\n[0069] 训练机606可以通过采用统计模式识别方法对用户基本模型的训练选取出第一最优分词结构和函数参数，根据第一最优分词结构和函数参数生成或更新反馈短信分类准则和垃圾短信判决基本准则。训练机606通过采用统计模式识别方法对用户基本模型和用户特性模型的线性联合训练选取出第二最优分词结构和函数参数，根据第二最优分词结构和函数参数生成或更新反馈短信分类准则和垃圾短信个性化判决准则。在一个实施例中，训练机606可以预定周期检查用户基本模型和用户特性模型，若有变化，则启动。\n[0070] 发送模块608可以根据用户的定制情况，将垃圾短信判决基本准则和/或垃圾短信个性化判决准则发送给移动终端垃圾短信过滤客户端。比如，将垃圾短信个性化判决准则发送给已定制个性化服务的用户移动终端，将垃圾短信判决基本准则发送给非个性化服务的用户移动终端。\n[0071] 基于上述技术方案，根据本发明的一方面，网络侧的垃圾短信处理平台可以基于用户反馈的短信进行用户建模，从而生成垃圾短信判决准则和反馈短信分类准则。移动终端的客户端可以根据垃圾短信判决准则对接收到的垃圾短信进行过滤。通过垃圾短信处理平台对垃圾短信判决准则和反馈短信分类准则的更新，不断的提高过滤精度，适应用户的需求。根据本发明的另一方面，垃圾短信处理平台还可以根据用户反馈的具有个性化特点的短信和具有公共特性的短信，分别建立用户特性模型和用户基本模型，通过对用户特性模型与用户基本模型的联合训练，生成垃圾短信个性化判决准则，为用户提供个性化服务，以适应用户的差异性要求。\n[0072] 本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。