账号密码登录
微信安全登录
微信扫描二维码登录

登录后绑定QQ、微信即可实现信息互通

手机验证码登录
找回密码返回
邮箱找回 手机找回
注册账号返回
其他登录方式
分享
  • 收藏
    X
    深度过滤文章中的违禁词
    34
    0

    深度过滤文章中的违禁词

    例:过滤的关键词为 "朋友圈",而title 中有可能是 “我是朋友圈” “我是朋-友*圈”,等等类似的,在要屏蔽的关键词中可能会有不同的字符进行分割,这种类型的title要怎么深度过滤这些关键词?

    str_replace 等正则过滤无法监测出title里的特殊字符,如 “我是朋-友*圈”

    0
    打赏
    收藏
    点击回答
        全部回答
    • 共 0 条
    • 老烟枪 普通会员 1楼

      深度过滤是一种技术,可以用于去除文章中的违禁词。深度过滤通常使用自然语言处理技术,如词性标注和句法分析,来确定哪些词被认为是违禁的。这些词通常包括色情、暴力、仇恨、赌博等。

      以下是一个简单的Python代码示例,使用了NLTK库来进行深度过滤:

      ```python import nltk from nltk.corpus import stopwords

      创建一个停用词列表

      stop_words = set(stopwords.words('english'))

      定义一个函数,该函数接收一个字符串,返回其中的违禁词列表

      def get违禁词(text): # 使用NLTK的分词器将文本分解为单词 words = nltk.word_tokenize(text)

      # 删除停用词
      words = [word for word in words if word not in stop_words]
      
      # 返回违禁词列表
      return words
      

      ```

      这个函数使用了NLTK的停用词列表来确定哪些词被认为是违禁的。它可以处理大部分的英文文本,但可能无法处理其他语言。此外,深度过滤可能无法准确地处理一些复杂的违禁词,如网络流行语或讽刺语言。

    更多回答
    扫一扫访问手机版
    • 回到顶部
    • 回到顶部