- 34
- 0
深度过滤文章中的违禁词
例:过滤的关键词为 "朋友圈",而title 中有可能是 “我是朋友圈” “我是朋-友*圈”,等等类似的,在要屏蔽的关键词中可能会有不同的字符进行分割,这种类型的title要怎么深度过滤这些关键词?
str_replace 等正则过滤无法监测出title里的特殊字符,如 “我是朋-友*圈”
0
打赏
收藏
点击回答
- 共 0 条
- 全部回答
-
老烟枪 普通会员 1楼
深度过滤是一种技术,可以用于去除文章中的违禁词。深度过滤通常使用自然语言处理技术,如词性标注和句法分析,来确定哪些词被认为是违禁的。这些词通常包括色情、暴力、仇恨、赌博等。
以下是一个简单的Python代码示例,使用了NLTK库来进行深度过滤:
```python import nltk from nltk.corpus import stopwords
创建一个停用词列表
stop_words = set(stopwords.words('english'))
定义一个函数,该函数接收一个字符串,返回其中的违禁词列表
def get违禁词(text): # 使用NLTK的分词器将文本分解为单词 words = nltk.word_tokenize(text)
# 删除停用词 words = [word for word in words if word not in stop_words] # 返回违禁词列表 return words```
这个函数使用了NLTK的停用词列表来确定哪些词被认为是违禁的。它可以处理大部分的英文文本,但可能无法处理其他语言。此外,深度过滤可能无法准确地处理一些复杂的违禁词,如网络流行语或讽刺语言。
更多回答
网站公告
- 扫一扫访问手机版
回答动态

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器更新之后。服务器里面有部分玩家要重新创建角色是怎么回事啊?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题函数计算不同地域的是不能用内网吧?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题ARMS可以创建多个应用嘛?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题在ARMS如何申请加入公测呀?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题前端小程序接入这个arms具体是如何接入监控的,这个init方法在哪里进行添加?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器刚到期,是不是就不能再导出存档了呢?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器的游戏版本不兼容 尝试更新怎么解决?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器服务器升级以后 就链接不上了,怎么办?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器转移以后服务器进不去了,怎么解决?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器修改参数后游戏进入不了,是什么情况?预计能赚取 0积分收益
- 回到顶部
- 回到顶部
