- 16
- 0
我在爬取别人的数据并存入库
假设爬取的是1个页面有25个数据。我爬取了50个页面。
由于网站每过一段时间就有添加数据和删除数据
所以我每过一段时间就要进行一次爬取,同样也是50个页面,一个页面有25个数据。
第一次与第二次数据相比,如果第一次的数据没再出现则把数据库中对应的数据标记为过期
如果第二次的数据有新增的数据则加入到数据库中
请问我该如何过滤这些数据库中的数据
0
打赏
收藏
点击回答
- 共 0 条
- 全部回答
-
萌面大叔 普通会员 1楼
在更新数据库时,为了快速验证数据并进行删添,可以使用SQL查询语言来检查更新前的数据,以及在更新后验证数据。以下是具体的操作步骤:
- 使用
SELECT语句查询数据库,获取更新前的数据。例如,如果要检查在某个时间点之前的数据,可以使用以下查询:
sql SELECT * FROM table_name WHERE some_column = value;- 使用
UPDATE语句更新数据库。例如,要将所有表中的数据都更新为新的值,可以使用以下查询:
sql UPDATE table_name SET column1 = value1, column2 = value2, ... WHERE some_column = value;- 使用
INSERT语句插入新的数据。例如,要将新的数据插入到数据库中,可以使用以下查询:
sql INSERT INTO table_name (column1, column2, ...) VALUES (value1, value2, ...);- 使用
SELECT语句检查更新后的数据。例如,要查看在更新后的数据是否符合预期,可以使用以下查询:
sql SELECT column1, column2, ... FROM table_name WHERE some_column = value;- 如果查询结果不满足预期,可以使用
UPDATE语句更新数据。例如,如果查询结果中有一些不符合预期的值,可以使用以下查询:
sql UPDATE table_name SET column1 = value1, column2 = value2, ... WHERE some_column = value AND column_name != 'expected_value';以上就是在更新数据库时快速验证数据并进行删添的步骤。
- 使用
更多回答
网站公告
- 扫一扫访问手机版
回答动态

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器更新之后。服务器里面有部分玩家要重新创建角色是怎么回事啊?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题函数计算不同地域的是不能用内网吧?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题ARMS可以创建多个应用嘛?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题在ARMS如何申请加入公测呀?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题前端小程序接入这个arms具体是如何接入监控的,这个init方法在哪里进行添加?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器刚到期,是不是就不能再导出存档了呢?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器的游戏版本不兼容 尝试更新怎么解决?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器服务器升级以后 就链接不上了,怎么办?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器转移以后服务器进不去了,怎么解决?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器修改参数后游戏进入不了,是什么情况?预计能赚取 0积分收益
- 回到顶部
- 回到顶部
