关于爬虫这块有个比较好奇的问题，想请教

2021-05-13 15:02:54 +08:00
 Colorful

每次爬虫之后，到数据库里面去，那假如说有重复的怎么解决？ 是直接在写数据库方法的时候处理？

先用条件去判断这些数据有没有，有的话，更新？没有就插入？这样解决？

还是在页面显示的时候解决？用关键的字段去判断，然后去重，再显示最近的一条？

爬虫菜鸟一枚

3452 次点击
所在节点    Python
22 条回复
llsquaer
2021-05-21 10:25:54 +08:00
量不是很大..直接用 数据库的 insert ignore into table_name(xxxx) .....前提是,字段需要是第一主键
Colorful
2021-05-26 10:38:34 +08:00
@llsquaer 至少几千条吧，最多的时候几万条..
感觉好像不大

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/776723

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX