爬虫更新策略的思考

[fusae]

是这样的，我写了一个爬虫抓取信息存到数据库中，但是这个数据是动态变化的，我需要 24 小时监视。如果发现数据变了，就把这新数据替换掉旧数据。

现在我的代码就只是实现爬取数据并存入到数据库中。

我的更新数据思路就是一直爬，然后把爬到的要插入到数据库的数据（一行）跟数据库目前的某行比较，如果不同，就把旧行删掉，插入新行。

# 思路大概表示
newData = getDataFromWeb()
oldData = getDataFromDB()
if md5(newData) != md5(oldData):
	replaceDataInDB(oldData, newData);

难道我要 copy 一份代码再在里面加入更新策略的代码吗？ 95%代码量相同，感觉不符合程序员的价值观啊？

各位的爬虫更新策略是怎么样的呢？

[NullMan]

今天天气真不错呀!

[oclock]

我没有看懂哪里存在楼主所说的“ copy 一份代码，有 95%的代码相同”
既然是反复爬取，就计划一个 daily cron job ：爬取、与数据库对比、 upsert ，一份代码就足够了

[fusae]

@oclock 那一开始是没有数据库的，第一次是先把数据存到数据库里，都没有比对。

[oclock]

@fusae 所以我说 upsert

[fusae]

@oclock thanks, 我再研究一下

[herozzm]

最近一次存内存，爬到的数据和先和内存比对，在和数据库比对，可以减少数据库压力

[superalsrk]

做索引。。然后 replace into?

[wuhang89]

做个索引啊，两边 hash 比较一下，不一样就认为是更新呗。