各位大佬们。请教一个关于微信文章爬虫的问题

2018-03-29 08:17:05 +08:00
 wjx1993

https://github.com/lqqyt2423/wechat_spider 这个微信文章爬虫项目感觉写的挺好的,他这个项目我运行后,只能获取文章链接和标题,但是不能自动跳转到文章详情页获取浏览量和点赞

希望大佬们看到后,指导一下

我是 win10 上运行的,不知道是否会有影响

5359 次点击
所在节点    Node.js
14 条回复
wjx1993
2018-03-29 08:19:03 +08:00
个人感觉有可能是 redis 数据库存储文章链接的问题,因为我在本地 redis 数据库没看到文章链接的数据,但是他代码里的逻辑应该是从 redis 数据库取链接然后再获取文章详情页的浏览量和点赞
wjx1993
2018-03-29 08:53:15 +08:00
有没有大佬在?
wjx1993
2018-03-29 09:49:35 +08:00
跪求大佬指导
lazyboy
2018-03-29 09:55:19 +08:00
我写的。。 通过历史消息页面获取文章和链接后 再随便打开一篇文章页面试试
lazyboy
2018-03-29 09:55:46 +08:00
就说今天过来怎么多了些 star 了
opengps
2018-03-29 10:06:38 +08:00
@lazyboy 666,活捉大佬啊
wjx1993
2018-03-29 10:13:22 +08:00
@lazyboy 大佬,联系你好久了,就是没有回复我,终于找到你了
wjx1993
2018-03-29 10:14:54 +08:00
@lazyboy 我试过了,要手动点开文章才可以获取文章详情页的浏览量和点赞
wjx1993
2018-03-29 10:15:23 +08:00
@lazyboy 可不可以改成自动点开获取数据?
lazyboy
2018-03-29 10:22:46 +08:00
targetBiz.json 设置这个文件里面的你要抓取的 msgbiz
或者直接把这个文件删掉
然后之后打开文章页面 只要你的数据库中之前有链接 就会自己跳的
你可以看我的代码逻辑怎么写的呀
wjx1993
2018-03-29 10:40:22 +08:00
@lazyboy redis 数据库并没有存跳转的链接,怎么跳?大佬,可以加你微信或 qq 私聊吗?
lazyboy
2018-03-29 10:56:05 +08:00
mongo 里面有就行
wjx1993
2018-03-29 11:00:35 +08:00
@lazyboy mongo 里有文章链接,但是并不能自动跳转到文章详情,你看下
lazyboy
2018-03-29 11:30:52 +08:00
加我微信吧 MTg4MTc1MDc1MzA=

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/442318

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX