关于内网 bbs 抓取的技术问题

2015-03-04 19:46:58 +08:00
 alexapollo

很想关注某些内网bbs的关键词(二手、交易),但我们公司每次登录都是动态密码,cookie每次都变,就没法用程序写死cookie或密码来自动抓取了
有什么好方法让我能自动抓取内网bbs的相关信息呢?

3500 次点击
所在节点    程序员
18 条回复
horsley
2015-03-04 20:32:19 +08:00
鹅厂?
onlyice
2015-03-04 20:34:05 +08:00
动态密码没办法了吧。。看看 BBS 有漏洞没有。。
zkd8907
2015-03-04 20:34:28 +08:00
=.= 目测鹅厂。。。
YouXia
2015-03-04 20:40:08 +08:00
无解。
xfspace
2015-03-04 20:43:52 +08:00
根据Github的显示: Tencent
lk09364
2015-03-04 20:45:21 +08:00
userscript?
loading
2015-03-04 20:50:55 +08:00
取cookie,发送给你的抓取服务app,app用cookie认证登陆。

发cookie这一步,程序不好取,可能要手工,不知node-webkit行不行。
horsley
2015-03-04 21:02:39 +08:00
其实我们这边已经有一个小工具,不过我要做一个新工具
ytzong
2015-03-04 21:04:49 +08:00
装个浏览器扩展,自动刷新页面的那种,可以设置监控的关键字,刷到了会弹通知

鹅厂你好,鹅厂再见
800126
2015-03-04 21:24:49 +08:00
我也想起了鹅厂的RSA密码令牌了
typcn
2015-03-04 22:13:48 +08:00
需要费时间的方法:
反编译密码令牌的客户端,一般情况下 iOS 客户端比较好逆,OC 可以还原的比较好。安卓端一般混淆的比较蛋疼。
找出算法,写出密码计算器,然后就简单了

懒一点的方法(有现成实现的):
装个安卓模拟器,把密码令牌程序运行到模拟器里,一般情况下数字非常好认,把0-9都截图一遍,然后屏幕识别就可以轻易的获得当前的密码,然后模拟登陆抓取
mdjhny
2015-03-04 23:05:06 +08:00
1、大部分人浏览器一整天都是开着的;
2、总要访问个oa吧,访问oa就自动种下cookie了;
3、种下cookie就可以用浏览器插件开搞了。

ps:楼主工作明显不饱和。
hiboshi
2015-03-04 23:20:34 +08:00
目测楼主所说的应该是
bbs.oa.com 鹅厂
ykjsw
2015-03-05 07:28:10 +08:00
如果是鹅厂 建议别搞 有访问记录的 访问多了会有人找你的
horsley
2015-03-05 09:12:42 +08:00
@ykjsw ls亲历?
cvrock
2015-03-05 11:42:50 +08:00
我擦,这么多鹅厂的
alexapollo
2015-03-05 14:27:24 +08:00
@ykjsw really?。。。。
alexapollo
2015-03-06 10:51:21 +08:00
@loading 看起来登录以后ajax调一下本机的服务就行。。
@ytzong 估计只有这个办法了,但监测到关键字后有没有什么简单的弹提示的方法?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/174495

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX