求一个队友维护一个 Java 爬虫项目

2016-04-11 21:16:26 +08:00
 decaywood
这是一个雪球网的股票爬虫项目,个人由于快找工作了,没时间管理,希望有朋友能够帮忙打理一下。主要是修复一些 bug : https://github.com/decaywood/XueQiuSuperSpider
3931 次点击
所在节点    程序员
27 条回复
root787
2016-04-11 22:14:46 +08:00
看了一眼,看到 Java ,顿时没了兴趣。
cs4814751
2016-04-11 22:19:43 +08:00
Java 菜鸟可以吗?(⊙﹏⊙)
weizhixiang
2016-04-11 22:26:55 +08:00
看不懂,刚学会用 python 的 Yahoo 接口获取数据画 k 线图
ob
2016-04-11 22:34:45 +08:00
都抓哪些东西,有空我看看。
decaywood
2016-04-11 22:52:29 +08:00
@ob 基本上都可以抓,架构为开放式设计的
decaywood
2016-04-11 22:52:53 +08:00
@cs4814751 可以,按照约定开发即可
zhtsuc
2016-04-11 23:04:27 +08:00
java 多年,不知道咋打理
Bryan0Z
2016-04-11 23:06:32 +08:00
菜鸟来凑个热闹
273579540
2016-04-11 23:10:54 +08:00
我有兴趣,不过技术还不到家,多谢提供这么好我项目学习。
reeco
2016-04-11 23:15:14 +08:00
已 star
gxz1989611
2016-04-12 08:48:36 +08:00
似乎是要升级到 java8 才能编译啊?我这 java7 编译失败了诶~
sunfanteng
2016-04-12 09:39:25 +08:00
我也是做 Java 的,一起学习吧。
zjxzhqq
2016-04-12 09:47:05 +08:00
没做过爬虫,想试试
decaywood
2016-04-12 10:26:32 +08:00
@gxz1989611 项目核心就是 Java8 的并行流,所以拓展性几乎没有限制
decaywood
2016-04-12 10:27:38 +08:00
@zhtsuc 如果炒股的话,可以根据自己需要提供一些模块,以及修复一些可能的 bug ,虽然运行这么久鲜有 bug
libiao5320
2016-04-12 11:47:34 +08:00
Mapper: Network busy Retrying -> 2 times
Mapper: Network busy Retrying -> 2 times
Mapper: Network busy Retrying -> 3 times
Mapper: Network busy Retrying -> 3 times
Mapper: Network busy Retrying -> 3 times
Mapper: Network busy Retrying -> 3 times
Mapper: Network busy Retrying -> 3 times
Mapper: Network busy Retrying -> 4 times
Mapper: Network busy Retrying -> 4 times
Mapper: Network busy Retrying -> 4 times
Mapper: Network busy Retrying -> 4 times
Mapper: Network busy Retrying -> 4 times
Mapper: Network busy Retrying -> 5 times
Mapper: Network busy Retrying -> 5 times
Mapper: Network busy Retrying -> 5 times
Mapper: Network busy Retrying -> 5 times
Mapper: Network busy Retrying -> 5 times


楼主为什么会出现这种情况?
decaywood
2016-04-12 11:54:49 +08:00
@libiao5320 两种情况,一:你抓取太频繁,被限制了。 二:雪球网 cookie 机制有变化,这个问题需要经常维护的,你看看是那个模块出的问题
kenshinji
2016-04-12 13:10:08 +08:00
有意思,我有兴趣 :)
decaywood
2016-04-12 14:53:00 +08:00
@kenshinji 非常欢迎~
@libiao5320 bug 已修复,雪球访问协议改成 https 了
helloworldwt
2016-04-12 15:00:46 +08:00
我也有兴趣,求加入

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/270290

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX