金头条 - 股票即时新闻爬虫

[vitovan]

跳过正文：

http://new.jtoutiao.com

公众号：

预览：

能干啥：

• 添加自选股，获得即时新闻。

• 其他附加功能（全网热点、限售解禁预警、机构内参、异动个股等等）

技术栈：

• 爬虫: Python 3 - Celery - re2 - BS4 - Supervisord - Elixir

• 后端: Python 3 - Tornado - PostgreSQL

• 前端: Angular 2 - SystemJS

项目状态：

beta ，服务器随时挂掉 :-D

缺钱、缺人，聊一聊？邮件(base64)： YXdlc29tZXZpdG9AbGl2ZS5jb20=

技术坑：

• Angular 2 毛病多多呀，用作 Production 很是费劲：

  • Pros:

    • TypeScript, 好用。
    • Observable， 好用。

  • Cons:

    • Bug: OnInit not fired when using Safari's back button iOS 不能后退 貌似 Fixed
    • feat(router): implement otherwise/routeNotFound hook #2965 不能设置 404 ，现在状态不清楚
    • Angular 2 dynamic tabs with user-click chosen components 想动态创建一下 innerHTML ，难得要命。
    • Angular Universal 你要是用了个 Python 后端就还是算了吧

  • 总结：如果上天再给我一次机会，我会选择用 React，即使 JSX 让人相当讨厌。

• PostgreSQL

  • 想不起来有什么可吐槽的，就是 XX 云的 RDS 太贵了，性能也不敢恭维。

• Celery

  • Pros: 爽！分布式任务调度，加上 Flower 这个控制台，很方便呀~
  • Cons: 我是不知道为什么， worker 莫名的就那么消失了，要不然也不会非要再用什么 Supervisord 。

• Tornado

  • Pros: @gen.coroutine 好用！
  • Cons: 没什么不好的，刚接触 ioloop 概念的时候很不适应，这个是 Tornado 自创的么（挖鼻孔）？

• Elixir

  • Pros: erlang 美化版，好用呀~ 文档什么的也赞爆了：Kernel – Elixir v1.3.2。
  • Cons: 不知道为什么写着写着就恶心了，感觉语言中人为干预的太多了，预设模式太多了。可能设计出来的语言就有这毛病吧。尤其是用Postgrex这个库的时候越用越难受，也说不上为啥。
  • 总结：瞎折腾这些新鲜玩意儿，有这功夫咋不用 Java 呢？咋不去上天呢？

讨论：

大家有啥想聊的一起聊一聊，瞎吵吵架呗~

[vitovan]

r#19 @GreatMartial 足彩不跟国内股票一样是瞎胡闹么？不知道有没有实用价值呀（对彩民）？

[tkpc]

@vitovan 足彩就是骗局 在冠军杯期间就看出来了 赔率高的大热门的队都输掉了 伤心的不要不要的 而且还是国内足彩 你懂的...

[tkpc]

@GreatMartial 足彩类的才多 你以为 500.com 怎么来的

[GreatMartial]

@vitovan 我有朋友玩足彩，而且足彩有很多人是玩外盘，赔率比国内良心很多。
有人分析，足彩的庄家设计赔率，通过动态调整，引导用户，保证有一个大概率的收益平衡，而且收益率远没有摇号的彩票那么高。
一个单场一定有赢的玩家，规模化的输多赢少，庄家就有了稳定的收益了。
如果能做到跟着庄家走，赚钱的概率应该就很稳定了。
以上是我的个人理解，求各位轻拍。

[GreatMartial]

@tkpc 我知道 500 ，没有用过，不知道有没有推荐的业务...

[mahone3297]

@vitovan >这......几乎全网的中文金融网站吧，大大小小一百多个。
请教，这么多网站，一个个抓？累不累？

[tony1016]

不好意思，我一点，不小心点挂了

[yakiang]

话说为什么国内不同股票网站会有不同的交易数据呢，比如新浪、同花顺、东方财富等网站对于同一支股票的大单交易的明细和数量是不同的，都不知道哪个靠谱了

[noder]

为什么不试试 riotjs

[vitovan]

r#27 @tony1016 哈哈，不碍事~

[vitovan]

r#28 @yakiang 时间差问题吧~很难说谁的更及时。

[vitovan]

r#29 @noder 没用过，去看看。

[vitovan]

r#26 @mahone3297 还好吧，写好每个网站的适配模型，平时维护一下就好了，网站不改版或者改变防抓策略的话，维护工作不算大。

[ob]

不错啊，只支持 a 股？

[vitovan]

r#34 @ob 嗯~

[xujif]

@vitovan 老板掏钱，不要荐股，有法律风险

[vitovan]

r#36 @xujif 多谢。

[yfmir]

@GreatMartial 其实有这东西了，硬广一下，球球是道

[GreatMartial]

@yfmir 额，我去关注一下，谢谢

[aaronrzh]

关注一下