金头条 - 股票即时新闻爬虫

[vitovan]

跳过正文：

http://new.jtoutiao.com

公众号：

预览：

能干啥：

• 添加自选股，获得即时新闻。

• 其他附加功能（全网热点、限售解禁预警、机构内参、异动个股等等）

技术栈：

• 爬虫: Python 3 - Celery - re2 - BS4 - Supervisord - Elixir

• 后端: Python 3 - Tornado - PostgreSQL

• 前端: Angular 2 - SystemJS

项目状态：

beta ，服务器随时挂掉 :-D

缺钱、缺人，聊一聊？邮件(base64)： YXdlc29tZXZpdG9AbGl2ZS5jb20=

技术坑：

• Angular 2 毛病多多呀，用作 Production 很是费劲：

  • Pros:

    • TypeScript, 好用。
    • Observable， 好用。

  • Cons:

    • Bug: OnInit not fired when using Safari's back button iOS 不能后退 貌似 Fixed
    • feat(router): implement otherwise/routeNotFound hook #2965 不能设置 404 ，现在状态不清楚
    • Angular 2 dynamic tabs with user-click chosen components 想动态创建一下 innerHTML ，难得要命。
    • Angular Universal 你要是用了个 Python 后端就还是算了吧

  • 总结：如果上天再给我一次机会，我会选择用 React，即使 JSX 让人相当讨厌。

• PostgreSQL

  • 想不起来有什么可吐槽的，就是 XX 云的 RDS 太贵了，性能也不敢恭维。

• Celery

  • Pros: 爽！分布式任务调度，加上 Flower 这个控制台，很方便呀~
  • Cons: 我是不知道为什么， worker 莫名的就那么消失了，要不然也不会非要再用什么 Supervisord 。

• Tornado

  • Pros: @gen.coroutine 好用！
  • Cons: 没什么不好的，刚接触 ioloop 概念的时候很不适应，这个是 Tornado 自创的么（挖鼻孔）？

• Elixir

  • Pros: erlang 美化版，好用呀~ 文档什么的也赞爆了：Kernel – Elixir v1.3.2。
  • Cons: 不知道为什么写着写着就恶心了，感觉语言中人为干预的太多了，预设模式太多了。可能设计出来的语言就有这毛病吧。尤其是用Postgrex这个库的时候越用越难受，也说不上为啥。
  • 总结：瞎折腾这些新鲜玩意儿，有这功夫咋不用 Java 呢？咋不去上天呢？

讨论：

大家有啥想聊的一起聊一聊，瞎吵吵架呗~

[kunee]

没看懂价值在哪里？