python 爬取的数据要如何展现(可视化)?

2016-08-02 21:45:39 +08:00
 Merlini

最近无聊去熊猫 tv 直播了一小会,写了个爬虫,爬取主播 id 和竹子数量进行排序啥的看看。
然后爬取的数据不知道怎么展现,以前都是放在本地自己看看。
现在暂时把 python 脚本放在学生主机上了,每天 8pm 爬取一次,保存为 csv 格式。
那么问题来了,这些数据如何展示出来了?我暂时有几个想法:

  1. csv 直接变成 html 表格
  2. 使用类似 jinja2 之类的模板
  3. 将数据存储起来,用 js 处理,正好做个网站(本人学了一丢丢前端知识)为什么要用 js 处理呢,因为感觉加上 h5 和 css3 ,数据展示效果应该会很棒比较酷炫。就是不知道 js 处理数据能力怎么样,但是其实我这边数据也很少

github 地址: panda-bamboos-rank

代码写的很入门级,希望大家多多发表意见

7582 次点击
所在节点    Python
25 条回复
raycool
2016-08-02 21:48:18 +08:00
highchart
ranjiayu
2016-08-02 22:06:41 +08:00
ECharts
Merlini
2016-08-02 22:51:20 +08:00
@raycool
@ranjiayu
能具体讲讲这些东西吗 都是 js 生成的 charts ?
那既然用 js 的话,我怎么把 python 的这些数据传给 js 呢
hustlike
2016-08-02 22:53:34 +08:00
splunk 免费版
lxy
2016-08-02 23:08:22 +08:00
我自己用 Flask 搭了个 web app ,写好前端,返回整理好的数据 json 即可,连模板都没用上。
Perry
2016-08-02 23:08:52 +08:00
Merlini
2016-08-03 08:05:17 +08:00
@Perry 请问我是需要先把数据存到数据库,再用 js 读取?
zhouxuchen
2016-08-03 08:53:03 +08:00
还是放在数据库比较靠谱……接口的话用 Flask 就行,然后用 js 请求下
namco1992
2016-08-03 09:09:39 +08:00
我是把数据放在 mongodb ,然后单独一个脚本作分析,导出 json ,用 c3.js 画图,然后随便写个很简单的页面就好了。
展示在这里: http://107.170.207.236/job_analysis
代码在这里: https://github.com/namco1992/job_analysis
Perry
2016-08-03 09:24:18 +08:00
@Merlini 一般把数据存在数据库,然后像楼上一样把分析出来的结果导出来(比如 json )用来展示,因此展示的时候不需要连接数据库。
Merlini
2016-08-03 09:33:38 +08:00
@zhouxuchen @namco1992 @Perry 非常感谢 我研究研究
aitaii
2016-08-03 10:09:32 +08:00
@Merlini highchart,ECharts 数据格式应该是 json 的。
oraant
2016-08-03 10:53:46 +08:00
最简单的当然是 excel 绘图。。
然后是 echarts , google 图表之类的在线生成图片的。
这些都适合小白。

正确的姿势,是存到数据库中,然后通过 JSON 传递给 js 组件,如大家提到的 Echarts , HighCharts

Echarts 和 Highchart 上手都很简单,有点 js 基础,就可以 5 分钟入门。
D3 之类的学习曲线太陡。
还有其他的一堆图表绘制插件,搜一下就是了。
lzgbeyong
2016-08-03 14:04:37 +08:00
正好最近用 node 爬虫爬取了各个直播网站的 dota 信息,直接用网站显示,这是网站 http://120.76.29.108:8080/
只显示数据可以用 python 的 matplot 绘制表格。
slysly759
2016-08-03 14:15:32 +08:00
@namco1992 前端生成的界面好棒啊
Merlini
2016-08-03 15:10:44 +08:00
@namco1992 请问 mongodb 和 mysql 这两种不同类型的数据库 如何选择呢
dabpop139
2016-08-03 16:31:36 +08:00
有个小问题想请教,已经在你 Github 项目上提 Issue
20150517
2016-08-03 18:44:53 +08:00
Highchart + 1
我不是前端的,但也用 django + highchart 做了不少,感觉很简单
另外如果只是自己看的,我一般 ipython notebook 的 plot 直接显示了

或者如果是实时数据,我还喜欢用 carbon+graphite 直接显示出来,我用十几个 graph 监控金融市场数据,用 graphite 显示的
Merlini
2016-08-03 21:41:56 +08:00
@dabpop139 已回复
Merlini
2016-08-03 21:44:12 +08:00
@20150517 准备用 echarts 还是中文看着爽。。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/296674

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX