撸了个网站,采集的 Next, Product Hunt, Mindstore 数据。经常访问这三个站的朋友可以进来看看。

2015-01-30 11:47:09 +08:00
 aidai524
[产品集] www.chanpinji.net ,自己经常访问Next,Product Hunt,Mindstore这三个站看一些新的项目或者产品,切换嫌麻烦。就自己撸了个,数据采集于这三个站,每6小时采集一次。

前后花了三天时间,主要就是花在采集上面了。代码用的laravel框架。数据存储用的leancloud,因为官方没php的sdk,顺便参考parse弄了个sdk,[avos-php-sdk] https://github.com/aidai524/avos-php-sdk 。省得自己写rest调用了。
5951 次点击
所在节点    分享创造
37 条回复
niko
2015-01-30 11:55:23 +08:00
貌似速度有些慢?
aidai524
2015-01-30 12:00:38 +08:00
@niko 服务器用的digitalocean,之前买的cn域名备案了好久一直都没下的来。放弃备案了,直接买了个net域名放国外了。
aidai524
2015-01-30 13:06:32 +08:00
@niko 换了个网测试了下,果然很慢,一个字体下载了20多秒,关键我静态文件都托管在七牛的,数据也在国内,好不科学的样子,有空研究下。
markkitty
2015-01-30 13:15:27 +08:00
数据加载太慢了,加载昨日数据http://www.chanpinji.net/api/fetch-data?date=2015-01-29&from=,用了28.02秒
aidai524
2015-01-30 13:20:36 +08:00
@markkitty 看来要换parse了。dg对于leancloud来说太不友好了。
Teresa20133
2015-01-30 13:37:41 +08:00
直接看PH和NEXT就好了,Mindstore全是抄的NEXT和PH…
Ricky123
2015-01-30 13:38:09 +08:00
已收藏,加个网站icon吧
klam
2015-01-30 15:19:43 +08:00
我仅代表 中华人民共和国最高人民法院 全国人大常委会办公厅 中国人民政协全国委员会 中华人民共和国最高人民检察院 国务院部委 中华人民共和国外交部 中华人民共和国公安部 中华人民共和国水利部 中华人民共和国文化部 中华人民共和国科学技术部 中华人民共和国劳动和社会保障部 中华人民共和国建设部 中华人民共和国国家民族事务委员会 中华人民共和国交通部 中华人民共和国铁道部 中华人民共和国信息产业部 中华人民共和国农业部 中华人民共和国民政部 中华人民共和国教育部 中华人民共和国国家发展和改革委员会 中华人民共和国人事部 国防科学技术工业委员会 中华人民共和国商务部 中华人民共和国司法部 中华人民共和国财政部 中华人民共和国国土资源部 中华人民共和国卫生部 国家人口和计划生育委员会 中国人民银行 中华人民共和国审计署 国务院直属机构 中华人民共和国国家新闻出版署 中华人民共和国海关总署 国家质量监督检验检疫总局 中华人民共和国国家旅游局 中华人民共和国国家统计局 中华人民共和国国家体育总局 中国民用航空总局 中华人民共和国国家环境保护总局 其他国家机构及社会团体 对你的网站表示强烈的赞赏!
aidai524
2015-01-30 15:21:50 +08:00
@Teresa20133 根据采集的数据来看,从标题上来识别,好像Mindstore和另外两个重复的还真不多。跟next只有极小部分的重复
zr529130510
2015-01-30 16:39:23 +08:00
哎呦,界面做的很好啊,请问你之前是做设计师的吗
aidai524
2015-01-30 16:41:41 +08:00
@zr529130510 不是设计师。就是参考那三个站的配色随便弄的。
Shazoo
2015-01-30 18:13:08 +08:00
挺好的。我搜藏了。不过速度太慢了。
aidai524
2015-01-30 18:23:19 +08:00
@Shazoo 速度今天就优化,之前在国内的服务器上跑,都是毫秒级别的。可惜域名备案一直下不来。后面重新备案。
djyde
2015-01-30 19:23:15 +08:00
Teresa20133
2015-01-30 19:27:21 +08:00
@aidai524 我一直在关注他们,以前的时候 Mindstore 是直接 copy NEXT 连介绍都不改…
aidai524
2015-01-31 20:16:22 +08:00
@djyde 不错。
aidai524
2015-01-31 23:57:37 +08:00
@Shazoo 数据库换到parse了,我这边测试,打开的时间正常了。你再看看。
GeekGao
2015-02-02 13:12:05 +08:00
输出个RSS好嘛
aidai524
2015-02-02 13:22:20 +08:00
@GeekGao 好,马上就加。
GeekGao
2015-02-02 13:45:48 +08:00
@aidai524 抓取频率 提高点吧 6小时太长了,1-3小时似乎更合理

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/166728

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX