R 里面使用 knn 进行计算太慢了~ 求优化建议~

[RangerWolf]

笔记本i5 双核4线程。 跑一个knn ， 训练数据1000天，test set 2W条。估计跑了10~20分钟
求性能优化建议。
我已经使用了openblas进行加速了。。。

难道要换个mac？
不知道有没有一些vps能提供这种服务？比如青云这种按秒计费的服务商，我刚试了一下8核4G 0.92元/小时

求靠谱建议

[dndx]

R 是单线程，性能不行，别说 KNN 这么复杂的算法，就做个简单的统计模拟都是慢的要死。

如果可以用 C++ 重写的话，试一试 http://www.cs.ubc.ca/research/flann/ ，据我用的情况来看比 R 快了几个数量级。

[madeye]

来块显卡吧 http://vincentfpgarcia.github.io/kNN-CUDA/

[RangerWolf]

@dndx 哎 看来用R入门之后 还是得靠cpp python 等传统语言来搞定生产系统
多谢~

[RangerWolf]

@madeye mac 里面的显卡能用吗？ 我现在的本子是使用cpu集成的显示芯片的

[madeye]

@RangerWolf 不够用的。

[canesten]

@RangerWolf
集成显卡完全不行的
想玩CUDA请上英伟达开普勒架构以上的显卡
我记得貌似亚马逊有专门的实例

[Comdex]

用golang

[canesten]

@Comdex
R也可以玩CUDA
关键是显卡
http://brainarray.mbni.med.umich.edu/brainarray/Rgpgpu/

[ruoyu0088]

能否具体一点？
你要对20000条测试数据在1000条数据中k个最近的数据吗？k值是多大？数据的维数是多少？

[road2stat]

http://cran.r-project.org/web/packages/FNN/

[RangerWolf]

@road2stat 我用的就是FNN里面的knn

@ruoyu0088 其实这个是kaggle里面的一个比赛项目： http://www.kaggle.com/c/digit-recognizer
原始的训练数据有42W条，但是在R里面跑了一个晚上也没跑完。。。 我就只留了10000条数据作为训练数据了~ 每条数据是784列，k值我选的7

因为太慢了，没有能测试多个k值，不知道影响如何~