这是一个创建于 2633 天前的主题,其中的信息可能已经有所发展或是发生改变。
现在的环境
windows2008 r2+mssql2014
数据一千万行,800m(这已经是我 3 年的数据总和了)
自己不会搞了,也搞了很久了,一开始开发功能一点点添加起来,没有速度要求,所以数据结构很乱了。筋疲力尽,(主要还是自己能力不够,时间也不够用了),还是请有能力有时间的 mjj 帮忙开发一下。
软件环境:
windows 下面能使用,什么 mssql,mysql,db,开发环境语言的无所谓,只要速度达标,越快越好
软件要求:
每天本地导入分析一份 100w 行,两列(A 列数字,B 列字母),纯字母和数字的 csv.22MB 大小
进行分析,查询,比较
速度是关键的,要求导入+查询全部 1s 内完成,也就是毫秒级
环境在服务器上,win2008 r2 ,但是是纯个人使用
假如这全是模糊搜索,那么 1 千万行,后面的几千万行的时候,速度也不要慢太多,1s 左右差距。估计我 10 年也到不了几千万行。
原有数据采集过去还是到处 csv,再全部导过去?
开发时间:
因为我现在手上有完整的软件和数据库可以用,但是速度瓶颈了。
所以具体软件功能也不多,有现成的给你参考
其实就是导入,分析,查询,提取
我知道大神都比较忙,这也只是一个金额不大的外包,所以在你完成工作,把完妹,撸完之后
抽时间尽快搞定。
一周?你定吧。
请有能力有时间的 mjj 联系我 qq,感谢
49 六一 47 九五三
来,技术 mjj,翻我牌子吧
第 1 条附言 · 2017-09-12 22:58:58 +08:00
ps:此贴暂停,加的人太多了,我都来不及和每个说逻辑了。
先暂停了,这几个大神应该能搞好。
题外话,有的大神加我的时候都快 20 点,还在公司或者刚刚下班路上
向你们这些前线技术员致敬,真的太辛苦了
17.9.12
2 条回复 • 2017-09-21 09:21:48 +08:00
|
|
1
zzcworld 2017-09-13 04:02:21 +08:00 via iPhone
用 KDB+,非商业用途免费
|