有自建网盘的 V 友吗?

2020-08-12 17:24:03 +08:00
 naohion

主要用来存实验数据(还有 djj )小文件特别多( 300 万个),加起来没多大,4T 左右。百度盘超级会员还有 2 年,前几天公开课被百度替换成 8 秒教育片,实在忍不了,开了一个月 10TB Google One (因为 G Suite 有 40 万文件限制),rclone 用了半个月传完,发现文件夹大小都看不了,文件传没传完都不知道,打算自建。目前服务器用的是 Nextcloud,别的没问题,3900X + 32GB RAM 的服务器 300 万文件光索引就用了 2 天。干什么都要扫描 2 天,搜索一次 20 分钟没出结果。查了下有人推荐 Filerun 听说对大量文件支持很好。不知道有没 V 友用过?

10265 次点击
所在节点    云计算
56 条回复
jianixrabbit
2020-08-12 22:26:58 +08:00
@yyyb 抽啥 很多 nas 软件也实现了一样的用法
calmzhu
2020-08-12 22:35:54 +08:00
如果每日流量不大的话,直接试下阿里 oss 存储?
自带了客户端上传下载都方便。
就是一个网络硬盘,免维护。
calmzhu
2020-08-12 22:37:22 +08:00
@calmzhu 看粗了。需要搜索索引的话不合适,这个只是硬盘
nadoo
2020-08-12 22:43:53 +08:00
是为了备份还是同步?文件太多了,硬盘文件系统处理起来很困难,试试楼上说的对象存储之类的
Xusually
2020-08-12 22:44:41 +08:00
@naohion 楼主你被降权了?你 @我没有提醒。
lishoujun
2020-08-12 22:48:47 +08:00
rockedsdb 满足你的需求么? 数据量太大是否可以分片呢?
===========
公开课被替换 和你的实验数据存储在百度云有冲突么?
可以申诉的,即使嫌麻烦不想申诉,似乎也不影响你存实验数据
naohion
2020-08-12 22:50:44 +08:00
@Xusually 不知道,可能是因为注册未满 90 天的原因?
loveqianool
2020-08-12 22:51:34 +08:00
七楼说的 ntfs + winnt + everything
移动设备用 RDP 呀
naohion
2020-08-12 22:51:58 +08:00
@lishoujun 随便替换别人数据,担心什么时候重要数据也被替换了。
mmdsun
2020-08-13 00:22:24 +08:00
OneIndex,PyOne 搭建。白嫖开发者账号。空间基本用不完。
naohion
2020-08-13 00:27:48 +08:00
@mmdsun 存数据的东西白嫖还不如存百度网盘
naohion
2020-08-13 00:30:32 +08:00
@laminux29 CPU RAM 磁盘 IO 占用都很低,F12 显示超时,不知道为什么。只是归档一些数据,不想耗太高成本。
SingeeKing
2020-08-13 00:30:38 +08:00
G Suite 肯定没有 40W 数量限制,我之前还写 nodejs 的时候几十个项目的 node_modules 扔里面都没问题,更别说我自己还有十几 T 的文件了
yeet
2020-08-13 00:32:30 +08:00
不算是回答 只是说下
rclone 有可以检查文件数量和大小的 size 命令
返回有多少文件 文件大小
也有可以对比两边文件(夹)一致性的 check 命令
wccc
2020-08-13 00:35:44 +08:00
nextcloud 加 es 全文搜索
WebKit
2020-08-13 00:49:16 +08:00
@naohion 可以跑黑裙。
lc7029
2020-08-13 01:05:26 +08:00
NAS 算吗?
WhatZ
2020-08-13 07:49:24 +08:00
自建的硬盘 io 和服务器负载,如果负载太高还是升级吧
fantasylidong
2020-08-13 08:14:03 +08:00
g suite 个人盘并没有大小和文件夹的限制,文件夹大小你都用 rclone,不知道用 rclone 的命令看一下,而且 rclone 也可以检验
vislins
2020-08-13 09:18:24 +08:00
技术不行+数据不值钱+自己的时间不值钱系列。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/697741

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX