V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  sjmcefc2  ›  全部回复第 33 页 / 共 41 页
回复总数  820
1 ... 25  26  27  28  29  30  31  32  33  34 ... 41  
2018-09-06 00:40:52 +08:00
回复了 sjmcefc2 创建的主题 程序员 简历分析如何设计数据库/。
非常感谢,neo4j?
2018-09-02 13:43:34 +08:00
回复了 MissDaisy 创建的主题 程序员 男朋友辞职报 1.3 万的线下培训班还没一个月就放弃了….
做数据分析的飘过,每天玩数据玩得不亦乐乎。
90%的培训班基本都是坑吧。
@JCZ2MkKb5S8ZX9pq
这个都有什么好工具可以分享一下吗
2018-09-02 13:32:20 +08:00
回复了 sjmcefc2 创建的主题 FreeBSD 1 块 ssd, 4 块 hdd 安装 freebsd11,有什么比较好的建议?
研究了一下,zfs 好像如果单独使用是不是也能够组成一个有多块硬盘的存储池?
英文不是很好,中文的资料这么少呢?
zfs 和 raid 相互配合才能保证数据不丢失,想要最大话的利用磁盘,又能确保数据安全,应该选择哪种呢?
2018-08-29 15:03:38 +08:00
回复了 sjmcefc2 创建的主题 FreeBSD 1 块 ssd, 4 块 hdd 安装 freebsd11,有什么比较好的建议?
@f2f2f 非常感谢

@liwufan 毫无经验,老大也没啥经验。需求其实也比较简单,就是先搞一个安全可靠的数据库服务器哈。
2018-08-28 01:29:45 +08:00
回复了 sjmcefc2 创建的主题 程序员 求教一个最简单的爬取 doc、rar、pdf 等文件的办法。
@loveCoding 主要都是自学,也没啥可以交流的人,所以其实写的思路上非常局限。得向大家讨教。

@winglight2016 这个,,,,还真是不行。

@XxxxD 嗯,觉得 requests 挺好用了,
2018-08-27 16:18:17 +08:00
回复了 sjmcefc2 创建的主题 程序员 求教一个最简单的爬取 doc、rar、pdf 等文件的办法。
@PulpFunction 非常感谢指点。确实网站特简单,一般就是,title,然后就是 doc 之类的下载链接了。就是怕爬重复了,想着每天怕新内容。
2018-08-27 14:54:20 +08:00
回复了 sjmcefc2 创建的主题 程序员 求教一个最简单的爬取 doc、rar、pdf 等文件的办法。
@lanwairen123
wget -c -r -np -k -L -l 3 -p www.xxx.org/pub/path/


-c 断点续传
-r 递归下载,下载指定网页某一目录下(包括子目录)的所有文件
-np 递归下载时不搜索上层目录,如 wget -c -r www.xxx.org/pub/path/,没有加参数-np,就会同时下载 path 的上一级目录 pub 下的其它文件
-k 将绝对链接转为相对链接,下载整个站点后脱机浏览网页,最好加上这个参数
-L 递归时不进入其它主机,如 wget -c -r www.xxx.org/ 如果网站内有一个这样的链接:www.yyy.org ,不加参数-L,就会像大火烧山一样,会递归下载 www.yyy.org 网站;但是现在很多的 css、js、img 都不在项目的目录下保存,而是在 html 页面中 src 一个 http 引用,所以如果想要一并 download 当前页面引用的 http 资源,比如 js,css,img,那么这个参数就需要省略
-l 下载层级,默认最大为 5 级,一般情况下 3 级就够了
-p 下载网页所需的所有文件,如图片等


哎呀,这样的话,是不是搜索引擎(爬虫部分)就失业了?


想着做一个局域网内的搜索引擎,不知道哪里有可以参考的代码。
2018-08-27 14:49:52 +08:00
回复了 sjmcefc2 创建的主题 程序员 求教一个最简单的爬取 doc、rar、pdf 等文件的办法。
@PulpFunction 收到,可能也只能是 bs4+requests
2018-08-27 09:43:29 +08:00
回复了 sjmcefc2 创建的主题 程序员 求教一个最简单的爬取 doc、rar、pdf 等文件的办法。
@delectate 小局域网。没法 google 哈

@nilrust 不爬取需要鉴权的。
@py2ex 同样想着弄个塔式服务器。
@cest 太棒了,马上采购。
@likuku 这些有点太昂贵哈。有没有便宜点的方案?另外备份的话,有什么方案呢?光盘?
2018-08-20 18:21:16 +08:00
回复了 msg7086 创建的主题 分享创造 [分享] 低成本打造小型创业公司用大容量 NAS
@msg7086 美国物价好便宜啊。不过更倾向 bsd 做一个 nas
@msg7086 #17 还真是没有什么有规划的备份,毫无经验啊。目前裸奔。还是组装一个低价的 zfs 的 nas 服务比较可行。
@likuku #16 主要是没有可以直接应用的成型,稳定方案,能介绍一个吗?
@msg7086
那是不是管理好多个这样的论坛哈生存这么久的论坛,很牛
@openbsd 卖专门存储?还是自己组装? freenas?
@msg7086 i3-530,这个直接给我巨大的信心啊。不过数据量有多大呢? pv 百万很牛啊。广告收入如何哈
@msg7086 非常感谢答疑解惑。
目前只是做开发机器用。现在还真没有上 ecc,都感觉这个主板上不了 ecc ;
确实对硬件不熟悉啊。
这样一看,原来 e3 还不是服务器的配置。
那么数据库服务器,开发机,不要查询等待很久那种,大概要什么配置呢。
@ryd994 看起来备份才是王道。那么用光盘?
@ryd994 非常感谢,是否 zfs 会更好呢?

@azh7138m 看起来这个还是留着。不过 jbod 貌似确实有点靠运气了。。。。
1 ... 25  26  27  28  29  30  31  32  33  34 ... 41  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2423 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 30ms · UTC 14:40 · PVG 22:40 · LAX 07:40 · JFK 10:40
Developed with CodeLauncher
♥ Do have faith in what you're doing.