初来 V2EX 贵地，特来请教一个项目方案，请大神指点一二！

[Kopei]

需求很简单：
1. 科学上网
2. 每周或每日定期向一千个以内的特定网站爬取感兴趣的信息，包括文本，图片，pdf等保存在数据库中。
3. 数据库要易于排序、比较等简单快速操作。
4. 其他没想到的小功能。

预算：2w以内

实施语言：python（scrapy）

本人背景：
请大神考虑本人的技术局限，略懂python，但对于数据库、云平台一概不知（简单弄过SAE微信平台不知道算不算）。先谢下！

[icedx]

你想请教啥...

[Kopei]

@icedx 怎么实施好啊？

[icedx]

@Kopei
首先要一台国外的云主机
Python 部分不用我吧
数据库建议Redis MySql 也行

[icedx]

@icedx
Python 部分不用我说吧
你这就是一简单地爬虫 不因为它爬的是什么而特殊

[Phoinikas]

记得有个pdf叫《自己动手写网络爬虫》，他是用java作例子介绍的，你可以自己用python按照同样的思路写一个。图省事的话可以直接找个开源的爬虫程序

[loading]

哇，悬赏 2w !!!!!


应该有人会帮你的，但是大家都不会直接告诉你，谁知道你看了回复赚了百八十亿，不认账，不给那 2w 的咨询费怎么办！

[ccdjh]

爬虫用正则哈，爬取任务放到队列。确认那个爬虫出错再修改。你的2万是什么意思呢！存储成本还是运行成本？

[zjgood]

@loading 不是悬赏吧。。。我觉得是预算。。

[loading]

@zjgood 您太认真。

[aheadlead]

“其他没想到的小功能。”
可以吐槽吗...

[Kopei]

@loading 不是，2w是用来租服务器啥的预算，当然包括人力成本。

[Kopei]

@ccdjh 不是悬赏。。存储加运行吧。。

[Kopei]

@aheadlead 可以的，有好的建议也可以推荐哦

[loading]

1.学习购买和使用国外的vps，学习如何配置vpn，在vps安装一个。

2.对于你的第二条，装个dedecms，用采集功能都能搞定。。。。

3.第二条软件带有数据库。

4.去学一下php，很快搞定。

请个大学生，3k解决所有问题！

用2k来支撑后续的费用。

剩下1.5w，给我。

[Kopei]

@loading 用python做是已经定下来的。。

[greatdk]

这些功能好实现，但是要做成产品，还需要做不少工作。

你可以考虑雇佣我哟 https://jinshuju.net/f/3NPhAJ

[loading]

去学Flask，反正你这些我现在已经能做出了了，自己去学吧！

去了解vps，别管什么云了。

btw:别找我。

[kslr]

一个小玩具，还需要什么项目方案。

[Kopei]

@kslr 的确是小东西，不过从小做起麻，更需要大神们的指点啊！

[kslr]

@Kopei 我的意思是scrapy已经帮你完成了大部分，没有任何的难点，你只要基础好，琢磨下就能解决。