付费求 shell or python 程序员帮忙写个爬虫,有意者回帖留下 QQ 详聊

2015-08-03 20:15:26 +08:00
 zyujuan

不会python写爬虫,来v2ex求助
要求:
1 支持用户名密码登陆论坛,论坛为一问一答形式,深度都为1级。
2 匹配特征字段“生日”帖子标题,并抓取指定论坛网页1-300页。
3 根据帖子的跟贴,抓取的生日帖子的跟贴的源内容,加工并排列成指定格式的txt文本文件。
生成txt文件
格式如 姓名 抓取日期 生日
王五 20150803 20100801
赵六 20150803 19800901

3 放到vps里7*24小时运行,抓取会员生日。
如能用shell脚本实现更佳
本人QQ 324013020

2378 次点击
所在节点    编程
6 条回复
shierji
2015-08-03 20:34:53 +08:00
呃价钱够吸引人的话倒是可以试试。最近恰好在帮导师做一个类似的事情。。。
shierji
2015-08-03 20:36:50 +08:00
shell爬取。。貌似目前还没多少人做吧。。。
zyujuan
2015-08-03 22:32:34 +08:00
@shierji 你加qq私聊,开个价
uuspider
2015-08-04 17:59:43 +08:00
这个需求,curl+sed+awk,应该够了。
zyujuan
2015-08-04 22:22:37 +08:00
@uuspider 那不错,curl+sed+awk是最简洁的,有demo贴下不?
zyujuan
2015-08-05 00:22:00 +08:00

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/210538

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX