求可以自动抓取网站图片的软件

2014-07-12 14:25:18 +08:00
 ROCK2046
因工作需要,要每天去网站截取一些共享的图片,网站的图片是类似空气质量发布的数据图,每一个小时更新的,每天人工手动下载图片实在是太绑人了,有时候经常会遗漏,请各位V友支招,是否有软件可以自动抓取?
4434 次点击
所在节点    问与答
20 条回复
nodejx
2014-07-12 14:41:15 +08:00
phantomjs
sandtears
2014-07-12 14:48:42 +08:00
Python-Splinter
abelyao
2014-07-12 17:41:05 +08:00
根据具体网站写一个,不然通用的也麻烦
aeshfawre
2014-07-12 17:51:57 +08:00
楼主要的不是截图,要的是下载图片的功能,所以phantomjs 和splinter都不适合.
反正是从固定网站上下载,楼主自己用python写一个脚本下载最简单的了
qian
2014-07-12 19:36:08 +08:00
就算是文科生,动手学写爬虫也不是很难的事... https://gist.github.com/lsfalimis/bcf9a780bce3c69e3850
O21
2014-07-12 20:33:28 +08:00
@qian 学习了。。 本银正在学Python

顺便问下。。我老用中文注释是不是很二。。。
lilifenghao44
2014-07-12 20:40:55 +08:00
顺便求一个批量下google image搜索的东西
jqw1992
2014-07-12 23:20:50 +08:00
Foooi.com 这个网站的主题可以自动抓取图片的....wp的
sxrw123
2014-07-12 23:46:24 +08:00
新手了解下,有时间看看Python
laozhao0
2014-07-13 18:41:01 +08:00
图片下载很简单的。基本就是判断一下链接和后缀而已。
ROCK2046
2014-07-14 09:00:06 +08:00
@sxrw123 楼主确实是新手,只学过C语言,这个Python还是第一次听说呢,那我是不是得买本书学习学习啊
ROCK2046
2014-07-14 09:01:01 +08:00
@qian 感觉好难得样子,虽然不是文科生,但是这个Python语言确实没用过,得从头学啊
abelyao
2014-07-14 09:05:51 +08:00
@ROCK2046 楼主如果是 windows 平台下使用的,用 C# winform 写一个最方便了,如果不复杂、需要帮忙的话可以再 @ 我哈
sandtears
2014-07-14 09:28:01 +08:00
啊。。。 是固定图片不是网页截图吗?
如果图片地址固定的话直接用 Linux 下的 crontab 配合 wget 下载就好了,如果有变化的话可以用 Python 配合 Xpath 获取一下地址,然后再下载
abelyao
2014-07-15 10:49:42 +08:00
@ROCK2046 看来楼主的问题解决了
ROCK2046
2014-07-15 14:31:20 +08:00
@abelyao 楼主表示十分感谢各位大侠的热心帮助 但是楼主水平太低 实在不懂哇 本人不是学计算机的 各位大侠说的语言都不懂哇
abelyao
2014-07-15 15:02:29 +08:00
@ROCK2046 把要抓取的网址发上来看看吧,晚上有空的时候帮你写一个,如果不方便公开的就留个联系方式咯
ROCK2046
2014-07-15 18:35:27 +08:00
@abelyao rocker2046@126.com
abelyao
2014-07-15 23:54:26 +08:00
@ROCK2046 已发邮件给你
takato
2014-07-16 15:20:38 +08:00
也可以用Scrapy写个小爬虫=。=...

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/122293

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX