想写个爬虫程序，用什么技术好，谁能帮我呢

[kelos]

如题，各种我要用的网站总想爬点东西下来，方便看。

请指教。

[datapipeline]

短平快: scrapy 加 mongodb
http://scrapy.org/ 可以先看看文档

[wlsnx]

scrapy 好用

[wusuopuBUPT]

scrapy 的一些例子，上个月刚用 scrapy 爬取了某直播站点的数据。
https://github.com/wusuopubupt/scrapy-examples

[wusuopuBUPT]

从 geekan 的项目 fork 过来的： https://github.com/geekan/scrapy-examples

[CharlesL]

Java 的话 webmagic 挺好用，简单，支持分布式。

[zacard]

java 的话， jsoup ，也可以简单高效~

[luban]

只会 java ，简单的 jsoup 解析下 html 就好，复杂的 webmagic ，基本能满足所有需求，灵活性也非常高

[slixurd]

我也觉得拿 Java 写更方便，一个 JSoup ，简单爬虫的话什么框架都不用，自己写多线程，任务队列，简单轻松。最主要是对中文编码的处理实在太方便了，找到 HTML 的 charset ，然后反射对应的 Charset 就完事。
Python2 的中文。。。。。

[slideclick]

没写过，但是建议用 node,js 。第一你要爬虫肯定要能看懂页面里的 js 代码，第二其实你不用写爬虫，你可以用 chrome 扩展用 js 写。既然你需要懂 js 何必学习第二语言比如 python

[cxshun]

@smalltalk 那倒也是，虽然我是搞 java 的，但我个人感觉 python 写这些会方便很多。只是 python2 和 3 之间的兼容问题确实坑爹。

[smalltalk]

@cxshun 就你的体会，方便在那里呢？是 api 的问题，还是语言问题，语言问题 kotlin 能补足吗？

[thursday]

nodejs 优势也很大。 能直接运行页面 js 。 dom 很自然处理。天然异步处理能力强。

[jedyu]

安利一下 pyspider

[vaynewang]

javascript

[woai110120130]

写了个纯ｃ的

[cxshun]

@smalltalk 更多的应该是 api 的问题， kotlin 这个我倒没去试过哈，有时间去试试。
其实算是有点偏向吧，写这种小工具总是喜欢用 python 来。虽然 java 自己更熟，但 python 写起来感觉会爽一点哈。

[sohoer]

JAVA 的 www.newcrawler.com

[twlsoft]

如果是用 node.js 的话也可以吧？

[smalltalk]

@cxshun 原来我测试 rest api 的时候，用 python ，后来改 dart 了（ unicode 问题对迁移贡献很大）。小工具，一次性的东西，基本都用它。主要是有自动完成功能，编写、运行循环非常快速， api 也挺好。

[microchang]

@thursday 直接运行页面 js 有点过了吧。。。