无聊用 scrapy 写了一个爬去链家二手房和租房数据的爬虫，数据格式 json

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 2787 天前的主题，其中的信息可能已经有所发展或是发生改变。

如题 https://github.com/plantpark/Crawler-Of-Lianjia 有需要的自取

爬虫

JSON

Scrapy

链家

13 条回复 • 2016-09-18 17:59:04 +08:00

bao3

2016-09-16 14:01:39 +08:00 via Android

哈哈，我正在找这种，我正好要租房，所以想要这种可以抓下来统计，再下手的脚本。我是小白，所以感谢了。叩拜

wyntergreg

2016-09-16 17:53:06 +08:00

scrapy 略慢啊

tumbzzc

2016-09-16 21:25:58 +08:00

看来， V2EX 已经没人对这种感兴趣了，除非你说你爬了某榴

zhongshaohua

2016-09-16 21:43:54 +08:00

@tumbzzc 爬了草某也可以的

LokiSharp

2016-09-16 22:03:26 +08:00

为什么 items 要分成 3 个，而里面的 class 名都取 ItjuziItem 啊= =感觉这样好乱啊。。。

plantparknet

2016-09-17 00:48:25 +08:00

@tumbzzc
@zhongshaohua
这这。。。好像并没有什么难度吧。。。当然，如果把 bt 自动提取下载，那就另当别论了

plantparknet

2016-09-17 00:48:43 +08:00

@LokiSharp 才学，并不是特别会用。。。

coolloves

2016-09-17 08:14:04 +08:00 via Android

马克！感谢分享！

icylord

2016-09-17 11:13:51 +08:00

@tumbzzc 1024 不是早没了么

sola97

2016-09-17 16:52:35 +08:00

@icylord t66y 那个是啥

plantparknet

2016-09-17 21:18:48 +08:00

@icylord 哈哈哈哈看来是不会翻墙呀~~ 放到收藏夹好久了~~ 可惜的是某榴的种子文件下载是非常麻烦呀~~

noahyu

2016-09-18 09:51:50 +08:00

去年年初爬过，当时的数据水分很大，同一房源重复发布频率很高(不是对房源更新，而是另外发一条) 需要做一些去重处理后再分析

plantparknet

2016-09-18 17:59:04 +08:00

@noahyu 哦，数据爬取下来还没分析呢~~ 还没注意到这个问题