请教爬取裁判文书网的搜索信息，有没有现成的轮子呢?

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 2391 天前的主题，其中的信息可能已经有所发展或是发生改变。

http://wenshu.court.gov.cn/ 想爬取搜索结果的统计信息，比如，搜索一个关键词，抓取左侧的年份，地域，案由筛选等等信息。看了一些资料，反扒措施貌似很多，这样的需求应该不至于触发反扒措施吧

反扒

搜索

轮子

信息

6 条回复 • 2018-05-07 18:51:01 +08:00

18817837227

2018-05-07 14:21:38 +08:00

https://www.google.com/search?q=%E8%A3%81%E5%88%A4%E6%96%87%E4%B9%A6%E7%BD%91%20%E5%8F%8D%E7%88%AC

第一个和第二个已经很清楚了

sjmcefc2

2018-05-07 14:28:56 +08:00

@18817837227 非常感谢哈。
有没有简单成型的，目前不需要爬下文档，只要个搜索之后的左边的统计信息就好了

18817837227

2018-05-07 14:38:19 +08:00

github 上有很多写好的爬虫，试试能不能用？

sjmcefc2

2018-05-07 14:39:05 +08:00

@18817837227 ok，话说，如果爬上面的文档，用什么数据库存储比较好？

18817837227

2018-05-07 14:41:49 +08:00

个人爬，量不多就一个表，就 mysql 呗。
用别人的代码，那就看代码用的是哪个库就用那个

jssyxzy

2018-05-07 18:51:01 +08:00

python/scrapy
文件或者上数据库