V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
HarryQu
V2EX  ›  Python

Python 爬虫有哪些写的比较好的项目

  •  
  •   HarryQu · 2018-09-10 22:11:17 +08:00 · 4293 次点击
    这是一个创建于 2025 天前的主题,其中的信息可能已经有所发展或是发生改变。
    最近在学 python3 爬虫 ,希望大家能介绍点好的资料,少走点弯路。
    我不在乎项目的大小,但是有两点要求 :
    1. 规范的代码 : 命名、写法 、项目结构划分等。 (最重要)
    2. 较好的文档 : 中文或英文都可以,代码质量高的话 , 没有也没关系。
    github 项目或者书籍都可以,但是希望不要太老。
    如果大家知道的话,请告诉我下, 我需要的是一个方向,谢谢 !
    第 1 条附言  ·  2018-09-11 09:18:11 +08:00
    嗯,我没有表达清楚,有没有实战项目写的比较好的。
    我是 Python 新手,希望能在做项目的过程中加深对语言的理解。
    11 条回复    2018-09-11 20:44:27 +08:00
    qq976739120
        1
    qq976739120  
       2018-09-10 23:49:08 +08:00
    requests 库
    yijianlishi
        2
    yijianlishi  
       2018-09-11 08:31:31 +08:00
    mark 一下,同求
    irain
        3
    irain  
       2018-09-11 08:38:26 +08:00 via Android
    scrapy
    tzhhahaha
        4
    tzhhahaha  
       2018-09-11 09:15:11 +08:00
    pyspider ?是一个国人(华裔?)运营的带 GUI 的爬虫框架,但是那天我看好像官网打不开了。。。不过不影响使用
    HarryQu
        5
    HarryQu  
    OP
       2018-09-11 09:18:39 +08:00
    @tzhhahaha thanks
    ShiyanlouCleaner
        6
    ShiyanlouCleaner  
       2018-09-11 09:40:23 +08:00
    给你推荐实验楼的 Python 实战吧,很多有趣的项目。而且完美符合你的两点要求

    https://www.shiyanlou.com/courses/?category=all&course_type=all&fee=all&tag=Python&unfold=0
    mimzy
        7
    mimzy  
       2018-09-11 09:48:52 +08:00
    piaoyun
        8
    piaoyun  
       2018-09-11 09:51:02 +08:00
    mark 一下,同求
    ddzzhen
        9
    ddzzhen  
       2018-09-11 11:37:11 +08:00
    pyspider 挺好的,但是反扒方面需要自己研究增进
    xuegj1010
        10
    xuegj1010  
       2018-09-11 18:10:21 +08:00
    慕课网
    HarryQu
        11
    HarryQu  
    OP
       2018-09-11 20:44:27 +08:00
    @mimzy 这本书挺不错的 ! 谢谢 ! python 网络数据采集
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5332 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 09:15 · PVG 17:15 · LAX 02:15 · JFK 05:15
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.