推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
请问一下 scrapy 爬虫的 received_count 和 scraped_count 相差很大是什么原因？
dengwen168 · 2019-07-12 18:18:22 +08:00 · 1501 次点击这是一个创建于 1962 天前的主题，其中的信息可能已经有所发展或是发生改变。
请问一下大家，scrapy 的报告中显示：received_count 69941, scraped_count 66392, 那中间的差异数 3000 多条是什么原因，
是不是一些网页上的杂七杂八的不重要的其他的数据，
还是真实的我要抓取的数据，但没有抓取到？但是我 scrapy 并没有报错呀。。
谢谢。。
另外，大家用 scrapy 采集写入 Mysql 的时候，都用 twisted 吗？
会不会是因为我没有使用 twisted 的原因，导致一些数据采集了，但来不及插入数据库？
是不是一些网页上的杂七杂八的不重要的其他的数据，
还是真实的我要抓取的数据，但没有抓取到？但是我 scrapy 并没有报错呀。。
谢谢。。
另外，大家用 scrapy 采集写入 Mysql 的时候，都用 twisted 吗？
会不会是因为我没有使用 twisted 的原因，导致一些数据采集了，但来不及插入数据库？
目前尚无回复
Select Language