scrapy 爬虫错误求助

2014-11-05 10:53:22 +08:00
 llhh
错误:
ImportError: No module named items

程序:

items.py代码:
# Define here the models for your scraped items
#
# See documentation in:
# http://doc.scrapy.org/en/latest/topics/items.html

from scrapy.item import Item, Field

class XsItem(Item):
# define the fields for your item here like:
# name = Field()
url = Field()

xs.py代码:
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import Selector

from xs.items import XsItem

class XsSpider(CrawlSpider):
name = 'xs'
allowed_domains = ['bbs.uc.cn']
start_urls = ['http://bbs.uc.cn']

rules = (
Rule(SgmlLinkExtractor(allow=('\thread-\d+-\d-\d.html', )),
callback='parse_page', follow=True),
)

def parse_page(self, response):
item = XsItem()
sel = Selector(response)
item['url'] = response.url
return item
3101 次点击
所在节点    问与答
6 条回复
Gymgle
2014-11-05 11:57:04 +08:00
注释掉 xs.py 中的 from xs.items import XsItem 试试
roricon
2014-11-05 13:08:25 +08:00
贴一下你的目录结构。有__init__.py这个文件么?
llhh
2014-11-05 13:27:30 +08:00
@roricon 有的。
yiding
2014-11-05 14:13:01 +08:00
@llhh 有这个文件,你里面有没有 import xs 呢
没有这个module,就检查一下是名称有没有弄错,如果没有,那结构有没有错
或者执行的目录环境不同也可能有这种问题啊

from xs.items import Xsitem
从你贴的代码看xs是文件,但是xs.items里的xs给人的感觉却像是文件夹名呢
最好还是像2L说的,贴一下目录结构看看
Gymgle
2014-11-06 13:31:46 +08:00
http://wsky.org/archives/191.html 这里是一个爬取cnbeta新闻的实例
llhh
2014-11-06 13:58:09 +08:00
@Gymgle 就是按照他的来做的,拿下来成功了。但我的错误。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/144062

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX