问题是这样的,在 scrapy 中使用 pipeline 保存数据到 MySQL。
执行 SQL 语句例如
execute(
"""
INSERT INTO table_name(field1, field2, field3, field4)
VALUES(%s, %s, %s, %s)
""", % (
item.name, item.age, item.sex, item.loc))
会提示 SYNTAX NEAR 'INSERT INTO table_name(filed1, fi\' 错误,这里的 SQL 会被提示折断。当修改 SQL 减少插入的字段数量以缩短单行文本长度后,BUG 又会莫名的小时。
每次运行 scrapy crawl 都会提示这样的错误信息,但是经过几次运行数据库居然也有了十几条数据。
请问有人遇到类似的问题吗,python 新手,如果问题实在太低端请轻喷。
flamepeak
2017-09-28 09:11:19 +08:00
不知道具体原因,我的代码给你看一下:
sql_insert = "insert into articles (category,tags,url,title,author) values (%s,%s,%s,%s,%s)"
sql_insert_params = (category, item['tags'],item['link'],item['title'],item['author'])
tx.execute(sql_insert, sql_insert_params)
多试几次吧
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
https://www.v2ex.com/t/394203
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.