python scrapy 爬一个网站的，遇到了中文链接，存入不了数据库，你们是咋样解决的？？、

[phantomer]

scrapy 爬一个网站,如:http://xxx.org/,遇到了一个链接是 http://xxx.org/新闻,

发现这个链接，在 scrpay print 话能输出到 shell 里，在 scrapy shell 里用 sel.xpath("//@href")，也能筛选到，但是在入 mysql 的时候，只能存入这个中文链接前的 url 链接，这个是 python2 的 unicode 问题么？

def parse(self, response):
    conn = MySQLdb.connect(host="localhost",user="root",passwd="root",db="url")
    cur = conn.cursor()
    for sel in response.xpath('//@href').extract():
            x = sel
            cur.execute('insert into urlsinfo (url) values(%s)',x)
            conn.commit()
    cur.close()

代码略丑，勿喷。 刚学习 scrapy ，你们都是怎么解决这个问题的？

[phantomer]

入库前用 base64 encode 了也无法存入数据库。

[fengxiang]

charset=‘ utf8 ’

[annielong]

或者是 mysql 插入时候有问题，貌似插入中文的时候也要设置编码的

[besttime]

感觉是数据库的问题， mysql 使用之前默认编码改了吗？没改就肯定了。别怪 python 哦。

[WangYanjie]

是数据库的问题吧

[phantomer]

@fengxiang
@annielong
@besttime
@WangYanjie
数据库设置的是 utf-8

[fengxiang]

你要告诉 python 用 utf-8 操作数据库
MySQLdb.connect(host="localhost",user="root",passwd="root",db="url"， charset=‘ utf8 ’)

[phantomer]

@fengxiang 我试试看。

[whnzy]

try: except 把错误报出来

[phantomer]

@fengxiang 感谢帮我解决了问题，结贴了。

[mactaew]

PHPer 一眼想到的是 urlencode() 和 urldecode() 。。。