CURDboy 问问各位,mysql 怎么多线程 insert 数据啊...

[Va1n3R]

python3 写了个爬虫。
多线程爬取数据写入数据库
一开始使用的是 sqllite3，一直提示 database is blocked，后来发现 sqllite 不支持多线程读写
然后谷歌搜了一下，看到了别人推荐使用 mysql 来做这种任务...我只会基础的 CURD 操作,用了简单的多线程来操作,然而 mysql 貌似也不能直接多线程插入数据,stackoverflow 里面的老哥们说是需要建立连接池...头疼，之前只接触过基础的操作，请各位 V2er 赐教
python3 代码:

def getExin():
    while not Q.empty():
        i = Q.get()
        .*
        try:
            .*
        except :
            continue
        try:
            c.execute("INSERT INTO exin (username, password) \
                  VALUES (%s,'%s')" % (username, password))
            conn.commit()
        except:
            pass


for i in range(0, 99475):
    if len(str(i)) < 5:
        i = (5 - len(str(i))) * "0" + str(i)
    Q.put(i)

threads = []

conn = connect(user='root', password='root', database='test')
c = conn.cursor()
for i in range(800):
    x = threading.Thread(target=getExin,args=())
    threads.append(x)
for t in threads:
    t.start()
c.close()
print("All done")

[catinred]

中间用个队列把数据存起来 然后起个线程批量插入就好了

[exiaohao]

这种事吧，celery 就好啦 gevent 开起来妈妈再也不用担心并发上不去了
搞 thread 多麻烦

[Va1n3R]

@2ME 已经采用了 executemany 啦

[Va1n3R]

@exiaohao 之前没有写过协程、异步。昨晚看了一下，启发很大