Python 操作 SQLite 异常

[monetto]

# coding=utf-8
import sqlite3
import random
import threading
import time

db_path = "/Users/admin/test.sqlite"

connection = sqlite3.connect(db_path, check_same_thread=False)

CREATE_SQL = """
CREATE TABLE IF NOT EXISTS test_table (
id INTEGER PRIMARY KEY AUTOINCREMENT,
name TEXT
)
"""

write_count = 0


def write_handle():
while True:
connection.cursor().execute("INSERT INTO test_table (name) VALUES ('%s')" % random.random())
connection.commit()
global write_count
write_count += 1
print(str(int(time.time())) + "Insert_" + str(write_count))


def read_handle():
while True:
res = connection.cursor().execute("SELECT * FROM test_table LIMIT 1").fetchone()
if res is None or res[0] is None:
continue
print(str(int(time.time())) + "Read")


if __name__ == '__main__':
c = connection.cursor()
c.execute(CREATE_SQL)
connection.commit()
time.sleep(1)
threading.Thread(target=write_handle).start()
threading.Thread(target=read_handle).start()
time.sleep(1000)

感谢各位大佬解答，核心原因是因为 一读一写 线程不可以使用一个 Connection ，并发情况下改为 一个线程一个 Connection 即可。也不需要设置 WAL 或者 Cache 模式。如果想要多个线程共用一个 Connection 的话，需要用锁锁住即可。

[monetto]

代码缩进没有了 ...

总结就是两个线程循环执行，
一个线程执行 connection.cursor().execute("INSERT INTO test_table (name) VALUES ('%s')" % random.random())
一个线程去读
然后程序必定崩溃 ...

[monetto]

求熟悉 SQLite 的大佬帮忙看看 ...

[DonaidTrump]

不贴错误日志，让谁给你看啊

[monetto]

@tulongtou 没有错误日志 直接 异常退出 崩溃了

[ysc3839]

又遇到字符串拼接 SQL 语句：connection.cursor().execute("INSERT INTO test_table (name) VALUES ('%s')" % random.random())
有 SQL 注入的风险

明明.execute()就有占位符功能的，为何不用呢？
https://docs.python.org/3/library/sqlite3.html#sqlite3-placeholders

[monetto]

@ysc3839 感谢大佬回复，学到了。但是程序崩溃的问题是因为什么呢。PyCharm 直接异常退出了...

[ruanimal]

似乎 connection 非 threadsafe

[kokutou]

你开个命令行运行呗。。。

[wxf666]

我这里测试没崩啊

Windows 10
Python 3.10
PyCharm 2021

另外，根据[文档]( https://sqlite.org/isolation.html )所说，你不应该在同一个连接内同时读写数据库，此行为未定义

最后，贴代码起码用下 Markdown 啊。回复用不了就算了，帖子还不用。。

[monetto]

@ruanimal 但是 Google 了一圈，网上基本都是说 <多写> 是非 ThreadSafe ，我这个场景是 单读单写 按道理没问题呀 ...

[monetto]

@wxf666 不好意思哈，不太会贴完整的代码 ... ORZ

[monetto]

@kokutou 命令行也提示 [1] 20588 segmentation fault python test/concurrent_sqlite_test.py

[kokutou]

@monetto
盲猜一个环境问题

[monetto]

@wxf666 但是大佬，我本机测试稳定崩溃 ... 会有三种情况出现。
第一种 直接 Disk IO Error ，google 一圈没找到方案 ...
第二种 Database Block ，这个我测试 多写并发的时候发生过，但是按理说 一读一写 也会 Block 吗 。。。
第三种 进程直接关闭了 segmentation fault

[monetto]

@kokutou 感觉不像啊 ...

macOS 10.15 / 11.4 两个机器都试过了
Python 都是 2.7 版本（为了兼容性没上 3 ）

[wxf666]

@monetto 9 楼给的官方文档说了，一个 connection 内同时读写的行为是未定义的。即，按道理，是有问题的

你试试每个线程一个 connection ？

[monetto]

@wxf666 可以了！程序总算不崩溃了！感谢大佬！每个线程一个 Connect 就可以了