关于 nodejs 对数据库操作产生重复数据的问题(幂等性)

2022-11-15 12:16:05 +08:00
 lete

网上查了一些,但那些文章写的云里雾里(可能是我搜索的关键字不对吧?)

想问问各位大佬是如何做的 ( nodejs+mongodb )

功能计数器: 每有一个请求访问网站就会+1 ,并保存到数据库中(每个页面有自己的计数器,也就是 pv 统计)

伪代码:

// 假设请求服务器的时候 nodejs 会调用这个方法
// id 为页面的唯一表示
function counter(id){
  // 如果数据库中没有数据则插入、否则修改并+1
  const result = db.select(id)
  if(result){
    result.pv++
    db.update(id, { pv: result.pv })
    return result
  }
  db.insert(id, { pv: 1 })
  return { pv:1 }
}

问题 1: 假设一开始数据库中并无某个页面数据,这时突然来了两个(以上)请求(id 相同),那么当调用 counter() 时会先查询数据库中是否有数据,此时第一个请求开始 select 发现数据库中并无数据,但还没来得及 insert 第二个请求就开始了 select ,此时第二个请求也发现数据库并无数据,最后就会执行两个插入操作导致数据重复

实际结果:

[
  {_id: 1, id: "A", pv: 1}, 
  {_id: 2, id: "A", pv: 1}
]

期望结果:

[
  {_id: 1, id: "A", pv: 2}
]

问题 2: 假设数据库中已有一条数据 [{_id: 1, id: "A", pv: 1}],突然来了 3 个(以上)请求,3 个请求都会去查询数据库,得到的结果全部相同 pv 都是 1 ,这 3 个请求都会执行 update

实际结果:

[
  {_id: 1, id: "A", pv: 2}
]

期望结果:

[
  {_id: 1, id: "A", pv: 4}
]
1589 次点击
所在节点    程序员
9 条回复
xudong
2022-11-15 12:22:19 +08:00
建议用 redis ,然后定期(每秒)把 redis 内的值写入到 db 。
undownding
2022-11-15 12:26:22 +08:00
db.update(id, { $inc: { pv: 1} })
undownding
2022-11-15 12:29:51 +08:00
```
function counter(id){
db.updateOne(id, { $inc: { pv: 1}, $setOnInsert: { pv: 1 } }, { upsert: true })
}
```
swulling
2022-11-15 12:31:31 +08:00
先读后写肯定并发不安全啊。

要么使用 incr 原子操作。要么加锁。
lete
2022-11-15 13:46:34 +08:00
@undownding 谢谢,有用,好奇如果在不知道这些操作符的情况下要怎么搜索,总不能看着官方文档,一个一个翻吧?
leopod1995
2022-11-15 14:36:46 +08:00
$inc 或者 findOneAndUpdate() 本身就是原子操作可以保证幂等性。

技术角度最简单的就是一个请求一次 db , 从业务执行来讲,1L 方案是比较正确的。
yimity
2022-11-15 16:49:15 +08:00
这个问题跟 nodejs 并没有关系。
其他人说的原子操作。
做事情之前应该的步骤是大概翻一下官方文档知道都有什么,可以用什么吧。
shiyanfei5
2022-11-15 22:18:12 +08:00
mongoDb 没事务吗?
shiyanfei5
2022-11-15 22:29:20 +08:00
@shiyanfei5 说错,如果用数据库做的话,可以看下有没有类似 for update 之类的功能可以。。。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/895366

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX