AI 医疗更进一步，单张 X 光平片生成三维图像 (临床会使用正侧两张)

[coolwulf]

在很多医学领域，比如儿科或者骨科正畸科，由于需要经常性的查看图像，使用 CT 的剂量会过高，只能使用二维的 X 光平片。但这样就缺少了三维信息。我们最近的研究成果就是是否可以通过机器学习来恢复这些三维的信息。是否科学？

不多说，我们看结果吧。 先是单张图片

https://ibb.co/Vjn956w

AI 生成的三维信息:

https://ibb.co/nDjz9P1

针对骨科和正畸应用细节足够，因为骨头是刚性体

技术预览用单张没问题，实际临床使用我们考虑用两张平片，正向和侧向

临床应用使用两张图，类似 EOS 的 Flex Dose 系统, 合作伙伴已经开始准备整机方案

[lambdaq]

CCF 的 coolwulf 大神啊。

[1more]

膜大佬，tql

[Pho3nix]

并不科学,需要拍片的患者的影像资料大部分是畸形的,生成这种三维图像的方式大致有两种:
一种是从大量数据库中找相似度最高的
一种是用 AI 做训练
但是对于畸形患者,这两种方式都是不可靠不准确的.

[green15]

两张三张合成 3D 还可以理解，这是类似于三视图吧。单张……即使加上人体之间存在很多相似之处，实际还是脑补成 3D ？

[Pho3nix]

@green15 通俗来说脑部成 3D 是没错的

[Pho3nix]

'针对骨科和正畸应用细节足够，因为骨头是刚性体'

只针对正畸的确足够,我收回我的言论 sry

[dosmlp]

生成没问题，精度怎么样。。。

[VWWWWWWW]

病变组织靠脑补画面，怕不是有点粗略吧……
用来做 CG、游戏等娱乐行业还好

[murmur]

给你 p 一个肿瘤出来？ x 光本身信息量都不够还得去拍 CT，你这减少数据量靠 p 图给人家 p 病变？

[murmur]

我的观点很简单，医学是和生命打交道的，你 P1000 张图，999 张正确，这在算法领域几乎是完美
但是就因为 P 错的这一张图，患者出现误诊，没有发现早期病变，医生可能会因为没有按照规定做检查丢掉饭碗，甚至因为医闹还会有生命危险
还什么骨头是刚性的，学医难道不都知道患者不会按照教科书生病么，如果骨头生长都是有规律干嘛人还会生病。。

[zhihupron]

开源吗

[ty89]

医学影像资料要的就是客观真实，医生才能正确判断病情，这跟 P 个月亮不同

[sgissb1]

不是学医，不懂 AI 相关。但常年是骨科 VIP （常客）。

每个人的骨骼特征具备一些相似点，也具备一定的差异，比如关节或骨形状都会和个人基因、成长环境有关（比如裹小脚就会让骨骼生长发生变化）。

我不是很理解，为何在正畸中会够用，不是普通平面 X 光就可以了吗？

[sgissb1]

另外如果类似像骨折啥的，进行矫正后，这样的生成后的三维图够用吗？

[Mithril]

放弃吧还是。
现在在医疗领域使用 AI 大部分都是没谱的事。做研究是没问题的，作为医用产品来说，最重要的就是责任问题。
你用平片生成 3D 效果，丢失的深度信息是你补上的。依此做出的诊断和治疗如果造成了误诊或损害，这个责任你的公司承担吗？你在医院常驻个代表跟患者解释他为什么是那 5%？
AI 的效果很好，准确率能到 95%等等这都很不错。但问题就是你是诊断链上的一环，作为医疗器械的一部分。这个要求和法规是相当严格的。
所以说目前大部分想要在诊断治疗环节使用 AI 的公司基本都是面向投资人赚钱的。

[laohelmet]

神外的，表示给我一个头 x 片还不如不拍。需要各个面比对，结合周围情况综合判断。
多吃那点射线比起准确度来说真的不算什么

[Pho3nix]

@Mithril
@sgissb1
@murmur

诸位的观点和我一开始的观点一样,但是人家说了是做畸形矫正,所需要的重点信息信息是侧弯的角度类似的,具体的细节并不需要特别关注,三维只是为了观察,诊断信息更多的是在平片的角度信息上

[hst001]

救命治病的东西，用 AI 辅助识别还行，但是用 AI 来脑补信息就不好了，真真假假分不清的时候还要花钱拖时间再用非 AI 技术去确认

[murmur]

@Pho3nix 针对骨科和正畸应用细节足够
我就跟他抠骨科这俩字 这么大一个大骨科都敢吹进去 那就来接受挑刺吧

[coolwulf]

@murmur 你可以查看一下法国公司 EOS Imaging 的产品 Flex Dose, 他们使用的是基于 Atlas based registration method, 在脊椎上的单一骨节上寻找对应的 Landmark, 然后用它们作为重建三维骨节形状的依据在 Atlas 库里面使用对应骨节数据来重建。他们的这种做法可以算是一种在 Deep Learning 来到之前的人工学习。他们的产品在 2012 年就已经通过了 FDA, 并在很多家医院中使用。在儿科骨科尤其受到医生的欢迎，因为很多情况下，病人不合适使用 CT. 我们的 DL 的方法可以看成是更高阶的 Atlas feature extraction.