算法会作恶吗？我们如何面对？

[WhoCanBeRich]

之前身边关注算法比较多的是一些推荐机制，比如淘宝、今日头条和抖音，但是今天看到一个文章说美国使用算法来评测一个人该蹲多久，好像好几个州已经实施了，然后研究人员发现算法存在种族歧视的问题：同一种罪，白人和黑人判刑时间不同，评估风险指数也不同。
新闻链接在这:https://www.propublica.org/series/machine-bias

想和 V 友们讨论讨论除了上面说的这些情况，你还遇到过（或者预测）哪些算法应用会产生偏见呢？

[ivesun]

算法有偏见也是人写进去的，跑的时候代码自身没有情绪

[lovestudykid]

这个应该是数据代入的，本质上也是人造成的。本来就有研究方向是去除数据中的这种 bias

[swulling]

机器学习本质是统计学，有偏见是因为从统计角度，事实就是这样

[pkookp8]

杀熟，不就是一种老顾客被算法(产品经理)歧视现象么

[Ultraman]

参考奥创带有 tony 的激进性格？

[wc951]

算法都是一样的，你说的作恶来源于输入了数据和调完参之后生成的模型

[autoxbc]

有一种算法之恶很少有人提到，即算法的不可理解导致的困境

一个在统计上足够优秀的算法，如果给出一个违反直觉违反常识的方案，人类如何自处。比如人好端端的在休息，算法突然说快从 3 楼跳出去，背后可能是导弹即将来临，也可能是极低概率的算法错误

终有一天，最智慧的人类也无法理解算法亿万次迭代的结果，人是做弱智的顽固人类，还是理性的屈服于硅基生物，这是个问题

[maxco292]

机器学习引入的数据是极有可能带有先验的，另外做算法的人本身的目的性（这一点传统算法也会有），最后机器学习背后数学理论框架 pac 学习，也是有泛化误差存在的，这些你很难保证'不'作恶

[Jirajine]

当然会。比如人脸识别算法。这是目前为止最邪恶的技术了

[exip]

算法不会作恶，算法只会拿到数据算出结果。会不会作恶取决于使用算法的人。就像一个刀只会切开东西一样，至于切的是食材还是人，完全取决于使用刀的人。
尽可能的了解原理，利用算法规则做出应对，就像算法杀熟，可以尽量给它一次性的数据或者故意加入脏数据，让算法认为这是一个新人或者不是它期待的人。

[zhazi]

四则运算会作恶吗？我们如何面对？

[AvenirX]

这算法是靠数据训练出来的。如果这些数据本身就体现了同样前提下更危险的人恰好大多数是黑人呢？
种族平等是人类感性的愿望。不妄干预算法也要达成黑人白人平等，这也算是人类的良心吧。

[Takamine]

算法：我就一个和水泥养家的，修柏林墙怪我咯？

[Salvation]

现在连：“算法”也是作恶的主体了吗。

说实话，这个问题问出来有点搓。

[doresu]

算法只是工具，作恶的不是算法，就像菜刀不仅能做菜还能杀人

[wolfie]

如果某算法认为黑人犯罪可能比白人高，是算法的问题，还是统计样本问题。

数据 == 现实
(也有部分计算理论错误导致结论错误)

肤色深浅与恐怖分子概率有没有关系？

[ymcj001]

我喜欢这个问题，我觉得技术的发展，最后的使用者在人。人会怎么用可就太难说了，可是我相信，如果没有约束，技术会变成更加有效的作恶工具。就像人脸识别，难道不是一项好技术吗，可是为什么现在说起这个就闻风色变呢。

[qunqun]

@autoxbc 哈哈，不用担心哦，不听话是人的天性哦，所谓不听老人(算法)言，吃亏在眼前😂

[AimerUnow]

推荐 @liuyubobobo 最近在慕课网写的那个专栏。里面最新的两篇文章都提到了类似的内容。

[softtwilight]

工具真是中性的吗？举个极端的例子，折磨人的刑具是中性的吗，当工具的存在把一种作恶的可能性从不可能变成可能，还是中性的吗