一个基于自然语言处理的反查重系统

2018-03-11 01:10:56 +08:00
 ygger

目前有相似的应用落地吗? 即可以实现将一句(一段)话换通过自然语言处理的方式替换成另外一句,且核心意思不能变。 目前所了解到的多是用同义词替换来实现,实际效果并不理想。 如果想实现的话,难点在哪里? 请教

3220 次点击
所在节点    问与答
11 条回复
wdlth
2018-03-11 02:17:21 +08:00
查重算法本身就很奇葩,是按照连续的字符数,就算换了位置,因为数据源的数量太大了,也有可能与另外的文章相似。
vegito2002
2018-03-11 02:21:46 +08:00
如果你是说想要达到类似人一样的重述效果, 没有. 现在 AI 火热, 搞得不少人都太低估 NLP 的难度了.

真的想要反查重, 还是要具体看看你的查重算法本身是怎么实现的, 然后反向规避. 实际上现在的查重算法大部分也都不高端, 并不是基于 NLP 层面的比较.
guog
2018-03-11 02:40:30 +08:00
有功夫做反查重何不花时间好好写🌚
Xs0ul
2018-03-11 03:06:05 +08:00
翻译成别的语言再翻回来吧
takato
2018-03-11 03:14:33 +08:00
愚见,难点就在于一开始不知道从哪开始。。。
murmur
2018-03-11 08:03:26 +08:00
我其实想说的是吧 连自己重新组织文字的能力都没有就别念研究生了
fengdra
2018-03-11 10:48:54 +08:00
这种叫做 paraphrase。难点在于没有大量的平行语料
8e47e42
2018-03-11 12:40:51 +08:00
有这空,不如直接自己写来的快。
以及 turnitin 目前不是在开发语言风格监测系统吗,这种玩法写出来的妥妥会被检测出来。
最后,影子写手再厉害总是会遇上傻逼客户,对于有这种需求的客户你不能对其智商抱有太大希望。。有的是客户把代写付款收据一起交上去直接被开除的。
ygger
2018-03-11 16:01:27 +08:00
@murmur 我毕业了,只是想开发一个这样的系统,赚点钱
ygger
2018-03-11 16:02:04 +08:00
@guog 给需要的人提供服务,赚钱
uuuu
2018-03-12 07:42:25 +08:00
楼主 赶快开始 这样我就可以开发一个基于自然语言处理的反反查重系统了

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/436886

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX