首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python 学习手册
Python Cookbook
Python 基础教程
Python Sites
PyPI - Python Package Index
http://www.simple-is-better.com/
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
smartG
V2EX  ›  Python

Python 处理 excel 表格的问题

  •  
  •   smartG · 51 天前 via iPhone · 1585 次点击
    这是一个创建于 51 天前的主题,其中的信息可能已经有所发展或是发生改变。

    今天在处理一个表格的时候,遇到了一个很苦恼的事,表格有一列数据是用户申请日志记录(有重复的申请内容),其中有正常的申请和不正常的,不正常的大多是在正常提交的句子里随机插入数字和标点,还有一些是随机乱打的文字,一眼就能看出来,手动删除也可以,但是整个文件有 3 万多条数据,V 友们有什么好的处理方法吗

    7 回复  |  直到 2019-12-11 08:44:32 +08:00
    kokutou
        1
    kokutou   51 天前 via Android
    正则表达式提取出来放到另一列,然后本列内直接删除。
    最后再看看准确率如何,
    多调几次,然后整列删除。
    TimePPT
        2
    TimePPT   51 天前
    如果没啥特别规律可循的话……抽个三五百条自己标下,然后上贝叶斯过滤器?
    factoid
        3
    factoid   51 天前 via iPhone
    先正则匹配一波,然后在人工查看,手工删除
    necomancer
        4
    necomancer   48 天前
    1. 先用正则表达式去掉包含非法字符的。
    2. 自己找出来一二百条垃圾信息,一二百条好信息,做个分类器。
    简单的流程是先做特征提取,再做个逻辑回归,或者支持向量机分类。文本特征提取的方法百度一下有很多。只是在学习的时候做过英文的垃圾邮件过滤器。中文不知道具体该咋弄……但应该有很多现成的工具吧,去 github 找找~~
    smartG
        5
    smartG   47 天前 via iPhone
    @necomancer 多谢老哥解答,不过迫于技术渣,只用过 Python 的一些基本库,逻辑回归听着好深奥啊
    necomancer
        6
    necomancer   46 天前
    @smartG 逻辑回归是个统计学习方法,sckipy, sklearn 都有现成的库。不熟悉 python 的话,其他很多语言比如 R, matlab, mathematica 啥的也都有实现。
    necomancer
        7
    necomancer   46 天前
    刚搜了一下,excel 也有人做逻辑回归。只要把你需要处理的信息文本提取特征,也就是转成一堆数字就行。这个得去网上找点啥类似 word2vec, 结巴分词啥的,貌似 pip install jieba word2vec 就能装,调用也挺简单,随便找个博客看看应该简单用起来没啥问题。
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2020 人在线   最高记录 5168   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 49ms · UTC 05:56 · PVG 13:56 · LAX 21:56 · JFK 00:56
    ♥ Do have faith in what you're doing.