[爬虫求助]像这种数据生成图片的怎么爬？

[fusae]

比如这个学校课程表

[hxtheone]

有点难, 为了防 OCR 还加了噪点, 真是蛮拼的

[l0wkey]

爬接口..

[fleer]

我输错了几次验证码，连图片啥样子都没看到。

[fusae]

OCR 挺简单解决的。。[看这个]( https://segmentfault.com/q/1010000005686388)。 @l0wkey 爬接口是啥意思，新人不懂

[fusae]

@hxtheone 你的意思是用 OCR 去噪图片转文字？

[imNull]

这个我之前看过，给你点思路：
不要通过 web 获取成绩，这个教务系统有一个 app ，叫掌上校园，抓包分析一下，可以直接 post 然后拿到 json ，

但是， post 的学号等参数加密了，逆向下 apk ，仔细看看 java 源代码（不才，我没能解出来。解出来了记得 @下我哈）

[imNull]

对了，下载那个 apk ，要去搜下老版本的，新版本的难度比较大

[imNull]

忽略上边我的回复，，，，看错了，貌似不是同一个系统

[imNull]

建议 LZ 贴上图。。。

[hxtheone]

@fusae 我的意思是这网站为了不让人爬还给图片加上了噪点, 这样 OCR 还要先去噪点, 也是蛮拼的, 这样还是找数据接口爬吧

[UnisandK]

一个课表而已这学校要不要这么拼。。

[nkssai]

这个噪点挺规律的，二值化以后试一试一般的滤波算法，或者 ising model ，直接给分类器说不定都可以的。

[fusae]

@hxtheone 怎么找数据接口啊？

[fusae]

@nkssai 你这个解决方案有点高大上啊（仰望角度

[JayaOcean]

校友[握爪] ~
之前研究过，这套旧版教务系统为了推广自己的 APP ，防爬做得很恶心。
以下两个思路：
1.模拟登陆教务系统。用楼上 SF 的方案识别验证码。登陆后从网上选课>正选结果可以直接拿到课表， GET http://csujwc.its.csu.edu.cn/wsxk/stu_zxjg.aspx ，再自己解析 HTML 。
2.新版教务系统。也需要破验证码。再 GET http://jwctest.its.csu.edu.cn/jsxsd/xskb/xskb_list.do ，之后解析 HTML 。
中南 e 行 APP 已死，不知道接口还能不能用，就酱。
总之，每年总有几个娃要浪费时间在这 shit 上，骚年早日弃坑。

[fusae]

@JayaOcean 你好，说两点
1.我做的这个不能登录，登录了只能看自己的课表，我是要把全校的班级的课表都要爬下来哟。
2.很抱歉我们不是校友，就应该是同一间公司做的网站，我看它的网页源码有注释你的大学名字，应该网站比我这个更早建吧。所以之所以这么难爬都是因为你们学校的错吗？ 233

[mikii]

你可以搜一下萌小助、大学助手、超级大学、这些都是专业爬学校教务的...

[mikii]

@imNull 这好像是青果的教务系统。。

[fusae]

@mikii 对，是青果的

[beibeijia]

这个验证码确实挺简单的，基本的二值化，去噪以及一些简单微处理后在没有分割建模的情况下直接就可以用 tesseract 识别，俺随机下了 7 张图片做测试，其中 4 张可以被成功识别， so ，别劳神了直接开搞吧！