我在这个项目里面主要负责了数据库表结构设计，权限管理，后端接口编写，数据库查询优化的工作，这个项目里我遇到的最大的问题就是短时间内的快速开发和复杂的数据统计。整个 CRM 的编写用了 2 个月。共有首页数据报表，HR 审核管理，销售管理，RPO 管理，权限管理，问题反馈，消息通知，文件上传等模块。其中 HR 审核管理是和 24 猎小程序项目是对接的。由于数据库表结构设计的不合理，导致首页数据完成初期经常出现数据不准确的情况。后来在原有表的基础上增加了很多字段才将数据统计准确。其次是权限验证的问题，这里我采用了 RBAC 的权限模型，较为简单的写了个权限管理。然后是消息通知，我使用了 websocket 的方式来实现消息通知的功能。
我在此项目负责了数据库表结构设计，后端接口编写，数据库查询优化，用户数据统计的工作。这里我遇到的最大的问题其实就是当数据量大了之后的慢查询。原因有很多，从表结构设计到 orm 查询优化。最后我通过优化 mysql 联合索引，以及引入 redis 缓存的方式解决了慢查询。
我在这个项目里面负责反爬措施破解，数据解析，数据入库的工作。这个项目里，我遇到的最困难的问题是该网站的字体加密的方式。该网站采用 css 动态字体加密，每次请求后，后端都将加密过的数据和相对应的加密字体穿到前端，前端拿到加密字体后，通过 css 渲染将加密的信息解密为正常模式显示。针对这个措施，我最后采用了 KNN 算法，采用各点阵信息中的宽高等特征明显的点的差值作为数据源。通过 KNN 算法来比较，破解了该反爬措施。由于该网站的数据并没有将唯一 ID 等唯一性数据暴露在前端，我采用了提取特征信息生成 md5 的方式来校验唯一性，来避免重复数据的录入。采用自动化脚本的方式自动更新 cookie 信息。
我在这个项目里面负责使用 sql 语句，从公司内部的数据库中查找并统计数据，供老板进行参考。通过这个项目，我熟悉了 mysql 常规的增删查改操作，并对数据库表结构设计在生产中的应用有了初步的了解。重温了 sql 各种连接查询的操作以及特点。初步了解了 mysql 索引的优化方式。
我在这个项目里面，负责了某程的评论数据爬取的工作。主要通过这个项目熟悉了 requests，xpath，scrapy，selenium 这些常用爬虫库的操作。了解了 scrapy 工作的原理，了解了一般网站常用的反爬措施，例如 cookie，header，代理 ip，ADSL 拨号切换 ip 等。
以下均为我熟练使用的技能
感谢您花时间阅读我的简历，期待能有机会和您共事。
这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.