RedisMasterNode
2023-06-28 22:07:42 +08:00
虽然但是)
其实我觉得适合写在简历上的项目可以考虑爬虫项目,TL;DR:
1. 海量数据,你爬下来上亿条数据(这个对于爬虫来说很正常),就能做亿级数据的 DB 优化、异构数据库、离线数仓等等;
2. 可以强调并发量,TPS 高爬虫才有效率,又是一大技术难点,如何压榨机器的资源
3. 以上两点在做正常的新手 Demo 项目(传统的商城、xx 管理系统)都是非常难做到的,或者说你可能需要自行生成这么大的数据量,但是在爬虫项目里很容易就能遇见
如果你想在爬虫项目里做一些服务化的事情,可以考虑按模块拆几个服务试试,例如
1. 实际发起调用的服务
2. 调度服务(例如有些数据想要实时更新点赞数、阅读数,那总得有一套规则,何时爬第一次,何时爬第二次,下发给哪个调用服务去爬取)
------------------------------------
3. 管理系统,或者用于展示的 Web UI 前后端