小弟开源了一个 Python 爬虫+App 的应用，欢迎围观一波。

[allencode]

One

• 该应用内容灵感来源于 One 应用。界面设计为自己所构思,遵循 Materfial Design 风格。 App 端项目的主体架构为 MVP + Dagger2 , 用 Realm 作为本地数据库存储。后台数据是来自于 One 官方网站以及素锦网站,用 Python 爬虫爬取存储在 LeanCloud 后台。
• 如果你有兴趣 Clone 代码,需要注册申请 LeanCloud 的 ID 和 Key 以及 Bugly 的 ID 填入到 AppConstant 中。当然 Python 爬虫代码也需要填入 key 和 ID 。
• 项目是我实习期间,每天下班自己利用晚上休息时间写一点。但是后来越来越控制不住，越写越多。所以将其开源出来。

项目地址

Crawler

爬虫代码你可以在这里看到:

• 爬取 One 问答和图片
• 爬取 SuJin 精彩文章

Sample

戳这里体验一下

Contribution

由于自己暑期实习不是 Android 开发这块。所以并不能把大量时间花在这上面。项目虽然主体架构以及主要功能完成,但是可以扩展的地方蛮多的:

• 夜间模式以及主体换肤,这一块可能稍微麻烦点，因为要配置一些暗黑图标字体等。AppCompat v23.2 - 夜间模式最佳实践
• 问答界面的优化设计。主要要做的就是加上评论以及点赞功能。这个比较简单,具体你可以参考文章界面的对应功能实现。
• 利用 LeanCloud 提供的登录注册功能。实现不同用户使用,评论,点赞等功能。
• 分享选项以及保存功能。这些也是比较简单的功能。

Open source library

• EasyRecyclerView 替代 RV 来实现高度解耦简洁。
• Glide 图片加载库。
• Dagger2 实现依赖注入。
• Realm 轻量级数据库。
• SwipeBackHelper 实现类微信的侧滑返回效果。
• Bugly 腾讯的远程 Bugly 统计,实时监控你的应用异常信息。

ScreenShot

[allencode]

@xiaosheng 你好 我用云真机测试了 mi4 确实是解析包问题。我试了小米其他的机子，却没有问题。请保持关注。我会上传到酷安应用市场试试看。

[allencode]

@xiaosheng 你的系统版本是 4. 几几的吗？我又测试了 6.0.1 的小米四 发现时可以正常的。

[xiaosheng]

@allencode miui6...安卓 4.4.4

[allencode]

@xiaosheng 额 好吧，那是因为开发的时候版本就比较高，为了一些效果。后续我会想想能不能优化改进哈。

[nightspirit]

我想问的是豆瓣为啥用 mongo 存储

[allencode]

@xiaosheng 现在可以试一下了。我这边是没问题的。至少在安装上不会出现解析包问题了。

[allencode]

@nightspirit 那个是我收集的爬虫博客链接。

[songz]

本人小白，看到爬虫就滚进来了，如果我想统计某个网页上的某个数据，楼主可以提点一下吗

[allencode]

@songz 好 可以交流 应该能找到我的联系方式吧

[holajamc]

手里有一个落网的爬虫～不知道楼主需要不需要加进来～

[allencode]

@holajamc 哈哈，我写过落网的爬虫，目录里面也有，如果你觉得思路不一样，你可以提 pr

[holajamc]

@allencode 看了一下～思路不同我是直接遍历把歌曲 url 存入数据库，顺手写抓了期刊的内容～

[allencode]

@holajamc 可以可以，你直接提 pr ，等我回到电脑前 merge 一下，注意相关格式哈，一起完善😄

[holajamc]

@allencode 稍晚时候提给你～

[lengjingxu]

大端文字的字间距，端间距什么的调整一下阅读效果会好些

[allencode]

@lengjingxu 嗯嗯，这些数据都是爬回来的，暂时还没想到怎么去改动这些。后续想想是否可以在爬的过程中存储时候改动一下。

[iam36]

楼主能开源你的 APP 吗？

[allencode]

@iam36 已经开源了。目前正在优化和改进。请持续关注。 https://github.com/wuchangfeng/One