有啥推荐的小说我抓取过来一块看呗

[joyqi]

升级了下以前做的 http://heishuwu.com ，做了个爬虫来抓取小说，主要是给我和身边的书虫服务的。刚升级完，书库没什么书，大家有什么推荐的，最好是完本的。

[heyli]

好奇爬虫是如何实现的？方便的话共享下思路
搜索没有的小说是否会自动抓取？ 是否要手动处理 怎么取正文的内容
之前在做的 一直无法做得很好

[joyqi]

目前小说是要手工录入的，还没做到那么自动化
取正文的内容用的php dom对象的xpath实现的，针对不同的网站实现不同的匹配就行了，是个体力活

[heyli]

555 跟我实现的一样 但当有几百个人在看不同类型的小说时 就崩溃了 完全无法满足

[joyqi]

这还不简单，在淘宝上买个带数据库的小说站，自己倒一遍就行了，就几十块钱

[pandada8]

//我居然看到了凤凰面具
网页似乎没有居中啊……
linux + Chrome

[heyli]

都是已有小说就没有吸引力了 处理的绝大部份都是正在连载的小说

[jedicxl]

大陆的所谓奇幻和武侠修真的都没法看啊楼主

网络小说的话，已完结的推荐《阿里布达年代祭》、《风姿物语》，未完结的有《妖刀记》、《六朝清羽记（系列）》（呃。。除了风姿物语，其他三个都是H的。。。）
上述这些都是台湾作者的，仅仅是做推荐阅读，但是否适合放到你这个站上，个人觉得不太合适，毕竟涉及版权。

[shierji]

凡人修仙传啊。。。。传说中的大坑啊

[fangzhzh]

@jedicxl 别逗了 都抓取了哪还有考虑版权问题

[jedicxl]

@shierji 凡人修仙传的人物塑造和剧情实在是我看过的网络小说中数得着的烂的，文笔也差的一比。但是很奇特的是想象力却还算不错。整篇小说基本就靠想象力撑起来了

[joyqi]

@shierji 我想问一下凡人修传写完没。。。我没毕业就看了，已经5年多了

[mongodb]

@jedicxl 冲这个说法我要去看看了。。

[why]

等你抓好了我再抓你的

[binux]

我干过 http://www.shupeng.com/netnovel 是我抓的，带内容

[shierji]

@joyqi 据说要完结了。。。。

[davepkxxx]

D坂杀人事件 (午夜文库) 江户川乱步
龙文身的女孩 斯蒂格·拉森 (Stieg Larsson)
日瓦戈医生 (诺贝尔文学经典) 帕斯捷尔纳克
白银时代 (时代三部曲) 王小波
一九八四(译文名著精选) 奥威尔(George Orwell)
动物农场 (译文经典) 乔治•奥威尔(George Orwell)
黑客与画家:硅谷创业之父Paul Graham文集 阮一峰
悟空传(完美纪念版) 今何在
诺贝尔文学奖作品典藏书系：鼠疫 A.加缪
福尔摩斯探案大全集(超值金版) (家庭珍藏经典畅销书系：超值金版) 阿瑟·柯南·道尔(Arthur Conan Doyle)
明朝那些事儿(第5部):帝国飘摇 当年明月
明朝那些事儿(第6部):日暮西山 当年明月
明朝那些事儿(第4部):粉饰太平 当年明月
明朝那些事儿(第7部):大结局 当年明月
明朝那些事儿(第3部):妖孽宫廷 当年明月
明朝那些事儿(第2部):万国来朝 当年明月
明朝那些事儿(第1部):洪武大帝 当年明月
塔希里亚故事集3 吴淼
帝国最后的荣耀:大明1592抗日援朝(套装共2册) 马伯庸
追风筝的人 胡赛尼

[hewwcn]

http://book.douban.com/tag/%E5%B0%8F%E8%AF%B4

[msg7086]

刀剑神域
樱花庄的切糕女友

[Mcatt]

《无限恐怖》

[chainkhoo]

@binux 网站做得真好！赞！