求助:爬取学术数据库中论文的 abstract 做研究

2015-05-28 09:55:42 +08:00
 lushl9301

最近在做分析一些医学研究论文的abstract的project。
一直在用PubMed这个数据库,因为能把搜索结果下载为包含很多信息的txt文档(其中就包含了abstract),直接处理这个文档就能得出很多有用的信息。
然而,这个数据库毕竟偏向医学研究一些,如果我们想查阅一些关于传感器或者什么运动数据测量的时候,这个数据库能查到的信息偏少
该数据库地址: http://www.ncbi.nlm.nih.gov/pubmed
我写的一个分析abstract的小工具地址: https://github.com/lushl9301/PubMed-Text-Mining-Tool (写的渣渣,就是拿来用用。。。)

于是我和导师考虑,说不定爬取Google scholar的会不会好一点?

发现Google scholar仅仅提供了一些论文的作者信息,被多少次引用等等,对于文章内容只有一些简单摘要。这些摘要是跟据搜索关键词给出的一些片段,远不如abstract。

其他什么ACM,IEEE都没有提供合适的获取abstract方式。

考虑使用爬虫直接爬取的话,会被ban什么的。Google也会给你robot test。

所以在这里想请教小伙伴,能否提一些建议呢?帮忙支支招 ^_^

4192 次点击
所在节点    程序员
6 条回复
lushl9301
2015-05-28 10:01:17 +08:00
发完贴后,在“最热”板块,哗哗哗的往下掉= =
ichou
2015-05-28 10:11:22 +08:00
不会因为访问量太大 导致数据库方暂停账户服务么? 要是用的学校的公用帐号,哇咔咔~ 写检讨什么的爽歪歪~
binux
2015-05-28 10:17:53 +08:00
lushl9301
2015-05-28 10:50:13 +08:00
@ichou 这个会的。。。所以尽量不用学校网络,不登陆去爬取吧。。。
lushl9301
2015-05-28 10:52:34 +08:00
@binux 哇。。这是pyspider爬取的?
我记得我还看到过。。。
谢谢。。。这就去看看
cangbaotu
2016-05-24 16:38:03 +08:00
推荐你使用神箭手云爬虫,分布式的爬虫框架。官方很给力!

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/194301

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX