我有一个 java 的 web 程序,其中有不少科技公司的名单。现在需要一个功能,能够‘实时’(固定间隔)爬公司的新闻,显示在我这个程序的页面里。头条新闻我不知道他们怎么实现的,我需要的类似像他们,能按照公司名爬到新闻,比如‘阿里爷爷’这家公司,我的程序里有这家公司页面,其中一个新闻模块里要显示他家新闻。
这个功能不需要将每条新闻内容存到到数据库,我想也许也不需要用程序本身语言 java 来写这个爬虫功能,python 之类也行,但我现在不知道怎么连接 java 程序去调用爬虫功能,将结果显示出来。还请您帮助。
目前目标就是能 work !以后还需要解决如果去重新闻的问题。爬的数据来源可以是一些科技门户或新闻网站、搜索引擎的新闻。稀牛数据这个网站像我需要的,http://www.xiniudata.com/info/news/lib, 不知道他们怎么爬的。
如果您正好有这方面的经验,还请联系,联系时请预估一个工作量和价格。谢谢!
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.