如何在服务器上部署 Java 语言 Selenium 框架爬虫的自动执行?

2023-10-18 13:32:18 +08:00
 tiRolin

我这个 Selenium 做了爬虫,本地已经可以成功运行了,但是这个项目是要求每天爬取数据的,显然不可能由我不能每天手动本地运行这个爬虫,需要部署到服务器上每天自己运行

我一开始的想法是用 SpringBoot 里的 @Scheduled 来实现,但是这个每次都会报错,甚至我都可以登录到远程的 Swagger 里执行爬虫并成功运行,但是自动运行的接口就会报错,我是真的整不太明白了,利用搜索引擎找了好久也没找到解决方法,我真没法了,所以来问问各位,希望有懂的能解答一下,在下感激不尽啊

1522 次点击
所在节点    Java
6 条回复
qczone
2023-10-18 14:30:58 +08:00
兄弟,你至少贴个报的什么错啊,知道你应该搞了很久有点着急,但是你不描述清楚的话大家也没办法帮你,可以看看提问的智慧( https://github.com/ryanhanwu/How-To-Ask-Questions-The-Smart-Way/blob/main/README-zh_CN.md )学习一下如何良好的进行提问。
看你的描述,服务端爬虫的代码应该没啥问题,主要问题出现在定时任务那块儿,你的 SpringBoot 项目在本地跑过吗?能正常执行吗?如果没问题的话,服务器上报的什么错呢?
defunct9
2023-10-18 17:35:35 +08:00
我用的是 python ,用 headless 模式,crontab 扔到服务器上自动执行
28Sv0ngQfIE7Yloe
2023-10-18 17:46:10 +08:00
我一开始的想法是用 SpringBoot 里的 @Scheduled 来实现,但是这个每次都会报错

----------

报啥错啊

从你可以从 swagger 调用接口成功是否可以推断:spring boot run success ?

如果是这样的话,直接去解决你说的「 SpringBoot 里的 @Scheduled 来实现,但是这个每次都会报错」问题就好了
blackeeper
2023-10-18 19:06:44 +08:00
盲猜服务器没有 X Server 图形化界面,代码里面也没有开启 headless 模式,然后就报错了
kingfalse
2023-10-18 19:09:20 +08:00
docker 镜像交付,去搜索 xvnc
sgwk
2023-10-19 14:48:53 +08:00
python ,丢到云服务器上,cron 定时开启。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/983097

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX