这是一个创建于 3476 天前的主题，其中的信息可能已经有所发展或是发生改变。
最近在用spark，然后发现每次都需要在命令行用spark-submit的方式来跑，那么如果我想要在代码中执行spark-submit，并且能够截获到输出结果和异常，那应该怎么做呢？多谢各位前辈大大指点~
 |
1
ligyxy 2015-05-20 23:40:19 +08:00  1
你可以考虑在spark任务里调用其他代码
|
 |
2
cjyang1128 OP @ligyxy 您好，请问是什么意思呢。我现在的具体情况是我要做一个后台查询系统，需要对存储在hbase中的数据利用spark进行分析。比如现在我需要看看使用A功能最多的用户是谁，然后我事先已经写好了一个jar包是专门用来实现该功能的。然后我可以在命令行中使用spark-submit的方式来提交该job，得到结果，但是现在我希望在代码中实现该操作。比如我用servlet，收到了前端发送过来的查找使用A功能最多的用户是谁的一个请求，然后我需要在servlet中执行spark-submit，得到结果后返回给前端。那么我需要怎么做比较好呢？谢谢！
|
|
3
ligyxy 2015-05-21 00:13:54 +08:00
你可能要用Kafka和Spark Streaming
但是这个需求看起来对时间没有什么要求，存在数据库做个定时任务就好了 |
|
4
cjyang1128 OP @ligyxy 好的，我再看一下，谢谢帮助！
|
Select Language