如何在代码中运行 spark job

[cjyang1128]

最近在用spark，然后发现每次都需要在命令行用spark-submit的方式来跑，那么如果我想要在代码中执行spark-submit，并且能够截获到输出结果和异常，那应该怎么做呢？多谢各位前辈大大指点~

[ligyxy]

你可以考虑在spark任务里调用其他代码

[cjyang1128]

@ligyxy 您好，请问是什么意思呢。我现在的具体情况是我要做一个后台查询系统，需要对存储在hbase中的数据利用spark进行分析。比如现在我需要看看使用A功能最多的用户是谁，然后我事先已经写好了一个jar包是专门用来实现该功能的。然后我可以在命令行中使用spark-submit的方式来提交该job，得到结果，但是现在我希望在代码中实现该操作。比如我用servlet，收到了前端发送过来的查找使用A功能最多的用户是谁的一个请求，然后我需要在servlet中执行spark-submit，得到结果后返回给前端。那么我需要怎么做比较好呢？谢谢！

[ligyxy]

你可能要用Kafka和Spark Streaming

但是这个需求看起来对时间没有什么要求，存在数据库做个定时任务就好了

[cjyang1128]

@ligyxy 好的，我再看一下，谢谢帮助！