Interface Job<T> extends Serializable :
用于Spark远程(remote)作业的接口
方法详情: T call(JobContext jc)
Interface JobContext :
保存一个job执行时的信息,这个类的水利保存在host远程Spark Context的节点上并且通过RemoteSparkContext#submit()提交执行的job可以访问该实例。
方法详情:
JavaSparkContext sc() : 返回共享的SparkContext实例
SQLContext sqlctx() : 返回SQLContext实例
HiveContext hivectx() : 返回HiveContext实例
JavaStreamingContext streamingctx() : 返回已经创建的JavaStreamingContext
<E> E getSharedObject(String name) : 返回符合name的共享对象 E : 共享对象的类型
<E> void setSharedObject(String name, E object) : 设置共享对象,已存在则覆盖
<E> E removeSharedObject(String name) : 从缓存中移除共享对象并返回该对象
void createStreamingContext(long batchDuration) : 创建SparkStreaming Context , batchDuration :流数据被批量处理的时间间隔 单位级: 毫秒
void stopStreamingCtx() : 停止SparkStreamingContext
File getLocalTmpDir() : A local tmp dir specific to the context
E sprakSession() : 如果sparksession对象存在则返回,否则报错
interface JobHandle<T> extends Future<T> :
已提交任务的句柄,允许对在运行的远程任务进行监听和控制
内部类:
static enum State : 提交任务的现状态
static interface Lis

4373

被折叠的 条评论
为什么被折叠?



