Spark项目打包+日志输出格式

最新推荐文章于 2023-06-05 23:43:20 发布

原创最新推荐文章于 2023-06-05 23:43:20 发布 · 672 阅读

1 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

知识归纳

信息配置

本文介绍了Spark项目的两种打包方式——胖包和瘦包，详细解释了它们的区别，并提供了在IntelliJ IDEA中配置Scala代码编译的提示。此外，文章还提及了Scala代码日志输出格式的设置。

一、项目打包方式
Spark项目打包有胖包和瘦包之分。胖包是指：除了自己写的运行代码外，还需要包代码中用到的所有依赖包一同打包，这样在不同的环境下调用该jar包时就不需要在拉取依赖包。瘦包是指：只将自己写的运行代码打包，不包含依赖，这种包只能在与本机器环境配置完全相同的情况下被调用。
注：idea中默认不编译scala代码，需要在pom.xml的plugins下添加如下代码：

<plugin>
  <groupId>org.scala-tools</groupId>
  <artifactId>maven-scala-plugin</artifactId>
  <version>2.15.2</version>
  <executions>
    <execution>
      <goals>
        <goal>compile</goal>
        <goal>testCompile</goal>
      </goals>
    </execution>
  </executions>
</plugin>

打胖包时，需要在pom.xml的plugins下添加如下代码：

<plugin>
  <groupId>org.apache.maven.plugins</groupId>
  <artifactId>maven-assembly-plugin</artifactId>
  <version>2.5.5</version>
  <configuration>
    <archive>
      <manifest>
        <mainClass>com.njbdqn.MySpark</mainClass>
      </manifest>
    </archive>
    <descriptorRefs>
      <descriptorRef>jar-with-dependencies</descriptorRef>
    </descriptorRefs>
  </configuration>
  <executions>
    <execution>
      <id>make-assembly</id>
      <phase>package</phase>
      <goals>
        <goal>single</goal>
      </goals>
    </execution>
  </executions>
</plugin>

二、scala代码日志输出格式
可参照如下代码编写：

log4j.rootLogger = debug ,  D ,  E
log4j.appender.D = org.apache.log4j.DailyRollingFileAppender
log4j.appender.D.File = d:/logs/log.log	//记得此处要改为自己的日志存储路径
log4j.appender.D.Append = true
log4j.appender.D.Threshold = DEBUG
log4j.appender.D.layout = org.apache.log4j.PatternLayout
log4j.appender.D.layout.ConversionPattern = %-d{yyyy-MM-dd HH:mm:ss}  [ %t:%r ] - [ %p ]  %m%n


log4j.appender.E = org.apache.log4j.DailyRollingFileAppender
log4j.appender.E.File = d:/logs/error.log
log4j.appender.E.Append = true
log4j.appender.E.Threshold = ERROR
log4j.appender.E.layout = org.apache.log4j.PatternLayout
log4j.appender.E.layout.ConversionPattern = %-d{yyyy-MM-dd HH:mm:ss}  [ %t:%r ] - [ %p ]  %m%n

标签

#log4j #scala #spark