用IDEA创建一个基于maven的hello-spark项目

发表于

环境准备

基于windows环境，安装jdk,maven,scala,spark，配置环境变量

安装idea，scala插件

为什么我不用sbt构建，而选用maven？
公司有maven仓库，jar下载速度快。sbt没有研究过直接使用nexus，在网上找了一个公服repox，但速度不理想。

开始项目

在idea中新建maven project，在pom.xml中引入插件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
<plugin>
    <groupId>net.alchim31.maven</groupId>
    <artifactId>scala-maven-plugin</artifactId>
    <version>3.2.2</version>
    <executions>
        <execution>
            <goals>
                <goal>compile</goal>
                <goal>testCompile</goal>
            </goals>
        </execution>
    </executions>
    <configuration>
        <args>
            <!-- work-around for https://issues.scala-lang.org/browse/SI-8358 -->
            <arg>-nobootcp</arg>
        </args>
    </configuration>
</plugin>

参考了这个sample

接着引入scala和spark相关jar

在src/main/scala中，参考spark官网copy一段代码，就可以在本机运行了:-D