资源描述
2015 Spark开发环境搭建 by 球哥 大数据学习网介绍 我们的网址是: 我们提供专业的大数据学习视频,包括 Hadoop, Spark, Storm, Mahout,机 器学习等。 我们定价合理,让每个人都学得起大数据。 友情提示 本系列课程主要由 Learning.Spark这本书整理而来。 本系列课程主要目的,帮助想要学习 Spark的同学入门。 本系列课程中的 ppt可自由传播,无需任何授权,但不要用于商业用途哦。 本系列课程中的视频不要自由传播哦,如果同学们觉得课程价格不合理,欢 迎在下面的群中反馈,我们会考虑调整价格的。 Spark学习交流群: 368770186, 371896553 Spark开发环境搭建 使用 Scala+IntelliJ IDEA+Sbt搭建开发环境 搭建开发环境 安装 Scala scala下载地址: http:/www.scala-lang.org/download/2.10.3.html 本系列课程中,相关软件下载网盘地址 (链接: 密码: lszc) 默认安装选项会自动配置环境变量。 如果没有自动配置,进行环境变量配置 1. SCALA_HOME: C:Program Files (x86)scala 2. Path后面加上 ;%SCALA_HOME%bin 搭建开发环境 IntelliJ IDEA的下载,安装 1. 下载地址: 2. 激活码如下: key:tommy value:49164-YPNVL-OXUZL-XIWM4-Z9OHC-LF053 key:itey value:91758-T1CLA-C64F3-T7X5R-A7YDO-CRSN1 搭建开发环境 IntelliJ IDEA常用的设置 在 IntellJ/bin/idea64.exe.vmoptions(64位,物理内存大,建议增大 ),加大 IDEA的启动内存: -Xms512m -Xmx1024m -XX:MaxPermSize=512m 搭建开发环境 IntelliJ IDEA常用的设置 主题和颜色: Settings IDE Settings Appearance Theme:Darcula 然后把下面 override font选项勾上,选择 Yahei 14号字体。 编辑器界面字体设置: 可以在 Editor Colors&Fonts Fonts另存为一个新的主题,并在这个新主题中修改配置。 光标所在行背景颜色: Editor Colors&Fonts General Caret row,选择蓝色背景,以便具有较大色差。 搭建开发环境 插件安装 FileSettingsPlugins,搜索 Scala直接安装,安装完后会提示重新启动。这个插件中有 scala和 sbt。 无需再单独下载 sbt插件。 搭建开发环境 IntelliJ IDEA常用的设置 IDEA可以为每个项目指定不同版本的 JDK,并且需要开发者手动配置项目的所使用的 JDK版本。 配置方法如下: 1. 单击 File | Project Structure菜单项,打开 ProjectStructure对话框; 2. 在左侧列表框中,选择 SDKs列表项,进入 SDK配置页面; 3. 若中间的 SDK列表框没有选项,则单击“ +”号创建一个 JDK列表项; 4. 选择 JDK列表项,在 SDK JDK选项卡页面中,单击 JDK home path项目的浏览按钮,定位 JDK安装路径并保存 搭建开发环境 build.sbt文件 使用 bt 0.13进行编译 /导入支持编译成 jar包的一些函数 (这些函数是 sbt-assembly插件中的 ) import AssemblyKeys._ name := SparkApp version := 1.0 scalaVersion := 2.10.3 libraryDependencies += Seq(/ Spark dependency org.apache.spark % spark-core_2.10 % 1.2.0 % provided, net.sf.jopt-simple % jopt-simple % 4.3, joda-time % joda-time % 2.0) 搭建开发环境 /该声明包括 assembly plug-in功能 assemblySettings / 使用 assembly plug-in配置 jar jarName in assembly := my-project-assembly.jar / 从我们的 assembly JAR中排除 Scala, 因为 Spark已经绑定了 Scala assemblyOption in assembly :=(assemblyOption in assembly).value.copy(includeScala = false) 搭建开发环境 要使 sbt-assembly插件生效,在 project/目录下新建一个文件,列出这个插件的依赖。新建 project/assembly.sbt 增加如下的配置 addSbtPlugin(com.eed3si9n % sbt-assembly % 0.11.2) 搭建开发环境 搭建开发环境常遇到的问题: 网络问题,导致 sbt插件下载失败,解决方法,找到一个好的网络环境,或者预先从我提供 的网盘中下载 jar。 版本匹配问题,版本不匹配会遇到各种问题,解决方法,按照如下版本搭建, scala(2.10.3), sbt(0.13), sbt-assembly(0.11.2), spark(1.2.0) 小结 搭建开发环境
展开阅读全文