一、工具下载：

   1、spark下载

    目前最新的是2.1.1，spark 2.0开始api和之前的还是有比较多的变化，因此如果选择2.0以上版本，最好看一下api变化，下载地址：            //spark.apache.org/downloads.html

   2、hadoop下载

    目前最新的hadoop版本已经到了3.0了，可以根据你的选择需要的版本，下载地址：https://dist.apache.org/repos/dist/release/hadoop/common/

   3、jdk下载，这个就不多说了，基本很多都用到，不过建议下载1.8以上的，这样避免出现兼容问题。

二、spark和hadoop基本介绍

    1、Hadoop

    Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算

    Hadoop的核心包括两块，一个是map/reduce操作，另一个是HDFS分布式文件系统，这个文件系统核心是NameNode和DataNode，前者负责记录文件树形结构，简单来说就是维护文件目录结构，以及每个文件对应在DataNode中的文件块属性。后者是用作数据存储用的，举个例子，如果你往HDFS里面放入一个文件，首先经过NameNode将文件信息记录下来，然后将它存放到各个DataNode中。

    2、Spark

    Spark是专为大规模数据处理而设计的快速通用的计算引擎，里面封装了很多方便的api调用，可以把它看做是Hadoop的补充，虽然hadoop也能进行一些分布式计算，但是spark拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS。

三、开始搭建环境

  1. 选择几个ubuntu的虚拟机，其中一个作为spark的master节点以及hadoop的    NameNode节点，其他的作为slave节点和DataNode节点

  2. 解压下载的spark和hadoop分别到目录/home/spark和/home/hadoop

  3. 配置ssh无秘钥登录

    a) Master节点生成公钥

      ssh-keygen -t rsa -P '' #一路回车直到生成公钥

    b) 将master生成的pub拷贝到worker(10.14.66.215)上

      scp  /home/master/.ssh/id_rsa.pub

      10.14.66.215:/home/worker/.ssh/id_rsa.pub.master

    c) 将自己生成的pub添加到授权列表里

      cat /home/master/.ssh/id_rsa.pub >> /home/master/.ssh/authorized_keys

    d) worker节点中将master的pub添加到授权列表里

       cat /home/worker/.ssh/id_rsa.pub.master >> /home/worker/.ssh/authorized_keys