一 YARN组成元素及其功能

RM:YARN的管理者
NM:YARN的执行者

二 YARN工作原理

首先数据上传到集群中.然后将写好的程序打成架包通过命令提交MR作业.提交到集群后由集群管理者MR开始调度分配资源.到HDFS读取数据执行MapReduce相关进程对数据进行计算

三 具体流程

第一步: Client执行main()函数中runjob();开启作业

第二步:client向RM发送作业请求同时RM将作业id以及jar包存放路径返回给Client

第三步:Client会把Jar路径为前缀作业id为后缀作为唯一存放路径,将jar包写入到HDFS集群中,默认情况下jar包写10份,而其他数据只写3份 当改程序运行完后删除这些数据

第四步:Client再次将Jar存放地址(更为详细的描述)提交给RM.

第五步:RM将其放入调度器,向NM发送命令,NM开启MRAPPMaster进程,MR根据HDFS中jar包数据量为NM分配任务.

第六步:NM通过心跳机制接受调度器分配的任务

第七步:NM会开启内部YARNChild

第八步:YARNChild根据命令到HDFS检索作业资源,

第九步:YARNChild开启MapTask 或者Reduce Task

第十步:map计算YARNChild调度的数据.

• 主要的思路是 利用git分支实现
• hexo生成的静态博客文件默认放在master分支上。
• hexo的源文件（部署环境文件）可以都放在hexo分支上（可以新创建一个hexo分支），换新电脑时，直接git clone hexo分支

一、hexo搭建博客原理

• hexo帮助把博客发送到github，同时把md文件转换成网页文件。
• hexo目录下的文件和github上的文件是不同的，public文件夹的文件通过hexo d 上传到github去了，其他的文件则留在本地目录下。

  二、搭建hexo服务器端电脑设置

  1.准备工作

  首先确保自己已经使用hexo在github搭建好了自己的个人博客。

  2.对username.github.io仓库新建hexo分支，并克隆

• 在Github的username.github.io仓库上新建一个xxx分支，并切换到该分支，并在该仓库->Settings->Branches->Default branch中将默认分支设为xxx，save保存；然后将该仓库克隆到本地，进入该username.github.io文件目录。

完成上面步骤后，在当前目录使用Git Bash执行git branch命令查看当前所在分支，应为新建的分支xxx：

3.将本地博客的部署文件拷贝进username.github.io文件目录

• 如题，先将本地博客的部署文件（Hexo目录下的全部文件）全部拷贝进username.github.io文件目录中去。

接下来，进入username.github.io文件目录下，将该目录下的全部文件提交到xxx分支，提交之前需注意：

• 将themes目录以内中的主题的.git目录删除（如果有），因为一个git仓库中不能包含另一个git仓库，提交主题文件夹会失败。
• 可能有人会问，删除了themes目录中的.git不就不能git pull更新主题了吗，很简单，需要更新主题时在另一个地方git clone下来该主题的最新版本，然后将内容拷到当前主题目录即可。

  4.提交hexo分支

• 执行git add .、git commit -m ‘back up hexo files’（引号内容可改）、git push即可将博客的hexo部署环境提交到GitHub个人仓库的xxx分支。

现在可以在GitHub上的username.github.io仓库看到两个分支的差异了。
master分支和xxx分支各自保存着一个版本，master分支用于保存博客静态资源，提供博客页面供人访问；xxx分支用于备份博客部署文件，供自己维护更新，两者在一个GitHub仓库内互不冲突。

三、其他任何一台电脑

至此，你的博客已经可以在其他电脑上进行同步的维护和更新了，方法很简单：

• 将新电脑的生成的ssh key添加到GitHub账户上
• 在新电脑上克隆username.github.io仓库的xxx分支到本地，此时本地git仓库处于xxx分支
• 切换到username.github.io目录，执行npm install(由于仓库有一个.gitignore文件，里面默认是忽略掉 node_modules文件夹的，也就是说仓库的hexo分支并没有存储该目录[也不需要]，所以需要install下)
• 到这里了就可以开始在自己的电脑上写博客了！

编辑、撰写文章或其他博客更新改动：

• 依次执行git add .、git commit -m ‘back up hexo files’（引号内容可改）、git push指令，保证xxx分支版本最新
• 执行hexo d -g指令（在此之前，有时可能需要执行hexo clean），完成后就会发现，最新改动已经更新到master分支了，两个分支互不干扰！

  四、回到hexo服务器端电脑更新并提交博客

  注意： 每次换电脑进行博客更新时，不管上次在其他电脑有没有更新，最好先git pull

• 按照之前的方法写自己博客

• 然后将目录切换下username.github.io下，此时需要安装一下npm install， 最后执行hexo g、hexo s、hexo d等命令即可提交成功.

shuffle的本意是洗牌、混洗的意思，把一组有规则的数据尽量打乱成无规则的数据。而在MapReduce中，Shuffle更像是洗牌的逆过程，指的是将map端的无规则输出按指定的规则“打乱”成具有一定规则的数据，以便reduce端接收处理。其在MapReduce中所处的工作阶段是map输出后到reduce接收前，具体可以分为map端和reduce端前后两个部分。
在shuffle之前，也就是在map阶段，MapReduce会对要处理的数据进行分片（split）操作，为每一个分片分配一个MapTask任务。接下来map会对每一个分片中的每一行数据进行处理得到键值对（key,value）此时得到的键值对又叫做“中间结果”。此后便进入reduce阶段，由此可以看出Shuffle阶段的作用是处理“中间结果”。
由于Shuffle涉及到了磁盘的读写和网络的传输，因此Shuffle性能的高低直接影响到了整个程序的运行效率。

MapReduce Shuffle

Map端的shuffle

下图是MapReduce Shuffle的官方流程：

因为频繁的磁盘I/O操作会严重的降低效率，因此“中间结果”不会立马写入磁盘，而是优先存储到map节点的“环形内存缓冲区”，在写入的过程中进行分区（partition），也就是对于每个键值对来说，都增加了一个partition属性值，然后连同键值对一起序列化成字节数组写入到缓冲区（缓冲区采用的就是字节数组，默认大小为100M）。
当写入的数据量达到预先设置的阙值后便会启动溢写出线程将缓冲区中的那部分数据溢出写（spill）到磁盘的临时文件中，并在写入前根据key进行排序（sort）和合并（combine，可选操作）。
溢出写过程按轮询方式将缓冲区中的内容写到mapreduce.cluster.local.dir属性指定的本地目录中。当整个map任务完成溢出写后，会对磁盘中这个map任务产生的所有临时文件（spill文件）进行归并（merge）操作生成最终的正式输出文件，此时的归并是将所有spill文件中的相同partition合并到一起，并对各个partition中的数据再进行一次排序（sort），生成key和对应的value-list，文件归并时，如果溢写文件数量超过参数min.num.spills.for.combine的值（默认为3）时，可以再次进行合并。
至此map端的工作已经全部结束，最终生成的文件也会存储在TaskTracker能够访问的位置。每个reduce task不间断的通过RPC从JobTracker那里获取map task是否完成的信息，如果得到的信息是map task已经完成，那么Shuffle的后半段开始启动。

Reduce端的shuffle

当mapreduce任务提交后，reduce task就不断通过RPC从JobTracker那里获取map task是否完成的信息，如果获知某台TaskTracker上的map task执行完成，Shuffle的后半段过程就开始启动。Reduce端的shuffle主要包括三个阶段，copy、merge和reduce。
每个reduce task负责处理一个分区的文件，以下是reduce task的处理流程：

• reduce task从每个map task的结果文件中拉取对应分区的数据。因为数据在map阶段已经是分好区了，并且会有一个额外的索引文件记录每个分区的起始偏移量。所以reduce task取数的时候直接根据偏移量去拉取数据就ok。
• reduce task从每个map task拉取分区数据的时候会进行再次合并，排序，按照自定义的reducer的逻辑代码去处理。
• 最后就是Reduce过程了，在这个过程中产生了最终的输出结果，并将其写到HDFS上。

  为什么要排序

  key存在combine操作，排序之后相同的key放到一块显然方便做合并操作。
  reduce task是按key去处理数据的。 如果没有排序那必须从所有数据中把当前相同key的所有value数据拿出来，然后进行reduce逻辑处理。显然每个key到这个逻辑都需要做一次全量数据扫描，影响性能，有了排序很方便的得到一个key对于的value集合。
  reduce task按key去处理数据时，如果key按顺序排序，那么reduce task就按key顺序去读取，显然当读到的key是文件末尾的key那么就标志数据处理完毕。如果没有排序那还得有其他逻辑来记录哪些key处理完了，哪些key没有处理完。
  虽有千万种理由需要这么做，但是很耗资源，并且像排序其实我们有些业务并不需要排序。

  为什么要文件合并

  因为内存放不下就会溢写文件，就会发生多次溢写，形成很多小文件，如果不合并，显然会小文件泛滥，集群需要资源开销去管理这些小文件数据。
  任务去读取文件的数增多，打开的文件句柄数也会增多。
  mapreduce是全局有序。单个文件有序，不代表全局有序，只有把小文件合并一起排序才会全局有序。

  Spark Shuffle

• Shuffle 过程本质上都是将 Map 端获得的数据使用分区器进行划分，并将数据发送给对应的 Reducer 的过程。
• Shuffle作为处理连接map端和reduce端的枢纽，其shuffle的性能高低直接影响了整个程序的性能和吞吐量。map端的shuffle一般为shuffle的Write阶段，reduce端的shuffle一般为shuffle的read阶段。Hadoop和spark的shuffle在实现上面存在很大的不同，spark的shuffle分为两种实现，分别为HashShuffle和SortShuffle。
• HashShuffle又分为普通机制和合并机制，普通机制因为其会产生MR个数的巨量磁盘小文件而产生大量性能低下的Io操作，从而性能较低，因为其巨量的磁盘小文件还可能导致OOM，HashShuffle的合并机制通过重复利用buffer从而将磁盘小文件的数量降低到CoreR个，但是当Reducer端的并行任务或者是数据分片过多的时候，依然会产生大量的磁盘小文件。
• SortShuffle也分为普通机制和bypass机制，普通机制在内存数据结构(默认为5M)完成排序，会产生2M个磁盘小文件。而当shuffle
  map task数量小于spark.shuffle.sort.bypassMergeThreshold参数的值。或者算子不是聚合类的shuffle算子(比如reduceByKey)的时候会触发SortShuffle的bypass机制，SortShuffle的bypass机制不会进行排序，极大的提高了其性能。
• 在Spark1.2以前，默认的shuffle计算引擎是HashShuffleManager，因为HashShuffleManager会产生大量的磁盘小文件而性能低下，在Spark
  1.2以后的版本中，默认的ShuffleManager改成了SortShuffleManager。
• SortShuffleManager相较于HashShuffleManager来说，有了一定的改进。主要就在于，每个Task在进行shuffle操作时，虽然也会产生较多的临时磁盘文件，但是最后会将所有的临时文件合并(merge)成一个磁盘文件，因此每个Task就只有一个磁盘文件。在下一个stage的shuffle read task拉取自己的数据时，只要根据索引读取每个磁盘文件中的部分数据即可。

  Spark与MapReduce Shuffle的异同

• 从整体功能上看，两者并没有大的差别。 都是将 mapper（Spark 里是 ShuffleMapTask）的输出进行partition，不同的 partition 送到不同的 reducer（Spark 里 reducer 可能是下一个 stage 里的ShuffleMapTask，也可能是 ResultTask）。Reducer 以内存作缓冲区，边 shuffle 边 aggregate 数据，等到数据 aggregate 好以后进行 reduce（Spark 里可能是后续的一系列操作）。
• 从流程的上看，两者差别不小。 Hadoop MapReduce 是 sort-based，进入 combine和 reduce的records 必须先 sort。这样的好处在于combine/reduce可以处理大规模的数据，因为其输入数据可以通过外排得到（mapper 对每段数据先做排序，reducer 的shuffle 对排好序的每段数据做归并）。以前 Spark 默认选择的是 hash-based，通常使用 HashMap 来对shuffle 来的数据进行合并，不会对数据进行提前排序。如果用户需要经过排序的数据，那么需要自己调用类似sortByKey的操作。在Spark 1.2之后，sort-based变为默认的Shuffle实现。
• 从流程实现角度来看，两者也有不少差别。 Hadoop MapReduce 将处理流程划分出明显的几个阶段：map, spill, merge, shuffle, sort, reduce等。每个阶段各司其职，可以按照过程式的编程思想来逐一实现每个阶段的功能。在Spark 中，没有这样功能明确的阶段，只有不同的 stage 和一系列的 transformation，所以 spill, merge,aggregate 等操作需要蕴含在 transformation中。

• HDFS的概念与架构
• 读写流程分析
• 使用场景与缺点

HDFS的概念与架构

HDFS采用的master/slave架构。一个HDFS集群通常由一个Active的NameNode和若干DataNode组成，为了避免NameNode单点问题，通常会做一个NameNode的standby作为备份。在整个hdfs涉及到许多的核心概念，下面做一个简单介绍：

• NameNode：
  NameNode是一个中心服务器，负责管理文件系统的名字空间以及客户端的访问，比如文件的打卡、关闭、重命名文件或者目录。它负责确定数据块到具体的存储节点的映射。在其同意调度下进行数据块的创建、删除、复制。
• DataNode: DataNode是HDFS的实际存储节点，负责管理它所在节点的存储；客户端的读写请求。并且定期上报心跳和块的存储位置。
• Block: HDFS上文件，从其内部看，一个文件其实是被分成一个或者多个数据块存储的，这些数据块存储在一组DataNode上。
• Edits: 在HDFS发起的创建、删除等操作其实是一个事物，事物在NameNode上以Edit对象存储在edits文件中，持久化在NameNode的本地磁盘上。
• FSimage: FSimage是NameNode的元数据存储快照，持久化在NameNode的本地磁盘上。

当NameNode重启的时候，NameNode从FSImage和Edits文件中读取数据，加载到内存中。

在HDFS体系来看，NameNode主要负责元数据的存储与操作，DataNode负责实际的存储。DataNode通常在一个机器上部署一个进程，这些机器分布式在多个机架上。整体架构如下图所示：

HDFS的读写流程

读流程分析

• 客户端打开文件，通过rpc的方式向NameNode获取文件块的存储位置信息，NameNode会将文件中的各个块的所有副本DataNode全部返回，这些DataNode会按照与客户端的位置的距离排序。如果客户端就是在DataNode上，客户端可以直接从本地读取文件，跳过网络IO，性能更高。
• 客户端调用read方法，存储了文件的前几个块的地址的DFSInputStream，就会连接存储了第一个块的最近的DataNode。然后通过DFSInputStream就通过重复调用read()方法，数据就从DataNode流动到客户端，当DataNode的最后一个块读取完成了，DFSInputSteam会关闭与DataNode的连接，然后寻找下一个快的最佳节点。这个过程读客户端来说透明的，在客户端那边来看们就像是只读取了一个连续不断的流。
• 块是按顺序读的，通过 DFSInputStream 在 datanode 上打开新的连接去作为客户端读取的流。他也将会通过namenode
  来获取下一批所需要的块所在的 datanode 的位置(注意刚才说的只是从 namenode 获取前几个块的)。当客户端完成了读取，就在FSDataInputStream 上调用 close() 方法结束整个流程。

在这个设计中一个重要的方面就是客户端直接从 DataNode 上检索数据，并通过 NameNode 指导来得到每一个块的最佳 DataNode。这种设计允许 HDFS 扩展大量的并发客户端，因为数据传输只是集群上的所有 DataNode 展开的。期间，NameNode 仅仅只需要服务于获取块位置的请求（块位置信息是存放在内存中，所以效率很高）。如果不这样设计，随着客户端数据量的增长，数据服务就会很快成为一个瓶颈。

写流程分析

• 通过Client向远程的NameNode发送RPC请求；
• 接收到请求后NameNode会首先判断对应的文件是否存在以及用户是否有对应的权限，成功则会为文件创建一个记录，否则会让客户端抛出异常；
• 当客户端开始写入文件的时候，开发库会将文件切分成多个packets，并在内部以”data
  queue”的形式管理这些packets，并向Namenode申请新的blocks，获取用来存储replicas的合适的datanodes列表，列表的大小根据在Namenode中对replication的设置而定。
• 开始以pipeline（管道）的形式将packet写入所有的replicas中。开发库把packet以流的方式写入第一个
  datanode，该datanode把该packet存储之后，再将其传递给在此pipeline中的下一个datanode，直到最后一个
  datanode， 这种写数据的方式呈流水线的形式。
• 最后一个datanode成功存储之后会返回一个ack packet，在pipeline里传递至客户端，在客户端的开发库内部维护着 “ack
  queue”，成功收到datanode返回的ack packet后会从”ack queue”移除相应的packet。
• 如果传输过程中，有某个datanode出现了故障，那么当前的pipeline会被关闭，出现故障的datanode会从当前的
  pipeline中移除，剩余的block会继续剩下的datanode中继续以pipeline的形式传输，同时Namenode会分配一个新的
  datanode，保持replicas设定的数量。

HDFS的使用场景和缺点

使用场景

hdfs的设计一次写入，多次读取，支持修改。

大文件，在hdfs中一个块通常是64M、128M、256M，小文件会占用更多的元数据存储，增加文件数据块的寻址时间。

延时高，批处理。

高容错，多副本。

缺点

延迟比较高，不适合低延迟高吞吐率的场景

不适合小文件，小文件会占用NameNode的大量元数据存储内存，并且增加寻址时间

支持并发写入，一个文件只能有一个写入者

不支持随机修改，仅支持append

Metron是一种多功能的安全遥测数据捕获、流分析和威胁响应平台，最早由Cisco公司的开源大数据系统安全框架项目OpenSOC迁移为Metron项目，现已晋升为Apache顶级项目。Metron提供的功能包括：日志的聚合、对网络包全面捕获的索引和存储、高级行为分析及数据浓缩，并可以将当前的威胁情报信息应用到安全遥测中。从概念上可划分为四个组件：数据捕获与摄取、实时数据处理、受保证的数据持久化和存储、用于驱动监控和风险报警服务的机器学习模型。

2.Metron架构及功能

3、安装Metron

1）基础环境及版本

       CentOS 7

       Metron 0.4.1

       HDP 2.5

Hosts:

192.168.11.90  node1

192.168.11.103 node2

192.168.11.104 node3

1)添加epel repository 并更新系统:

yum install epel-release -y
yum update -y

2）配置各节点间的免秘钥登录，具体参考：https://mp.csdn.net/postedit/81384217

3）在将要安装ES和Storm的节点上增加ElasticSearch和Storm的限制（若不确定安装节点，则在所有节点上增加限制）

echo -e "elasticsearch - memlock unlimited\nstorm - nproc 257597" >> /etc/security/limits.conf

4）调整限制以确保安全级别

ulimit -n 32768
ulimit -u 65536
echo -e "* - nofile 32768\n* - nproc 65536" >> /etc/security/limits.conf

5）禁用IPv6，启用它可能会强制服务仅绑定到IPv6地址，从而导致无法连接到IPv6

sysctl -w net.ipv6.conf.all.disable_ipv6=1
sysctl -w net.ipv6.conf.default.disable_ipv6=1
echo -e "\n# Disable IPv6\nnet.ipv6.conf.all.disable_ipv6 = 1\nnet.ipv6.conf.default.disable_ipv6 = 1" >> /etc/sysctl.conf

6）禁用Transparent Hugepage（Transparent HugePages是RHEL6的新特性）

在kernel配置文件（/etc/ default / grub）的末尾添加“transparent_hugepage = never”，并重新启动(reboot)。

# 修改行:
GRUB_CMDLINE_LINUX="crashkernel=auto rd.lvm.lv=cl/root rd.lvm.lv=cl/swap rhgb quiet"
# 为:
GRUB_CMDLINE_LINUX="crashkernel=auto rd.lvm.lv=cl/root rd.lvm.lv=cl/swap rhgb quiet transparent_hugepage=never"

之后，执行：

grub2-mkconfig -o /boot/grub2/grub.cfg

重启后检查是否已应用更改（确保在方括号中选择“never”字样）

cat /sys/kernel/mm/transparent_hugepage/enabled
always madvise [never]

备注：若不想搞乱内核参数，可以创建一个新的systemd服务，在每次启动时禁用它。方法如下：

          创建文件“/etc/systemd/system/disable-thp.service”：

[Unit]
Description=Disable Transparent Huge Pages (THP)
 
[Service]
Type=simple
ExecStart=/bin/sh -c "echo 'never' > /sys/kernel/mm/transparent_hugepage/enabled && echo 'never' > /sys/kernel/mm/transparent_hugepage/defrag"
 
[Install]
WantedBy=multi-user.target

       重新启动systemd，启动新服务并确保新服务在启动时运行：

# systemctl daemon-reload
# systemctl start disable-thp
# systemctl enable disable-thp

7）禁用SELinux（Ambari和Metron必需条件）：

setenforce 0
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

Metron安装准备

(1)在所有节点上安装Ambari的先决条件：

 
yum install git wget curl rpm tar unzip scp bzip2 wget createrepo yum-utils ntp python-pip psutils python-psutil ntp libffi-devel gcc openssl-devel -y
pip install --upgrade pip
pip install requests

备注：yum 安装 scp 报错：

原因：yum 不存在独立的scp 包，scp属于openssh-clients这个包。

解决方案：安装openssh-clients 即可

yum install openssh-clients

(2)在Metron节点上安装java 1.8（若不确定Metron安装节点，在所有节点上安装Java1.8）：

yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel -y

(3)设置Java环境变量：

export JAVA_HOME=$(readlink -f /usr/bin/java | sed "s_/jre/bin/java__")

(4)保存java环境变量，以备重启时使用：

echo 'export JAVA_HOME=$(readlink -f /usr/bin/java | sed "s_/jre/bin/java__")' > /etc/profile.d/java_18.sh
chmod +x /etc/profile.d/java_18.sh
source /etc/profile.d/java_18.sh

(5)下载并安装Maven 3.3.9:

wget https://archive.apache.org/dist/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz
tar -zxf apache-maven-3.3.9-bin.tar.gz
mv apache-maven-3.3.9 /opt
PATH=/opt/apache-maven-3.3.9/bin:$PATH
echo 'export PATH=/opt/apache-maven-3.3.9/bin:$PATH' > /etc/profile.d/maven.sh
chmod +x /etc/profile.d/maven.sh

(6)检查Maven是否安装成功：

source /etc/profile.d/maven.sh
mvn -V

若安装成功，执行结果如下：

# mvn -V
Apache Maven 3.3.9 (bb52d8502b132ec0a5a3f4c09453c07478323dc5; 2015-11-10T08:41:47-08:00)
Maven home: /opt/apache-maven-3.3.9
Java version: 1.8.0_131, vendor: Oracle Corporation
Java home: /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.131-3.b12.el7_3.x86_64/jre
Default locale: en_US, platform encoding: UTF-8
OS name: "linux", version: "3.10.0-514.16.1.el7.x86_64", arch: "amd64", family: "unix"
[INFO] Scanning for projects...
[INFO] ------------------------------------------------------------------------
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 0.083 s
[INFO] Finished at: 2017-06-06T09:59:03-07:00
[INFO] Final Memory: 13M/479M
[INFO] ------------------------------------------------------------------------
[ERROR] No goals have been specified for this build. You must specify a valid lifecycle phase or a goal in the format <plugin-prefix>:<goal> or <plugin-group-id>:<plugin-artifact-id>[:<plugin-version>]:<goal>. Available lifecycle phases are: validate, initialize, generate-sources, process-sources, generate-resources, process-resources, compile, process-classes, generate-test-sources, process-test-sources, generate-test-resources, process-test-resources, test-compile, process-test-classes, test, prepare-package, package, pre-integration-test, integration-test, post-integration-test, verify, install, deploy, pre-clean, clean, post-clean, pre-site, site, post-site, site-deploy. -> [Help 1]
[ERROR]
[ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.
[ERROR] Re-run Maven using the -X switch to enable full debug logging.
[ERROR]
[ERROR] For more information about the errors and possible solutions, please read the following articles:
[ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/NoGoalSpecifiedException

(7) 在Ambari节点上安装并启用docker(需要使用docker为Ambari创建Metron包)

yum install docker-io -y
systemctl start docker

(8)在打包节点上安装nmp，这是构建metron-config所必需的，它是UI的一部分。

yum install npm -y

(9)在 /etc/hosts文件中添加：

127.0.0.1 localhost

(10)在主节点上安装数据库，以备Metron REST使用：

yum install mariadb-server -y

(11) 在所有节点上安装JAVA MySQL连接器：

yum install mysql-connector-java -y

配置Metron REST数据库

安装数据库后运行”mysql_secure_installation”进行初始安全设置：

systemctl start mariadb
systemctl enable mariadb
systemctl status mariadb
mysql_secure_installation # 

打包 Metron code

1)从github上克隆Metron repo并切换到0.4.1版本：

git clone https://github.com/apache/metron
cd metron
git checkout Metron_0.4.1

2)使用HDP 2.5构建Metron：

cd metron
mvn clean package -DskipTests -T 2C -P HDP-2.5.0.0,mpack
cd metron-deployment/packaging/docker/rpm-docker
mvn clean install -DskipTests -PHDP-2.5.0.0

     备注：如果rpm-docker失败并报错如下：

/bin/bash：./build.sh：Permission denied

       请禁用selinux后重试 

3)在所有节点上，创建localrepo目录并从Ambari节点复制RPM：

 
mkdir /localrepo
cp -rp /root/metron/metron-deployment/packaging/docker/rpm-docker/RPMS/noarch/* /localrepo/
createrepo /localrepo

       备注：如果多节点安装，还要将软件包复制到其他节点：

ssh root@node2 mkdir /localrepo
scp /localrepo/*rpm root@node2:/localrepo/
ssh root@node2 createrepo /localrepo

4) 为Hadoop服务获取并创建logrotate脚本：

wget -O /etc/logrotate.d/metron-ambari https://raw.githubusercontent.com/apache/metron/master/metron-deployment/roles/ambari_common/templates/metron-hadoop-logrotate.yml
sed -i 's/^  .*$/  daily/' /etc/logrotate.d/metron-ambari
sed -i 's/^  rotate .*$/  rotate 30/' /etc/logrotate.d/metron-ambari
chmod 0644 /etc/logrotate.d/metron-ambari

安装Ambari

（1）首先，在每个节点上时间同步，禁用防火墙和SElinux

systemctl enable ntpd
systemctl start ntpd
iptables -P INPUT ACCEPT
iptables -P FORWARD ACCEPT
iptables -P OUTPUT ACCEPT
iptables -t nat -F
iptables -t mangle -F
iptables -F
iptables -X
iptables-save > /etc/sysconfig/iptables
systemctl stop firewalld
systemctl disable firewalld
setenforce 0

备注：如果使用的是CentOS 7和Python 2.7.5及更高版本，则在Ambari UI中安装ambari代理时会遇到错误：

[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:579)

解决办法：要修复它，请在Python中禁用cert检查

参考：https://community.hortonworks.com/questions/120861/ambari-agent-ssl-certificate-verify-failed-certifi.html

sed -i 's/verify=platform_default/verify=disable/' /etc/python/cert-verification.cfg

（2）确保每个节点都可以解析每个其他节点的主机名，即将每个节点的主机名添加到/etc/hosts

10.10.10.1 node1
10.10.10.2 node2
10.10.10.3 node3
10.10.10.4 node4

（3）在主节点下载和设置Ambari repo（可以用更新的Ambari版本号替换”2.4.3.0”）

wget -nv http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.4.3.0/ambari.repo -O /etc/yum.repos.d/ambari.repo

（4）检查是否添加成功：

yum repolist | grep ambari
# Updates-ambari-2.4.3.0   ambari-2.4.3.0 - Updates 

（5）制作本地yum源：

    a、首先下载包含必要软件的压缩包（tarball）到本地，以CentOS7，Ambari 2.4.3和HDP 2.5.0.0为例：

Ambari-2.4.3.0 压缩包地址：

http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.4.3.0/ambari-2.4.3.0-centos7.tar.gz

HDP-2.5.0.0压缩包地址：

http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.5.0.0/HDP-2.5.0.0-centos7-rpm.tar.gz

HDP UTILS压缩包下载地址：

http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7/HDP-UTILS-1.1.0.21-centos7.tar.gz

其他版本，下载地址请参考：

Ambari：

http://docs.hortonworks.com/HDPDocuments/Ambari-2.4.1.0/bk_ambari-installation/content/ambari_repositories.html

HDP和HDP UTILS：

http://docs.hortonworks.com/HDPDocuments/Ambari-2.4.1.0/bk_ambari-installation/content/hdp_stack_repositories.html

b、设置本地库，我们先需要完成一些准备工作，如下：

1. 选择一台机器作为本地库的镜像服务器，这个机器能够被集群中的机器所访问，且有一个被支持的操作系统。


2. 此台镜像服务器有软件包管理，例如centOS的yum。

c、在镜像服务器上安装一个HTTP服务（例如Apache httpd）

yum install httpd

     启动web 服务：

[root@master ~]# systemctl start httpd
[root@master ~]# systemctl enable httpd

 d、把下载到的3个资源文件，并解压到http服务（web服务）目录下：

# mkdir /var/www/html/ambari-hdp
# mkdir /var/www/html/ambari-hdp/HDP-UTILS
# tar -xvf ambari-2.4.1.0-centos7.tar.gz -C /var/www/html/ambari-hdp/
# tar -xvf HDP-2.5.0.0-centos7-rpm.tar.gz -C /var/www/html/ambari-hdp/
# tar -xvf HDP-UTILS-1.1.0.21-centos7.tar.gz -C /var/www/html/ambari-hdp/HDP-UTILS

e、 确认解压目录正常，在浏览器中确认是否可以访问，访问地址如下：

Ambari Base URL：http://172.16.16.183:82/ambari-hdp/centos7/

HDP Base URL：http://172.16.16.183:82/ambari-hdp/HDP/centos7/

HDP-UTILS Base URL：http://172.16.16.183:82/ambari-hdp/HDP-UTILS/

f、配置Yum本地Repos资源池（在每台node上）

安装插件：

yum install yum-plugin-priorities

 编辑/etc/yum/pluginconf.d/priorities.conf 文件添加如下配置:

[main]
enabled=1
gpgcheck=0

制作本地资源文件，创建Ambari、HDP、HDP-UTIL资源文件：

•   ambari.repo

[ambari-2.4.1.0]
name=ambari-2.4.1.0
baseurl=http://192.168.0.203/ambari-hdp/AMBARI-2.4.1.0/centos7/2.4.1.0-22/
gpgcheck=0
gpgkey=http://192.168.0.203/ambari-hdp/AMBARI-2.4.1.0/centos7/2.4.1.0-22/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

•   hdp.repo

[HDP-2.5.0.0]
name=Hortonworks Data Platform Version - HDP-2.5.0.0
baseurl=http://192.168.0.203/ambari-hdp/HDP/centos7
gpgcheck=0
gpgkey=http://192.168.0.203/ambari-hdp/HDP/centos7/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

•   hdp-util.repo

[HDP-UTILS-1.1.0.21]
name=Hortonworks Data Platform Version - HDP-UTILS-1.1.0.21
baseurl=http://192.168.0.203/ambari-hdp/HDP-UTILS/
gpgcheck=0
gpgkey=http://192.168.0.203/ambari-hdp/HDP-UTILS/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

   查看资源池：

  [root@master yum.repos.d]# yum repolist 
  repo id                                          repo name                                                                     status
  HDP-2.5                                          HDP-2.5                                                                        0+200
  HDP-2.5.0.0                                      Hortonworks Data Platform Version - HDP-2.5.0.0                                  200
  HDP-UTILS-1.1.0.21                               HDP-UTILS-1.1.0.21                                                                64
  ambari-2.4.1.0                                   ambari-2.4.1.0   

（5）安装和设置Ambari server：

yum install ambari-server -y

安装完成后创建ambari数据库及用户，登录root用户执行下面语句：

mysql> create database ambari character set utf8;
mysql> CREATE USER 'ambari'@'%' IDENTIFIED BY 'ambari';
mysql> GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';
mysql> FLUSH PRIVILEGES;

如果要安装Hive，再创建Hive数据库和用户 再执行下面的语句：

mysql> create database hive character set utf8;
mysql> CREATE USER 'hive'@'%' IDENTIFIED BY 'hive';
mysql> GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';
mysql> FLUSH PRIVILEGES;

如果要安装Oozie，再创建Oozie数据库和用户 再执行下面的语句：

mysql> create database oozie character set utf8;
mysql> CREATE USER 'oozie'@'%' IDENTIFIED BY 'oozie';
mysql> GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'%';
mysql> FLUSH PRIVILEGES; 

（6） 配置Ambari-Server

[root@node-1 ~]# ambari-server setup
Using python  /usr/bin/python
Setup ambari-server
Checking SELinux...
SELinux status is 'disabled'
Customize user account for ambari-server daemon [y/n] (n)? y
Enter user account for ambari-server daemon (root):ambari  
Adjusting ambari-server permissions and ownership...
Checking firewall status...
Checking JDK...
[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[2] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7
[3] Custom JDK
==============================================================================
Enter choice (1): 3
WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts.
WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts.
Path to JAVA_HOME: /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.161-0.b14.el7_4.x86_64/jre  # 填写java_home
Validating JDK on Ambari Server...done.
Checking GPL software agreement...
GPL License for LZO: https://www.gnu.org/licenses/old-licenses/gpl-2.0.en.html
Enable Ambari Server to download and install GPL Licensed LZO packages [y/n] (n)? n
Completing setup...
Configuring database...
Enter advanced database configuration [y/n] (n)? y  
Configuring database...
==============================================================================
Choose one of the following options:
[1] - PostgreSQL (Embedded)
[2] - Oracle
[3] - MySQL / MariaDB
[4] - PostgreSQL
[5] - Microsoft SQL Server (Tech Preview)
[6] - SQL Anywhere
[7] - BDB
==============================================================================
Enter choice (1): 3
Hostname (localhost): 
Port (3306): 
Database name (ambari): 
Username (ambari): 
Enter Database Password (bigdata): 
Configuring ambari database...
WARNING: Before starting Ambari Server, you must copy the MySQL JDBC driver JAR file to /usr/share/java and set property "server.jdbc.driver.path=[path/to/custom_jdbc_driver]" in ambari.properties.
Press <enter> to continue.

 到上面一步时，提示需要配置mysql的 jdbc驱动，并修改Ambari配置文件，指定jdbc驱动文件位置：

在安装Metron准备(11)步骤时我们安装了JAVA MySQL连接器其默认路径为（/usr/share/java/）,所以我们只需要在Ambari配置文件中添加jdbc驱动文件位置即可，即在编辑/etc/ambari-server/conf/ambari.properties添加如下配置：

server.jdbc.driver.path=/usr/share/java/mysql-connector-java.jar

 配置完成后继续，会出现如下提示：

Press <enter> to continue.
Configuring remote database connection properties...
WARNING: Before starting Ambari Server, you must run the following DDL against the database to create the schema: /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
Proceed with configuring remote database connection properties [y/n] (y)? 

 出现上述提示时，根据信息导入数据库：将Ambari数据库脚本导入到数据库。Ambari安装会将安装等信息写入数据库，建议使用自己安装的MySQL数据库，也可以不安装而使用默认数据库PostgreSQL。如果使用自己定义的数据库，必须在启动Ambari服务之前导入Ambari的sql脚本。

# mysql -uroot -p
mysql> use ambari;
mysql> source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql;

（6）通过运行mpack命令将Metron服务添加到Ambari（确保在–mpack =中指定正确的mpack路径）：

ambari-server install-mpack --mpack=/root/metron/metron-deployment/packaging/ambari/metron-mpack/target/metron_mpack-0.4.1.0.tar.gz --verbose

 （7）启动Ambari服务

ambari-server start

（8）服务启动成功后，会监听8080端口，通过在Web浏览器中访问Ambari UI：http://<Ambari_server_ip>:8080/，账号密码admin/admin正常登录，则安装完成。结果如下图所示（图片来自网络，仅供参考）：

（9）创建集群

使用ambari的web界面可完成对集群的所有管理操作，创建一个实例集群。

 选择本地源，移除不必要的版本：

 设置本地源为以上步骤中制作的本地源：

Base URL：ambari ：http://172.16.16.183:82/ambari-hdp/ambari/centos7/

                     HDP ：http://172.16.16.183:82/ambari-hdp/HDP/centos7/

                    HDP-UTILS：http://172.16.16.183:82/ambari-hdp/HDP-UTILS/

及Metron 源采用本地源：file:////localrepo/repodata

添加主机节点，上传（Ambari server 节点的）id_rsa文件：

（9）安装Ambari agent，组建集群，如下图所示（由于在安装过程中不仅需要从本地HDP及Metron配置的源中下载文件还需要联网下载文件所以需要时间较长，且有时会因为网络超时导致安装失败，可能需要多次重试，请周知）：

 在安装过程中，ambari注册主机的时候，ambari-agent出现如下错误：

NetUtil.py:96 - EOF occurred in violation of protocol (_ssl.c:579)
NetUtil.py:97 - SSLError: Failed to connect. Please check openssl library versions.

有两种可能：

第一是有可能如前面所提到的使用的是centos7、python 2.7.5及以上版本的python 会在安装Ambari agent时报错：

[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:579)

解决办法是：要解决此问题，即在此处禁用Python中的证书检查

 
sed -i 's/verify=platform_default/verify=disable/' /etc/python/cert-verification.cfg

第二是Ambari agent安全验证引起的；

解决方案 在ambari-agent的配置文件ambari-agent.ini 在 ［security］增加一项

[security] 
force_https_protocol=PROTOCOL_TLSv1_2

2.如出现bootstrap、stack-recommendations 目录找不到的错误：

解决方案：

进入/var/run/ambari-server,手动创建bootstrap文件夹，并对其添加owner为ambari：

chown ambari bootstrap

然后重启Ambari server

ambari-server restart

安装成功后，会显示如下界面：


（9）使用Ambari安装其他组件

        a.首先，输入集群任意集群名称；

        b.选择版本：确保选中”Public Repository”。您还应该看到列出的/localrepo目录。

       c.设置安装选项：在”Target Hosts”中指定安装Ambari集群的节点的主机名（/ etc / hosts中指定的所有节点）。在”Host Registration Information”中复制主节点私钥（/root/.ssh/id_rsa）的内容。如果收到警告”以下主机名无效FQDN”，请忽略它并单击”确定”。

       d.选择服务：选择以下服务：

HDFS
YARN + MapReduce2
Tez
HBase
Pig
Zookeeper
Storm
Flume
Ambari Metrics
Kafka
Elasticsearch
Kibana
Metron
Slider
OpenTAXII
Pycapa
Zeppelin Notebook
Hive

      e.分配Masters:在所有节点上分配”Kafka Broker”，确保在一个公共节点上安装以下组件：

Storm UI Server
Metron Indexing
MySQL Server
Kibana Server
Elasticsearch Master
Metron Parsers
Metron Enrichment

      f. 分配Slaves和Clients：

DataNode
NodeManager
RegionServer
Supervisor
Client

      g.自定义服务：以下是需要配置的服务列表：

(1)在HDFS - > Configs下将”NameNode Java堆大小”（namenode_heapsize）从默认的1024 MB设置为至少4096 MB。

(2)对于ElasticSearch：

将”zen_discovery_ping_unicast_hosts”设置为在Assign Master选项卡上分配ElasticSearch Master的节点的IP。

在”Advanced elastic-site”下：将”network_host”更改为”0.0.0.0”。如果Metron暴露在公共互联网上，请不要这样做！现在是“[local，_ site_]”。

(3)对于Kibana：

将”kibana_es_url”设置为http:// <elasticsearch_master_hostname>:9200。elasticsearch_master_hostname是” Assign Master ”选项卡上分配ElasticSearch Master的节点的IP。

将”kibana_default_application”更改为”dashboard / Metron-Dashboard”

(4)对于Metron：将”Elasticsearch Hosts”设置为在Assign Master选项卡上分配ElasticSearch Master的节点的IP。

(5)对于Storm：将”supervisor.slots.ports”的数量从默认的[6700,6701]增加到[6700,6701,6702,6703,6704]如果只安装一个节点。

(6)对于metron REST使用：

           Metron JDBC客户端路径：/usr/share/java/mysql-connector-java.jar

           Metron JDBC驱动程序：com.mysql.jdbc.Driver

           Metron JDBC密码：<DB PASSWORD>

           Metron JDBC平台：mysql

           Metron JDBC URL：jdbc：mysql：//127.0.0.1：3306 / <DB NAME>

           Metron JDBC用户名：<DB USERNAME>

(7)将其余配置值设置为Ambari推荐的或您想要的配置值（如DB密码）并执行安装。在只有3个节点，集群安装如下：

node1	node2	node3
DataNode	DataNode	DataNode
Elasticsearch Master	App Timeline Server	Elasticsearch Data Node
Grafana	Kafka Broker	Metrics Monitor
HBase Client	DRPC Server	Flume
HBase Master	HBase Client	HBase Client
HCat Client	HCat Client	HCat Client
HDFS Client	HDFS Client	HDFS Client
Hive Client	Hive Client	Hive Client
Kafka Broker	History Server	Kafka Broker
Kibana Server	Hive Metastore	MapReduce2 Client
MapReduce2 Client	HiveServer2	Metrics Collector
Metrics Monitor	MapReduce2 Client	Metron Client
Metron Client	Metrics Monitor	NodeManager
Metron Enrichment	Metron Client	Pig Client
Metron Indexing	MySQL Server	Slider Client
Metron Parsers	Nimbus	Spark Client
Metron REST	NodeManager	Supervisor
NameNode	Pig Client	Tez Client
NodeManager	ResourceManager	YARN Client
Pig Client	NameNode	ZooKeeper Client
RegionServer	RegionServer	RegionServer
Slider Client	Slider Client	ZooKeeper Server
Spark Client	Spark Client
Spark History Server	Supervisor
Storm UI Server	Tez Client
Supervisor	WebHCat Server
Tez Client	YARN Client
YARN Client	ZooKeeper Client
Zeppelin Notebook	ZooKeeper Server
ZooKeeper Client
ZooKeeper Server

 配置Metron REST，Metron REST可能无法工作，因为我们仍然需要将用户和数据库添加到MariaDB。此时，请确保所有服务都已启动，需要手动启动一些。

在MySQL中为Metron REST配置用户。在安装Metron REST UI的节点上，执行以下操作：

# mysql -u root -p
CREATE USER '<DB USERNAME>'@'localhost' IDENTIFIED BY '<DB PASSWORD>';
CREATE DATABASE IF NOT EXISTS <DB NAME>;
GRANT ALL PRIVILEGES ON <DB NAME>.* TO '<DB USERNAME>'@'localhost';

例如：

# mysql -u root -p
> CREATE USER 'metron'@'localhost' IDENTIFIED BY 'metron';
> CREATE DATABASE IF NOT EXISTS metronrest;
> GRANT ALL PRIVILEGES ON metronrest.* TO 'metron'@'localhost';
> quit
Bye
# 

在metron REST服务运行之前，我们需要做最后一步。 由于Centos 7中的systemd，服务metron-rest start <PASSWORD>不再有效。因此，必须编辑配置文件”/etc/rc.d/init.d/metron-rest”。 在此文件中，将METRON_JDBC_PASSWORD =”$2”更改为METRON_JDBC_PASSWORD =”<DB PASSWORD>”并通过Ambari界面重新启动metron-rest服务。

配置以下项时，请确保已启动Metron REST UI。

将Metron REST用户名和密码添加到metronrest数据库：

# mysql -u <DB USERNAME> -p
> use <DB NAME>;
> insert into users (username, password, enabled) values ('<USERNAME>','<PASSWORD>',1);
> insert into authorities (username, authority) values ('<USERNAME>', 'ROLE_USER');
> quit
Bye
#

例如：

# mysql -u metron -p
> use metronrest;
> insert into users (username, password, enabled) values ('metron','metron',1);
> insert into authorities (username, authority) values ('metron', 'ROLE_USER');
> quit
Bye
#

确保所有服务都已启动。

Quick Start

Create a new post

1

$ hexo new "My New Post"

More info: Writing

Run server

1

$ hexo server

More info: Server

Generate static files

1

$ hexo generate

More info: Generating

Deploy to remote sites

1

$ hexo deploy

More info: Deployment