�gӭ���R�ЈD�W(w��ng) Ո(q��ng) | ע��(c��)

���] ��(xi��)�o��æ�˵�Hadoop 2

�����磺��ӹ��I(y��)����������r(sh��)�g��2016-06-01
�_(k��i)���� 32�_(k��i) �(y��)��(sh��)�� 288
�� �D �r(ji��):¥39.0(5.7��) ���r(ji��)  ¥69.0 ��䛺�ɿ�����(hu��)�T�r(ji��)
����ُ(g��u)��܇ �ղ�
�_(k��i)������ ȫ��(ch��ng)���]
?�½������س���
������Ǖ�(sh��)����>

��(xi��)�o��æ�˵�Hadoop 2 ���(qu��n)��Ϣ

��(xi��)�o��æ�˵�Hadoop 2 ����(sh��)��ɫ

����(sh��)���Ƚ�B��hadoop�ı���֪�R(sh��)������hadoop 2��yarn�Ĺ���ԭ���͌�(du��)hadoop 1�ĸ��M(j��n)��Ȼ�󌢔�(sh��)��(j��)���c���y(t��ng)�惦(ch��)���^����2�µ���8�����քe��B��hadoop 2�ͺ��ķ���(w��)�İ��b������hadoop�ֲ�ʽ�ļ�ϵ�y(t��ng)��mapreduce��yarn�������Լ�����apache pig��hadoop���ߺ�(ji��n)��������*������v��������apache ambari�ȹ��߹���hadoop�ͻ����Ĺ�����������䛰���hadoop 2�����\����ų��Ļ��A(ch��)֪�R(sh��)��apache hue��apache spark���b��������(sh��)ͨ���׶������д���������(sh��)���������������m��hadoop�Ñ�������T���_(k��i)�l(f��)���\(y��n)�S�ˆT������T���ܘ�(g��u)�����������͔�(sh��)��(j��)�ƌW(xu��)��������x��

��(xi��)�o��æ�˵�Hadoop 2 ��(n��i)�ݺ�(ji��n)��

����hadoop 2��yarn�Ĺ���ԭ�����Լ�������(du��)���mapreduce��hadoop��1��ĸ��M(j��n)���������hadoop�Ĕ�(sh��)��(j��)����rdbms��(sh��)��(j��)�}(c��ng)��(k��)�ı��^����linux�C(j��)����̓�M��ɳ���Ⱥ�а��bhadoop 2�ͺ��ķ���(w��)���о�hadoop�ֲ�ʽ�ļ�ϵ�y(t��ng)��hdfs��������mapreduce��yarn���̵Ļ��A(ch��)������apache pig��hive��sqoop��flume��oozie��hbase��(ji��n)���������^�쑪(y��ng)�ó����\(y��n)���M(j��n)�ȡ��������I(y��)��������������������apache ambari��Ч�ع���hadoop������������hdfs��nfsv3�ľW(w��ng)�P(gu��n)������hdfs���ռ�����yarn�Ĺ������W(xu��)��(x��)hadoop 2�����\����ų��Ļ��A(ch��)֪�R(sh��)���Լ��W(xu��)��(x��)���bapache hue��apache spark�� 

��(xi��)�o��æ�˵�Hadoop 2 Ŀ�

1�����͸��� 1���xapache hadoop 1apache hadoop�İl(f��)չ��(ji��n)ʷ 3��(sh��)��(j��)�Ķ��x 4hadoop���锵(sh��)��(j��)�� 5ʹ��hadoop:����T���Ñ���ɷN���ݼ�� 7ԭʼ��mapreduce 7apache hadoop���O(sh��)Ӌ(j��)ԭ�t 8apache hadoop mapreduceʾ�� 8mapreduce�ă�(y��u)��(sh��) 10apache hadoop v1 mapreduce���� 11ʹ��hadoop v2 ��Խmapreduce 13hadoop v2 yarn�����O(sh��)Ӌ(j��) 14apache hadoop�(xi��ng)Ŀ���B(t��i)ϵ�y(t��ng) 16���Y(ji��)���a(b��)���Y�� 182���b���� 21����hadoop����(w��) 21hadoop�����ļ� 22Ҏ(gu��)������YԴ 23Ӳ�����x�� 23ܛ���x�� 24���_(t��i)ʽ�C(j��)��Pӛ����X�ϰ��b 25���bhortonworks hdp 2.2ɳ�� 25��apacheԴ���a���bhadoop 32���Æι�(ji��)�c(di��n)yarn����(w��)���IJ��E 33�\(y��n)�к�(ji��n)�ε�mapreduceʾ�� 42���b apache pig�����x�� 42���bapache hive�����x�� 43ʹ��ambari���bhadoop 44��(zh��)��ambari���b 45����ambari���b 59ʹ��apache whirr�����а��bhadoop 59���Y(ji��)���a(b��)���Y�� 653hdfs���A(ch��)֪�R(sh��) 67hdfs�O(sh��)Ӌ(j��)�����c(di��n) 67hdfs�M�� 68hdfs�K��(f��)�� 71hdfs��ȫģʽ 72�C(j��)�ܵ��R(sh��)�e 73namenode�߿����� 73hdfs namenode“(li��n)�� 75hdfs�z���c(di��n)�͂�� 76hdfs���� 76hdfs nfs�W(w��ng)�P(gu��n) 76hdfs�Ñ����� 77��(ji��n)Ҫhdfs����� 77һ��hdfs���� 78�г�hdfs�е��ļ� 79��hdfs�Є�(chu��ng)��һ��(g��)Ŀ� 80���ļ���(f��)�Ƶ�hdfs 80��hdfs��(f��)���ļ� 81��hdfs�Џ�(f��)���ļ� 81�h����hdfs�е��ļ� 81�h����hdfs�е�Ŀ� 81�@ȡhdfs��B(t��i)��(b��o)�� 81hdfs��web�D���Ñ����� 82�ڳ�����ʹ��hdfs 82hdfs java��(y��ng)�ó���ʾ�� 82hdfs c��(y��ng)�ó���ʾ�� 86���Y(ji��)���a(b��)���Y�� 884�\(y��n)��ʾ������ͻ���(zh��n)�y(c��)ԇ���� 91�г����õ�ʾ�� 92�\(y��n)��piʾ�� 93ʹ��web����O(ji��n)��ʾ�� 95�\(y��n)�л���hadoop����(zh��n)�y(c��)ԇ���� 101�\(y��n)��terasort�y(c��)ԇ 101�\(y��n)��testdfsio����(zh��n) 102����hadoop mapreduce���I(y��) 103���Y(ji��)���a(b��)���Y�� 1045hadoop mapreduce��� 107mapreduceģ�� 107mapreduce���Д�(sh��)��(j��)�� 110���e(cu��)���Ɯy(c��)��(zh��)�� 114�Ɯy(c��)��(zh��)�� 114hadoop mapreduceӲ�� 115���Y(ji��)���a(b��)���Y�� 1156mapreduce 117���g���\(y��n)��hadoop wordcount��ʾ�� 117ʹ����ʽ�ӿ� 122ʹ�ùܵ��ӿ� 125���g���\(y��n)��hadoop grep�?zh��n)��?nbsp;127�{(di��o)ԇmapreduce 131���I(y��)�����e������͠�B(t��i)��ԃ 131hadoop��־���� 131����yarn��־�ۺ� 132web������־�鿴 133��������־�鿴 133���Y(ji��)�͸����YԴ 1357������hadoop���� 137ʹ��apache pig 137pigʾ���ݾ� 138ʹ��apache hive 140hiveʾ���ݾ� 140���߼�(j��)��hiveʾ�� 142ʹ��apache sqoop�@ȡ�P(gu��n)ϵ�͔�(sh��)��(j��) 145apache sqoop��(d��o)��͌�(d��o)������ 145apache sqoop�汾���� 147sqoopʾ���ݾ� 148ʹ��apache flume�@ȡ��(sh��)��(j��)�� 155flume��ʾ���ݾ� 157ʹ��apache oozie���� hadoop������ 160oozieʾ���ݾ� 162ʹ��apache hbase 170hbase��(sh��)��(j��)ģ�͸��� 170hbaseʾ���ݾ� 171���Y(ji��)���a(b��)���Y�� 1768hadoop yarn��(y��ng)�ó��� 179yarn�ֲ�ʽshell 179ʹ��yarn�ֲ�ʽshell 180һ��(g��)��(ji��n)�ε�ʾ�� 181ʹ�ø�������� 182����shell����(sh��)�ķֲ�ʽ shell ʾ�� 183yarn��(y��ng)�ó���ĽY(ji��)��(g��u) 185yarn��(y��ng)�ó����� 187hadoop mapreduce 188apache tez 188apache giraph 189hoya: hbase on yarn 189dryad on yarn 189apache spark 189apache storm 190apache reef:�ɳ��m(x��)Ӌ(j��)���(zh��)�п�� 190hamster:hadoop��mpi��ͬһ��Ⱥ 190apache flink:�ɔU(ku��)չ����̎������ʽ��(sh��)��(j��)̎�� 191apache slider����(d��ng)�B(t��i)��(y��ng)�ó������ 191���Y(ji��)���a(b��)���Y�� 1929��apache ambari����hadoop 193���ٞg�[ apache ambari 194�x����ҕ�D 194����(w��)ҕ�D 197���C(j��)ҕ�D 199����ҕ�D 201�鿴ҕ�D 201admin�����ˆ� 202����hadoop���� 206���Y(ji��)���a(b��)���Y�� 21210������hadoop�������� 213������hadoop yarn���� 214ͣ��yarn��(ji��)�c(di��n) 214yarn webproxy 214ʹ�� jobhistoryserver 215����yarn���I(y��) 215�O(sh��)��������(n��i)�� 215�O(sh��)���������� 216�O(sh��)��mapreduce���� 216������hdfs���� 217namenode�Ñ����� 217���Ñ����ӵ�hdfs 219��hdfs�ψ�(zh��)��fsck 220ƽ��hdfs 221hdfs��ȫģʽ 222ͣ��hdfs��(ji��)�c(di��n) 222secondarynamenode 223hdfs���� 223���õ�hdfs��nfsv3�W(w��ng)�P(gu��n) 225�����{(di��o)�ȳ��򱳾�֪�R(sh��) 229hadoop 2��mapreduce������ 231���Ñ�(y��ng)�����س�������†���(d��ng)���� 231Ӌ(j��)��һ��(g��)��(ji��)�c(di��n)�ij��d���� 232�\(y��n)��hadoop 1�đ�(y��ng)�ó��� 233���Y(ji��)���a(b��)���Y�� 235���a����(sh��)�ľW(w��ng)�(y��)�ʹ��a���d 237���b���T���̈D�͹����ų�ָ�� 239���T���̈D 239��Ҋ(ji��n)��hadoop�����ų�ָ�� 239Ҏ(gu��)�t1:��Ҫ�@�� 239Ҏ(gu��)�t2�����b��ʹ��ambari 244Ҏ(gu��)�t3���z����־ 244Ҏ(gu��)�t4����(ji��n)����r 245Ҏ(gu��)�t5���ڻ�“(li��n)�W(w��ng)���ᆖ(w��n) 245�������õ���ʾ 246���c�����}�г���apache hadoop�YԴ�R�� 253��Ҏ(gu��)��hadoop ��Ϣ 253hadoop���b���� 253hdfs 254ʾ�� 255mapreduce 255mapreduce ���� 255�������� 256yarn��(y��ng)�ó����� 257ambari���� 257������hadoop ���� 257���d���bhue hadoop gui 259hue���b 259���b������hue 262����(d��ng)hue 263hue�Ñ����� 263���e���bapache spark 267�ڼ�Ⱥ�ϰ��bspark 267������(g��)��Ⱥ�І���(d��ng)spark 268�ڂηֲ�ʽ�Ćι�(ji��)�c(di��n)���b�汾�а��b�͆���(d��ng)spark 270�\(y��n)��sparkʾ�� 271
չ�_(k��i)ȫ��

��(xi��)�o��æ�˵�Hadoop 2 ���ߺ�(ji��n)��

Douglas Eadline����ʿ������һ��(g��)Linux ��ȺHPC �������`���ߺ�ӛ����_(k��i)ʼ����š�I(y��)���ģ����F(xi��n)������ӛ䛴�(sh��)��(j��)���������_(k��i)ʼ��һ�ݲ����ęn�ԁ�(l��i)������(xi��)�˔�(sh��)��ƪ��������Ƥ��(sh��)���Լ��f(shu��)���ęn�����w������Ӌ(j��)�㣨HPC���Ď׺����з��档��2005�ꆢ��(d��ng)�;�݋�H�ܚgӭ��ClusterMonkey.net �W(w��ng)վ֮ǰ������(d��n)��ClusterWorld �s־��������������Linux �s־��HPC �Y�݋���������������ж෽���HPC ��(sh��)�H������(j��ng)�(y��n)������Ӳ����ܛ���O(sh��)Ӌ(j��)������(zh��n)�y(c��)ԇ���惦(ch��)��GPU����Ӌ(j��)��Ͳ���Ӌ(j��)������������Ŀǰ�� ����һ�����Һ� HPC �ИI(y��)�(w��n)�� ������Limulus ��(g��)�˼�Ⱥ�(xi��ng)Ŀ�������I(l��ng)��(d��o)������Addison-Wesley �����HadoopFundamentals LiveLessons ��Apache Hadoop YARN Fundamentals LiveLessons �̌W(xu��)ҕ�l�����ߺ�Apache Hadoop™ YARN: Moving beyond MapReduce and Batch Processing withApache Hadoop™ 2 һ��(sh��)�ĺ����ߡ�

���o(w��)�u(p��ng)Փ����
��(sh��)�����]
����N
����픲�
�ЈD�W(w��ng)
�ھ��ͷ�