Cài đặt Hadoop Single Node

CÁC BƯỚC CÀI ĐẶT HADOOP ECOSYSTEM

Bước 1: apt update

Bước 2: apt install default-jdk

Bước 3: apt-get install ssh

Bước 4: # vim /etc/ssh/sshd_config

• Tìm đoạn # PubkeyAuthentication yes. Bỏ dấu # phía trước thành

...

PubkeyAuthentication yes

Bước 6: Giải nén file

# tar -xzf hadoop-3.3.6.tar

Bước 7: # vim ~/hadoop/etc/hadoop/hadoop-env

• Tìm đoạn export JAVA_HOME=... sửa thành như sau:

# export JAVA_HOME=/usr/lib/jvm/java-1.11-openjdk-amd

Bước 8: # mkdir input

# cp hadoop/etc/hadoop/*.xml input

Bước 9: # hadoop/bin/hadoop jar

hadoop/share/hadoop/mapreduce/hadoopmapreduce-examples-3.3.4

grep input output 'dfs[a-z.]+' và cat output/*

Bước 12: Cấu hình file core-site

$ vim ~/hadoop/etc/hadoop/core-site

<configuration>

<property>

<name>fs</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>

Bước 13: Cấu hình file hdfs-site

<configuration>

<property>

<name>dfs</name>

<value>1</value>

</property>

</configuration>

Bước 14: Format hệ thống (chạy 1 lần duy nhất)

$ hadoop/bin/hdfs namenode -format

Bước 18: Kiểm tra các node còn hoạt động

$ ~/hadoop/bin/hdfs dfsadmin -report

Bước 19: Chạy lại ví dụ trên, tạo thư mục trong HDFS để thực thi tác

vụ MapReduce

$ ~/hadoop/bin/hdfs dfs -mkdir /user

$ ~/hadoop/bin/hdfs dfs -mkdir /user/hadoophungkhanh

$ ~/hadoop/bin/hdfs dfs -mkdir /user/hadoophungkhanh/input

Bước 20: Copy các file .xml vào hệ thống file phân tán

$ ~/hadoop/bin/hdfs dfs -put

hadoop/etc/hadoop/*.xml/user/hadoopminhchau/input

Bước 21: Hiển thị kết quả phù hợp với biểu thức chính quy

$ ~/hadoop/bin/hadoop jar

hadoop/share/hadoop/mapreduce/hadoopmapreduce-examples-3.3.4

grep input output ‘dfs[a-z.]+’

Bước 26: Soucre file .bashrc

# source ~/

Bước 27: Cấu hình file mapred-site

$ vim hadoop/etc/hadoop/mapred-site

<configuration>

<property>

<name>mapreduce.framework</name>

<value>yarn</value>

</property>

<property>

<name>mapreduce.application</name>

<value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOO

P_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>

</property>

</configuration>

Bước 28: Cấu hình file yarn-site

<configuration>

<property>

<name>yarn.nodemanager-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager-whitelist</name>

<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HA

DOO

P_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HA

DOOP_MAPRED_HOME</value>

</property>

</configuration>

Bước 32: Copy các file .xml vào hệ thống file phân tán

$ ~/hadoop/bin/hdfs dfs -put hadoop/etc/hadoop/*.xml

/user/hadoopminhchau/input

Bước 33: Hiển thị kết quả phù hợp với biểu thức chính quy

$ ~/hadoop/bin/hadoop jar

hadoop/share/hadoop/mapreduce/hadoopmapreduce-examples-3.3.4

grep input output ‘dfs[a-z.]+’

Bước 35: Copy kết quả từ hệ thống file phân tán ra thư mục bên

ngoài

$ ~/hadoop/bin/hdfs dfs -get output/ output

$ cat output/*

Khi muốn dừng các daemon thì chạy lệnh sau

$ hadoop/sbin/stop-dfs

$ hadoop/sbin/stop-yarn