Membuat Direktori dalam HDFS dan Salin Fail (Hadoop)

HDFS adalah Hadoop diedarkan sistem fail. Ini adalah sistem penyimpanan yang diedarkan untuk set data besar yang menyokong toleransi kesalahan, throughput tinggi, dan skalabiliti. Ia berfungsi dengan membahagikan data ke dalam blok yang direplikasi merentasi pelbagai mesin dalam kumpulan. Blok boleh ditulis atau dibaca dari selari, memudahkan throughput tinggi dan toleransi kesalahan. HDFS memberikan redundansi seperti serbuan dengan failover automatik. HDFS juga menyokong mampatan, replikasi, dan penyulitan.

Kes penggunaan yang paling biasa untuk HDFS adalah menyimpan koleksi data yang besar seperti fail imej dan video, log, data sensor, dan sebagainya.

Membuat struktur direktori dengan HDFS

Utiliti baris perintah "HDFS" boleh didapati di bawah $ Hadoop_home/bin direktori. Dengan mengandaikan bahawa direktori Hadoop Bin sudah dimasukkan Jalan pembolehubah persekitaran. Sekarang log masuk sebagai pengguna Hadoop dan ikuti arahan.

1. Buat a /data Direktori dalam sistem fail HDFS. Saya bersedia menggunakan direktori ini untuk mengandungi semua data aplikasi.

   HDFS DFS -MKDIR /Data  

2. Mewujudkan direktori lain /var/log, yang akan mengandungi semua fail log. Oleh kerana direktori /var juga tidak wujud, gunakan -p untuk membuat direktori induk juga.

   HDFS DFS -MKDIR -P /VAR /LOG  

3. Anda juga boleh menggunakan pembolehubah semasa penciptaan direktori. Contohnya, membuat direktori dengan nama yang sama dengan pengguna yang sedang dilog masuk. Direktori ini boleh digunakan untuk mengandungi data pengguna.

   HDFS DFS -MKDIR -P /USERS /$ USER  

Menukar Kebenaran Fail dengan HDFS

Anda juga boleh menukar pemilikan fail serta kebenaran dalam sistem fail HDFS.

• Untuk menukar pemilik fail dan pemilik kumpulan gunakan -Chown Pilihan baris arahan:

  HDFS DFS -CHOWN -R $ HADOOP_USER: $ Hadoop_USER /USERS /HADOOP  

• Untuk menukar kebenaran fail gunakan -chmod Pilihan baris arahan.

  HDFS DFS -CHMOD -R 775 /USER /HADOOP 

Menyalin fail ke HDFS

The HDFS perintah menyediakan -Dapatkan dan -letak Parameter untuk menyalin fail ke/dari sistem fail HDFS.

• Sebagai contoh, untuk menyalin satu fail dari sistem fail tempatan ke HDFS:

  hdfs dfs -put ~/testfile.txt/var/log/  

• Salin pelbagai fail seperti pokok direktori menggunakan watak Wildcard.

  hdfs dfs -put ~/log/*/var/log/  

Penyenaraian fail dalam HDFS

Semasa bekerja dengan cluster Hadoop, anda boleh melihat fail di bawah sistem fail HDFS melalui baris arahan serta GUI.

• Menggunakan -ls Pilihan dengan HDFS untuk menyenaraikan fail dalam sistem fail HDFS. Contohnya untuk menyenaraikan semua fail pada penggunaan direktori root:

  HDFS DFS -LS /  

• Perintah yang sama boleh digunakan untuk menyenaraikan fail dari subdirektori juga.

  HDFS DFS -LS /USERS /HADOOP  

  Anda harus mendapatkan output berikut:

  Senaraikan fail dalam HDFS

• Daripada baris arahan, Hadoop juga menyediakan penjelajah grafik untuk melihat, memuat turun dan memuat naik fail dengan mudah. Semak imbas sistem fail HDFS pada port namenode pada url berikut:

  http: // localhost: 9870/explorer.html

  Semak imbas fail dalam HDFS

Kesimpulan

HDFS juga menyokong pelbagai aplikasi lain seperti MapReduce Jobs yang memproses jumlah data yang besar serta pengesahan pengguna dan mekanisme kawalan akses. HDFS juga boleh digabungkan dengan sistem fail yang diedarkan lain seperti S3 dan Swift untuk membuat penyelesaian awan hibrid yang menggabungkan ketersediaan tinggi dan latensi rendah dengan penyimpanan kos rendah.

Dalam artikel ini, anda telah belajar tentang mewujudkan struktur direktori dalam sistem fail HDFS, mengubah kebenaran, dan menyalin dan menyenaraikan fail dengan HDFS.