Gagal untuk menemukan winutils biner di hadoop biner jalan

Solusi Sederhana: Men-Download dari di sini dan menambah $HADOOP_HOME/bin

(Sumber)

PEMBARUAN PENTING:

Untuk hadoop-2.6.0 anda dapat men-download binari dari Titus Barik blog >>.

Saya tidak hanya dibutuhkan untuk titik HADOOP_HOME untuk diekstrak direktori [path], tetapi juga menyediakan sistem properti -Djava.perpustakaan.path=[path]\bin untuk memuat asli libs (dll).

Jika kita langsung mengambil biner distribusi Apache Hadoop 2.2.0 rilis dan mencoba untuk berjalan pada Microsoft Windows, kemudian kita'll mengalami KESALAHAN util.Shell: Gagal untuk menemukan winutils biner di hadoop biner jalan.

Biner distribusi Apache Hadoop 2.2.0 rilis tidak mengandung beberapa windows asli komponen (seperti winutils.exe, hadoop.dll dll). Ini yang diperlukan (tidak opsional) untuk menjalankan Hadoop pada Windows.

Jadi, anda perlu untuk membangun windows asli biner distribusi hadoop dari kode sumber berikut "MEMBANGUN.txt" file yang terletak di dalam sumber distribusi hadoop. Anda dapat mengikuti posting berikut untuk panduan langkah demi langkah dengan screen shot

Membangun, Menginstal, Mengkonfigurasi dan Menjalankan Apache Hadoop 2.2.0 di Microsoft Windows OS

KESALAHAN util.Shell: Gagal untuk menemukan winutils biner di hadoop binary path

Jika anda menghadapi masalah ini ketika menjalankan self-contained aplikasi lokal dengan Percikan (yaitu, setelah menambahkan spark-assembly-x.x.x-hadoopx.x.x.jar atau Maven ketergantungan kepada proyek), sebuah solusi sederhana yang akan dimasukkan winutils.exe (diunduh dari sini) di "C:\winutil\bin". Kemudian anda dapat menambahkan winutils.exe untuk hadoop direktori home dengan menambahkan baris berikut ke kode:

System.setProperty("hadoop.home.dir", "c:\\\winutil\\\")

Sumber: Klik di sini

Pernyataan jawa.io.IOException: tidak Dapat menemukan eksekusi null\bin\winutils.exe

menjelaskan bahwa null diterima ketika memperluas atau mengganti Variabel Lingkungan. Jika anda melihat Sumber Shell.Java secara Umum Paket yang anda akan menemukan bahwa HADOOP_HOME variabel tidak mendapatkan set dan anda menerima null di tempat itu dan karenanya kesalahan.

Jadi, HADOOP_HOME harus ditetapkan untuk ini benar atau variabel hadoop.rumah.dir properti.

Semoga ini bisa membantu.

Terima kasih, Kamleshwar.

Aku hanya berlari ke dalam masalah ini saat bekerja dengan Eclipse. Dalam kasus saya, saya telah benar Hadoop versi download (hadoop-2.5.0-cdh5.3.0.tgz), saya diekstrak isi dan ditempatkan langsung di drive C. Kemudian saya pergi ke

Eclipse->Debug/Menjalankan Konfigurasi -> Lingkungan (tab) -> dan menambahkan

variabel: HADOOP_HOME

Nilai: C:\hadoop-2.5.0-cdh5.3.0

Anda dapat men-download winutils.exe berikut: http://public-repo-1.hortonworks.com/hdp-win-alpha/winutils.exe

Kemudian salin HADOOP_HOME/bin direktori.

Winutils.exe digunakan untuk menjalankan perintah shell untuk SPARK. Ketika anda perlu untuk menjalankan Spark tanpa menginstal Hadoop, anda membutuhkan file ini.

Langkah-langkahnya adalah sebagai berikut:

1. Download winutils.exe dari lokasi berikut untuk hadoop 2.7.1 https://github.com/steveloughran/winutils/tree/master/hadoop-2.7.1/bin [CATATAN: Jika anda menggunakan terpisah hadoop versi maka silahkan download winutils dari yang sesuai hadoop versi folder di GITHUB dari lokasi seperti yang disebutkan di atas.]

2. Sekarang, buat folder 'winutils' di C:\ drive. Sekarang buat folder 'bin' di dalam folder 'winutils' dan copy winutils.exe dalam folder itu. Jadi lokasi winutils.exe akan C:\winutils\bin\winutils.exe

3. Sekarang, membuka variabel lingkungan dan mengatur HADOOP_HOME=C:\winutil [CATATAN: jangan menambahkan \bin di HADOOP_HOME dan tidak perlu untuk mengatur HADOOP_HOME di Path]

Masalah harus diselesaikan !!

Saya menghadapi masalah yang sama. Menghapus bin\ dari HADOOP_HOME jalan dipecahkan itu untuk saya. Jalan untuk HADOOP_HOME variabel harus terlihat seperti.

C:\dev\hadoop2.6\

Restart sistem mungkin diperlukan. Dalam kasus saya, restart IDE yang cukup.

Set up HADOOP_HOME variabel dalam windows untuk menyelesaikan masalah.

Anda dapat menemukan jawabannya diorg/apache/hadoop/hadoop-common/2.2.0/hadoop-common-2.2.0-sources.jar!/org/apache/hadoop/util/Shell.java :

IOException dari

  public static final String getQualifiedBinPath(String executable) 
  throws IOException {
    // construct hadoop bin path to the specified executable
    String fullExeName = HADOOP_HOME_DIR + File.separator + "bin" 
      + File.separator + executable;
    File exeFile = new File(fullExeName);
    if (!exeFile.exists()) {
      throw new IOException("Could not locate executable " + fullExeName
        + " in the Hadoop binaries.");
    }
    return exeFile.getCanonicalPath();
  }

HADOOP_HOME_DIR dari

// first check the Dflag hadoop.home.dir with JVM scope
String home = System.getProperty("hadoop.home.dir");
// fall back to the system/user-global env variable
if (home == null) {
  home = System.getenv("HADOOP_HOME");
}

1. Download [winutils.exe]
   Dari URL :
   https://github.com/steveloughran/winutils/hadoop-*`versi`*/bin
   
2. Lalu di bawah HADOOP_HOME/bin
   Catatan : Anda harus Mengatur variabel lingkungan:
   Pengguna variabel:
   Variabel: HADOOP_HOME
   Nilai: Hadoop atau percikan dir

Di Pyspark, untuk menjalankan lokal spark aplikasi menggunakan Pycharm gunakan di bawah garis

os.environ['HADOOP_HOME'] = "C:\\winutils"
print os.environ['HADOOP_HOME']

winutils.exe yang diperlukan untuk hadoop untuk melakukan hadoop terkait perintah. silahkan download hadoop-umum-2.2.0 file zip. winutils.exe dapat ditemukan di folder bin. Mengekstrak file zip dan copy di daerah hadoop/bin folder.

Saya mendapatkan masalah yang sama di windows. Aku tetap dengan

• Men-download hadoop-umum-2.2.0-bin-guru dari link.
• Membuat user variabel HADOOP_HOME di Lingkungan variabel dan menetapkan jalan hadoop-umum direktori bin sebagai nilai.
• Anda dapat memverifikasi ini dengan menjalankan hadoop di cmd.
• Restart IDE dan Menjalankannya.

Download diinginkan versi hadoop folder (Misalnya jika anda memasang busi pada Windows kemudian hadoop versi yang anda spark dibangun untuk) dari ini link as zip.

Ekstrak zip ke direktori yang diinginkan. Anda harus memiliki direktori dari bentuk hadoop\bin (secara eksplisit membuat semacam hadoop\bin struktur direktori jika anda ingin) dengan bin yang berisi semua file yang terdapat dalam folder bin download hadoop. Ini akan berisi banyak file seperti hdfs.dll, hadoop.dll dll. selain winutil.exe.

Sekarang membuat lingkungan variable HADOOP_HOME dan set ke <jalan-ke-hadoop-folder>\hadoop. Kemudian add ;%HADOOP_HOME%\bin; untuk JALAN variabel lingkungan.

Membuka "baru command prompt" dan mencoba menjalankan kembali perintah anda.

Aku digunakan "hbase-1.3.0" dan "hadoop-2.7.3" versi. Pengaturan HADOOP_HOME variabel lingkungan dan menyalin 'winuti exe' file di bawah HADOOP_HOME/bin folder memecahkan masalah pada windows os. Perhatian untuk mengatur HADOOP_HOME lingkungan ke folder instalasi hadoop(/bin folder ini tidak perlu untuk versi ini). Selain itu saya lebih suka menggunakan lintas platform tool cygwin untuk menyelesaikan linux os fungsi (mungkin karena dapat) karena Hbase tim merekomendasikan linux/unix env.