解決Hadoop和Spark本地版本庫(kù)不統(tǒng)一的問(wèn)題

---

就是報(bào)以下這個(gè)警告的，也不知道對(duì)運(yùn)行程序究竟會(huì)產(chǎn)生什么樣的影響，但看著就是不爽，還耽誤了我?guī)滋鞎r(shí)間，把它給解決了，這里記一下，方便以后查找。

unable to load native-hadoop library for your platform... using builtin-java classes where applicable

先是運(yùn)行Hadoop的時(shí)候報(bào)該錯(cuò)誤，當(dāng)時(shí)發(fā)現(xiàn)是由于Hadoop所需要的版本庫(kù)和系統(tǒng)本地的glibc的版本庫(kù)不一致導(dǎo)致的，但是有一個(gè)問(wèn)題是系統(tǒng)本地庫(kù)的地址是在根目錄的lib和lib64下面，由于對(duì)服務(wù)器沒(méi)有root權(quán)限，是無(wú)法修改該庫(kù)的版本的，因此到這里，網(wǎng)上說(shuō)的大部分解決方案都不行了。

既然不能修改本地庫(kù)，那就考慮修改環(huán)境變量中的PATH，PATH路徑要保證讀的庫(kù)地址要在本地庫(kù)地址路徑的前面，因?yàn)镻ATH只要找到結(jié)果就會(huì)返回，那么我們就把路徑/home/work/lacol/加進(jìn)去并放在前面。

我們需要自己編譯一個(gè)合適的版本庫(kù)，例如編譯到/home/work/local/glibc目錄中，然后把該目錄同步到其他相同的服務(wù)器，然后用軟鏈接，注意在集群上批量執(zhí)行該命令：

ln -s /home/work/local/glibc/libc.so /home/work/local/lib64/libc.so.6

以上就解決了Hadoop的版本庫(kù)的問(wèn)題，可是打開(kāi)Spark，發(fā)現(xiàn)Spark還報(bào)版本庫(kù)的錯(cuò)誤，網(wǎng)上給的 該解決方案并不能解決該問(wèn)題，后來(lái)在spark-env.sh中增加了lib64的地址，最終邊為如下：

export

LD_LIBRARY_PATH=$SPARK_SUBMIT_LIBRARY_PATH:$HADOOP_HOME/lib/native:/home/work/local/lib/:/home/work/local/lib64/

再SCP到所有集群上面，遂解決。

更多大數(shù)據(jù)與分析相關(guān)行業(yè)資訊、解決方案、案例、教程等請(qǐng)點(diǎn)擊查看>>>

詳情請(qǐng)咨詢在線客服！

客服熱線：023-66090381