使用hadoop C接口编写代码错误集合

原 作者 吕子健 | 发表于 | 分类于 2016级

C接口

github

编译：

g++ hello_world.cpp -I${HADOOP_HOME}/include -L${HADOOP_HOME}/lib/native -lhdfs -L${JAVA_HOME}/lib/server -ljvm
最终运行Java程序，所以不仅需要hdfs的动态库，还需要jvm的库
我安装的是openjdk11，11之后的版本取消了jre目录，重新整改了目录结构

运行报错无法挂载动态库

  1. error while loading shared libraries: libjvm.so: cannot open shared object file: No such file or directory
  2. error while loading shared libraries: libhdfs.so.0.0.0: cannot open shared object file: No such file or directory

解决办法：
3. 添加动态链接库到/etc/ld.so.conf.f中

vim /etc/ld.so.conf.d/hdfs.conf
java的动态链接库路径$JAVA_HOME/lib/server
libhdfs的动态链接库路径$HADOOP_HOME/lib/native
(改成自己的目录就是了)
  1. 执行命令：ldconfig -v

运行报错

NoClassDefFoundError exception: ExceptionUtils::getStackTrace error

解决方法是将hadoop里的jar添加进CLASSPATH环境变量里
后面尝试过：
export HADOOP_CLASSPATH=$(find $HADOOP_HOME -name '*.jar' | xargs echo | tr ' ' ':')
但是报错：

Environment variable CLASSPATH not set!
getJNIEnv: getGlobalJNIEnv failed
Environment variable CLASSPATH not set!
getJNIEnv: getGlobalJNIEnv failed

然后尝试：
export CLASSPATH=$($HADOOP_PREFIX/bin/hadoop classpath --glob)
解决