1、local模式
数据在本地,代码也在本地,使用本机的电脑的资源运行我们的MR
输入和输出路径指的都是本地路径,运行时耗费的资源也是本地资源。
2、local模式2
数据在hdfs上,代码在本地,使用本机的电脑的资源运行我们的MR
System.setProperty("HADOOP_USER_NAME","root"); Configuration configuration = new Configuration();configuration.set("fs.defaultFS","hdfs://192.168.32.128:9820");// 使用本地的资源(CPU,内存等), 也可以使用yarn平台跑任务configuration.set("mapreduce.framework.name","local");
这个里面的输入和输出路径指的是hdfs上的路径。
3、Yarn模式
数据在hdfs上,代码 跑 在yarn上。
System.setProperty("HADOOP_USER_NAME","root"); Configuration configuration = new Configuration();configuration.set("fs.defaultFS","hdfs://192.168.32.128:9820");configuration.set("mapreduce.framework.name","yarn");// 跨平台任务提交打开configuration.set("mapreduce.app-submission.cross-platform", "true");