您的位置:首页 > 房产 > 家装 > 做网站的公司首选智投未来_浙江省建设通网站_北京营销网站制作_网站优化外包推荐

做网站的公司首选智投未来_浙江省建设通网站_北京营销网站制作_网站优化外包推荐

2024/12/23 11:55:28 来源:https://blog.csdn.net/Yz9876/article/details/143396257  浏览:    关键词:做网站的公司首选智投未来_浙江省建设通网站_北京营销网站制作_网站优化外包推荐
做网站的公司首选智投未来_浙江省建设通网站_北京营销网站制作_网站优化外包推荐

1、local模式

数据在本地,代码也在本地,使用本机的电脑的资源运行我们的MR

输入和输出路径指的都是本地路径,运行时耗费的资源也是本地资源。

2、local模式2

数据在hdfs上,代码在本地,使用本机的电脑的资源运行我们的MR

        System.setProperty("HADOOP_USER_NAME","root");    Configuration configuration = new Configuration();configuration.set("fs.defaultFS","hdfs://192.168.32.128:9820");// 使用本地的资源(CPU,内存等), 也可以使用yarn平台跑任务configuration.set("mapreduce.framework.name","local");

这个里面的输入和输出路径指的是hdfs上的路径。

3、Yarn模式

数据在hdfs上,代码 跑 在yarn上。

        System.setProperty("HADOOP_USER_NAME","root");    Configuration configuration = new Configuration();configuration.set("fs.defaultFS","hdfs://192.168.32.128:9820");configuration.set("mapreduce.framework.name","yarn");// 跨平台任务提交打开configuration.set("mapreduce.app-submission.cross-platform", "true");	

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com