您的位置:首页 > 财经 > 产业 > 公司介绍网站模板_微信小程序功能介绍_今日百度搜索风云榜_seo排名需要多少钱

公司介绍网站模板_微信小程序功能介绍_今日百度搜索风云榜_seo排名需要多少钱

2025/3/19 7:11:43 来源:https://blog.csdn.net/2302_81531444/article/details/146305850  浏览:    关键词:公司介绍网站模板_微信小程序功能介绍_今日百度搜索风云榜_seo排名需要多少钱
公司介绍网站模板_微信小程序功能介绍_今日百度搜索风云榜_seo排名需要多少钱

hadoop的运行模式
本地运行:在一台单机上运行,没有分布式文件系统,直接读写本地操作系统的文件系统。特点:不对配置文件进行修改,Hadoop 不会启动 

伪分布式:也是在一台单机上运行,但用不同的 Java 进程模仿分布式运行中的各类节点,特点:Hadoop 启动的这些守护进程都在同一台机器上运行,是相互独立的 Java 进程。

完全分布式:数据存储在HDFS,多台服务器工作,企业中大量使用

scp命令
scp命令 :可实现服务器与服务器之间的数据拷贝

-r 表示递归拷贝

$pdir/$fname :要拷贝的文件路径 / 名称

$user@host:$pdir/$fname :目的地用户@主机:目的地路径 / 名称 

eg命令:scp -r /opt/module/jdk1.8.0_212/ root@hadoop102:/opt/module/jdk1.8.0_212/

rsync命令
rsync 主要用于备份和镜像

rsync和scp的区别是rsync只对差异文件做更新,而scp是把所有文件都复制过去。故rsync效率更高

-a :归档拷贝,尽可能让拷贝的

-v :显示拷贝过程

$pdir/$fname :要拷贝的文件路径 / 名称

命令:rsync -av /opt/conf/1.txt root@roothadoop102:/opt/conf/
 

xsync脚本集群之间的同步
(1)在/root/bin目录下创建xsync文件。

(2)在该文件中编写如下代码。这个部分的代码不需要会写,能看懂,了解即可。




#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi
#2. 遍历集群所有机器
for host in hadoop100 hadoop101 hadoop102
do
    echo ====================  $host  ====================
    #3. 遍历所有目录,挨个发送
    for file in $@
    do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)
                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done

(3)修改执行权限。此时,我们去查看文件,可以看到它的颜色是灰色的,不具备执行权限(如下图)。


                

接下来要通过命令: chmod +x xsync(或者是chmod 777 xsync)

重新查看它的颜色,绿色即可执行,它现在已经变成执行的脚本了(如上右图)。

(4)测试使用。把这个脚本同步到其他的机器中。

[root@hadoop100 ~]$ xsync /root/bin/

ssh命令
ssh命令无需密码也可登录

eg:目标:hadoop100通过ssh访问hadoop101,hadoop102时不需要密码,其他两台设备也类似。

具体操作如下:

1.在hadoop100中生成公钥和密码。ssh-keygen -t rsa 三次回车

2.在hadoop100中,把自己的公钥传递给hadoop101,hadoop102。命令如下

        ssh-copy-id hadoop101

        ssh-copy-id hadoop102

hadoop101 无密登录 hadoop100,hadoop102 与(1)类似

hadoop102 无密登录 hadoop100,hadoop101 与(1)类似

eg:从hadoop100进入hadoop101的命令就是

         ssh root@hadoop102

        退出命令就是:exit

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com