定义： 　　 　　linux：Linux是一套免费使用和自由传播的，是一个基于和的多用户、、支持和多的 　　　　　　操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议。它支持和硬件。Linux继承了以为核 　　　　　　心的设计思想，是一个性能稳定的多用户网络操作系统。 　　hdfs：Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分 　　　　　 布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适 　　　　　 合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用 ———————————————————————————————————————————————————————————————————————————————————————————————————————*******************************************************linux*******************************************———————————————————————————————————————————————————————————————————————————————————————————————————————①命令格式：    命令  -选项  参数    单个选项：ls  -l       /us    多个选项：ls –la  /root②快捷键：    ctrl + c（停止当前进程）    ctrl + z  挂起当前进程，放后台    ctrl + l（清屏，与clear命令作用相同）    对当前命令行的操作：    ctrl + a  行首     ctrl + e 行尾  ③基础命令——————————————————————————————————————————1、帮助——————————————————————————————————————————    man               help                --help        which       cd               //查看命令所在位置    whereis    cd              //查看命令所在位置——————————————————————————————————————————2、路劲切换——————————————————————————————————————————    cd ~    //回到当前用户home中    cd /    //回到根下    cd -    //回到上一次目录下    ——————————————————————————————————————————3、目录——————————————————————————————————————————    mkdir         //新建目录    mkdir  -p        //递归新建目录    touch        //新建文件        pwd        //当前目录（绝对路劲）    ls            //简略显示目录信息，如不加目录，则表示当前目录    ls -l        //详细显示 <==>ll    ls -a        //包括隐藏文件        ls -h        //包括文件大小    例子：    touch  ./a.txt  ./b.txt        //新建文件            ls  /etc            //显示详细信息——————————————————————————————————————————4、复制、粘贴、移动——————————————————————————————————————————    cp            -r  : 递归处理，复制目录        -p : 保留文件属性 （原文件的时间不变）            eg:  cp –R   /ect   /root    mv            eg:  mv    /ect   /root    ·    rm            -r  : 删除目录及其所有文件        -f  : 强制删除            eg:  rm  –rf   /ect  ——————————————————————————————————————————5、其他命令——————————————————————————————————————————    cat                -a  : 包括隐藏字符            -n  : 并查看行号    head                -n  : 查看文件前几行（n为具体的数字）                eg  :  head  –20   ./txt      tail            -n  : 查看文件后几行（n为具体的数字）    ln            ln -s /etc  ./etc_1                //创建文件/etc的软链接etc_1    ——————————————————————————————————————    vim/vi        Unix / Linux上 常用的文本编辑器而且功能非常强大。                a         //进入编辑状态        esc      //退出    ——————————————————————————————————————    tar           eg: tar -zcvf dir1.tar.gz  dir1           //将目录dir1打包并压缩           eg: tar -zxvf  dir1.tar.gz -C(大写的)  /root             //解压到指定的/root目录    ——————————————————————————————————————    find(文件查找)              ——————————————————————————————————————        -name            //按名称查找    区分大小写        -iname             //按名称查找    不区分大小写        —————————————————————————————————            *：匹配所有            ？：匹配单个字符            eg:find  /etc  -name  “init???”        —————————————————————————————————         -size                          eg:find   /etc -size -10              eg:find   /etc -size  10             //在etc目录下找出小于(大于)100MB的文件        —————————————————————————————————        -type             f 二进制文件  l 软连接文件 d 目录  c 字符文件             eg: find /dev -type c        —————————————————————————————————    —————————————————————————————————————    grep(内容查找)           -c ：输出匹配行的次数（是以行为单位，不是以出现次数为单位）               -i ：忽略大小写，所以大小写视为相同              -n ：显示匹配行及行号              -v ：反向选择，显示不包含匹配文本的所有行。           eg: grep      “init”/etc/inittab     //显示在inittab文件中，init匹配行           eg: grep -n “init”/etc/inittab     //显示在inittab文件中，init匹配行及行号           eg: grep -c“init”/etc/inittab     //显示在inittab文件中，init匹配了多少次        ——————————————————————————————————————    netstat（网络端口、连接信息）        -a  :    all显示所有连接和监听端口        -t   :    (tcp)仅显示tcp相关选项        -u  :    (udp)仅显示udp相关选项        -n  :    使用数字方式显示地址和端口号        -p  :    显示socket的PID和进程的名字        -l   ：（listening） 显示监控中的服务器的socket            eg  :    netstat -nltp               //查看端口信息        eg  :    netstat -nltp | grep 80         //查看端口80的信息    ——————————————————————————————————————    ps（进程信息）        -a：显示所有用户的进程        -u：显示用户名和启动时间        -x：显示没有控制终端的进程        -e：显示所有进程，包括没有控制终端的进程        -l：长格式显示            -f:   进程的详细信息                              eg  :     ps -ef              //查看所有进程及详细信息（常用）    Kill        kill -9 进程号        //（强行关闭） 常用        kill -1 进程号        //（重启进程）    ——————————————————————————————————————    shutdown        -h:关机           -r:重启            shutdown -h  now  立即关机             shutdown  -h  20:30   定时关机        ————————————————————————————————————————————————————————————————————————————————④配置命令：——————————————————————————————————————————    service network restart    //重启网络，配置ip使用    source  /etc/profile        //刷新环境变量    vi /etc/hostname        //配置主机名称，配置之后不需要刷新    vi /etc/hosts        //配置主机映射    vi /etc/profile        //环境变量    cd /etc/sysconfig/network    //ip配置目录    scp -r /opt/app/hadoop s11:/opt/app/                //递归分发    sudo chown -R hadoop:hadoop /opt/app/zookeeper-3.4.10/    //更改所属——————————————————————————————————————————⑤用户管理命令：——————————————————————————————————————————        useradd        用户名        passwd         用户名    userdel         用户名    userdel    -r  用户名            //删除用户以及home下的文档    chown      root:root  ./dir     //修改dir的所有者和所属组     chown –R root:root  ./dir     //修改dir及其子目录的所有者和所属组 （必须大写R）    用户权限：u(所属者:4)，g(所属组:2)，o(其他:1)        chmod u+x,o-x a.txt    //给所属者增加执行权限，                //其他减去执行权限    chmod 777 a.txt        ———————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————*******************************************************HDFS命令****************************************************************************************************———————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————1、DFS命令（最好写绝对路劲）————————————————————————————————————————————————————————————————————    ————————————————————————————————————————————————————————————————————        [-mkdir [-p] 
     
       ...]                //创建文件夹        [-rmdir [--ignore-fail-on-non-empty] 
      
        ...]        //删除一个文件、非空文件夹，        [-rm [-f] [-r|-R] [-skipTrash] 
       
         ...]            //递归删除文件及文件夹         [-put [-f] [-p] [-l] 
        
          ... 
         
          ]              //上传文件到HDFS         [-get [-p] [-ignoreCrc] [-crc] 
          
            ... 
           
            ] //下载文件到本地 [-copyFromLocal [-f] [-p] [-l] 
            
              ... 
             
              ] //从本地拷贝文件到HDFS上 [-copyToLocal [-p] [-ignoreCrc] [-crc] 
              
                ... 
               
                ] //从HDFS上拷贝文件到本地 [-moveFromLocal 
                
                  ... 
                 
                  ] //从本地剪切文件到HDFS上 [-moveToLocal 
                   
                   
                    ] //从HDFS上剪切文件到本地 [-cat [-ignoreCrc] 
                    
                      ...] //只能查看普通的文件，不能查看二进制的文件 [-text [-ignoreCrc] 
                     
                       ...] //text 可以查看所有类型的文件 [-df [-h] [
                      
                        ...]] //查看HDFS上可用空间 [-du [-s] [-h] 
                       
                         ...] //统计文件或者文件夹的大小 [-chgrp [-R] GROUP PATH...] //修改权限 [-chmod [-R] 
                        
                          PATH...] //修改权限 [-chown [-R] [OWNER][:[GROUP]] PATH...] //修改权限 _________________________________________________________________________________________________________________ eg: hdfs dfs //查看所有dfs命令 hdfs dfs -help cat //帮助命令，命令参数没有- hdfs dfs -mkdir -p /input/input2/input3 //创建文件夹 hdfs dfs -rm -r -f /input/input2/input3 //强制递归删除文件 hdfs dfs -put -p /root/local2 / //上传文件夹 hdfs dfs -put -P /root/local2/* /input //上传文件 hdfs dfs -put -P /root/1.txt /1.xml //上传文件并改名 hdfs dfs -get -p /input /root/local2 //下载文件夹 hdfs dfs -get -p /input/* /root/local2 //下载文件 copyFromLocal copyToLocal moveFromLocal moveToLocal hdfs dfs -cat /input/1.txt //查看内容,不能查看二进制文件 hdfs dfs -text /input/1.txt //查看内容 hdfs dfs -df /input //产看可用空间 hdfs dfs -du /input/1.txt //统计文件或者文件夹的大小 hdfs dfs -chown -R hadoop:hadoop /input //递归修改权限 hdfs dfs -chomd -R 777 /input //递归修改权限 hdfs dfsadmin -safemode 
                         
                           //设置安全模式，刚开始启动HDFS时，前30s是安全模式，只读 hdfs dfsadmin -enter //进入安全模式 hdfs dfsadmin -leave //离开安全模式 hdfs dfsadmin -refreshNodes //刷新hdfs yarn rmadmin -refreshNodes //刷新yarn————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————