Linux之深入理解文件系统和日志分析

news/2024/7/8 7:58:23

Linux 之深入理解文件系统和日志分析

  • 一. inode 与 block
    • 1. 文件数据包括元信息与实际数据
    • 2. block(块)
    • 3. inode(索引节点)
    • 4. 文件数据
    • 5. 结论
    • 6. inode的大小
      • 1. inode也会消耗硬盘空间
      • 2. 查询 inode 号方法
    • 7. 模拟消耗inode 节点
  • 二. 硬链接与软连接
  • 三. 恢复误删除的文件 EXT
  • 四. 恢复误删除的文件 XFS
  • 五. 分析日志文件
    • 1. 日志的功能
    • 2. 日志文件
    • 3. Linux系统内核日志消息
      • 1. 日志消息的优先(数字等级越小,优先级越高,消息越重要):
      • 2. 用户日志分析
      • 3. 程序日志分析
      • 4. 日志管理策略

一. inode 与 block

1. 文件数据包括元信息与实际数据

文件存储在硬盘上,硬盘最小存储单位是扇区,每个扇区存储512字节

2. block(块)

连续的八个扇区组成一个block(4K)
是文件存取的最小单位

3. inode(索引节点)

中文叫索引节点,也叫i 节点
用于存储文件元信息

4. 文件数据

文件数据包括实际数据元信息(类似文件属性)。
文件实际数据存储在"块"中,文件元信息(比如文件创建者、创建日期、文件大小、文件权限等)的储存区域就叫做inode

5. 结论

当用户在Linux系统中试图访问一个文件时,系统会先根据文件名去查找它对应的inode号码;通过inode号码,获取inode信息;根据inode信息,看该用户是否具有访问这个文件的权限;如果有,就指向相对应的数据block,并读取数据。

查看inode号码的两种方式 :
ls - i 文件名
stat 文件名

在这里插入图片描述

6. inode的大小

1. inode也会消耗硬盘空间

●每个inode的大小
●—般是128字节或256字节

格式化文件系统时确定inode的总数
使用df -i命令可以查看每个硬盘分区的inode总数和已经使用的数量

2. 查询 inode 号方法

find ./ -inum 52305140 -exec rm -i {};
find ./ -inum 50464299 -delete

7. 模拟消耗inode 节点

总结

虚拟机添加一块硬盘进行分区 fdisk /dev/sdb
分配20M 即可测试
格式化用ext3 进行格式化
创建目录sdb1 进行挂载
df -i 查看sdb1 的可用inode 
for ((i=1;i<=5125;i++));do touch /sdb1/file$i;done;
或者 touch {1..5125}.txt
df-i 查看下inode 
df-h 查看下容量
rm-rf* 删除即可

步骤:

1.添加硬盘 分区格式化 的文件类型用ext3
在这里插入图片描述
2. 创建一个目录sdb1用来挂载
在这里插入图片描述
3. 查看下挂载表,文件类型和容量
在这里插入图片描述
4.查询下inode 号
在这里插入图片描述
5.使用for循环或者touch创建空文件,超过inode号范围是否无法创建在这里插入图片描述在这里插入图片描述
6.查下挂载表看下容量大小,发现可用的还有18M

在这里插入图片描述
7.删除 直接在挂载目录下 rm -rf *
在这里插入图片描述
8.在查下inode 号,发现inode号正常了
在这里插入图片描述

二. 硬链接与软连接

  • 为文件或目录建立链接文件,类似于window系统里的快捷方式
  • 链接文件类型:

软链接:ln + -s +源文件或目录 + 目标位置

ln -s /bin/bzip2 /bin/wx/  绝对路径创建

硬链接:ln + /root/ 1.txt

文件类型软链接文件硬链接文件
删除源文件后失效仍然可用(文件占用空间与源文件相同)
适用范围适用于文件文件或目录仅适用于文件
保存位置与源文件可在不同的文件系统中必须与源文件在同一个文件系统(即同一个分区)中
与源文件的关系相当于快捷方式相当于给文件起个别名
inode号码inode号码不同inode号码相同

三. 恢复误删除的文件 EXT

创建分区 挂载
fdisk /dev/sdb
mkfs.ext3 /dev/sdb1
mkdir /sdb1
mount /dev/sdb2 /sdb1

yum -y install e2fsprogs-devel e2fsprogs-libs             #安装依赖包

cd /sdb1
拖入压缩包
tar jxvf extundelete-0.2.4.tar.bz2                        #进行解压缩
cd extundelete-0.2.4/
./configure --prefix=/usr/local/extundelete && make && make install
ln -s /usr/local/extundelete/bin/* /usr/bin/

创建几个文件

cd /sdb1
echo a>a
echo a>b
echo a>c
echo a>d
ls

删除 a  b ,用extundelete 恢复

extundelete /dev/sdb1 --inode 2			
rm -rf a b
cd ~
umount /sdb2
extundelete /dev/sdb2 --restore-all		恢复/dev/sdb2文件系统下的所有内容

在当前目录下会出现一个RECOVERED_FILES/目录,里面保存了已经恢复的文件
ls RECOVERED_FILES

1.步骤 创建硬盘并进行分区,分区格式化的时候注意是 EXT.3文件属性类型

mkfs.ext3 /dev/sdb1
在这里插入图片描述
2.创建目录,并进行挂载
在这里插入图片描述
3.安装相关的依赖包,如果无法安装,建议重新配置yum 源仓库
在这里插入图片描述
4.拖入相关的压缩包,并进行解压
在这里插入图片描述
5.切换到 extundelete-0.2.4/ ,将configure 指定安装到 /usr/local 下的extundelete 目录 编译后安装
在这里插入图片描述
6.创建一个软链接到/usr/bin 中 ,在sdb1 中创建几个文件 ,用 extundelete 工具查看下inode 号
在这里插入图片描述

7.模拟删除,并使用工具恢复内容,恢复之前需解挂载,恢复的是磁盘内的内容

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

四. 恢复误删除的文件 XFS

CentOS 7 系统默认采用 xfs类型的文件,xfs 类型的文件可使用 xfsdump 与 xfsrestore 工具进行备份恢复。

xfsdump 命令常用的选项:

-f:指定备份文件目录
-L:指定标签 session label
-M:指定设备标签 media label
-s:备份单个文件,-s 后面不能直接跟路径

xfsdump使用限制:

1.只能备份已挂载的文件系统
2.必须使用root的权限才能操作
3.只能备份XFS文件系统
4.备份后的数据只能让xfsrestore解析
5.不能备份两个具有相同UUID的文件系统(可用 blkid命令查看)

使用fdisk创建分区/dev/sdb1,格式化xfs文件系统
fdisk /dev/sdb
partprobe /dev/sdb
mkfs.xfs  /dev/sdb1
mkdir /sdb1
mount /dev/sdb1 /sdb1
cd /sdb1
cp /etc/passwd ./
mkdir test
touch test/a

备份
yum install -y xfsdump
xfsdump -f /opt/dump_sdb1 /dev/sdb1 -L dump_sdb1 -M sdb1

模拟数据丢失并用工具恢复
cd /sdb1
rm -rf ./*
xfsrestore -f /opt/dump_sdb1 /sdb1

1.步骤 添加硬盘后进行分区,格式化的时候用XFS 格式化 并挂载

复制文件或目录到当前目录下 创建几个目录或者文件
在这里插入图片描述
2.检查安装xfsdump工具

在这里插入图片描述

3.xfsdump -f /opt/dump_sdb1 /dev/sdb1 -L dump_sdb1 -M sdb1 进行备份
在这里插入图片描述

4.查看备份。在/sdb1 中 删掉所有 ,然后用工具xfsrestore 将opt/dump_sdb1 恢复到当前目录中
在这里插入图片描述
在这里插入图片描述

五. 分析日志文件

1. 日志的功能

●用于记录系统、程序运行中发生的各种事件
●通过阅读日志,有助于诊断和解决系统故障

日志文件的分类

●内核及系统日志
由系统服务rsyslog统一进行管理,日志格式基本相似
主配置文件/etc/rsyslog.conf

●用户日志
记录系统用户登录及退出系统的相关信息

●程序日志
由各种应用程序独立管理的日志文件,记录格式不统一

2. 日志文件

默认位于: /var/log 目录下

主要日志文件介绍

在这里插入图片描述
内核及系统日志由系统服务rsyslog 统一管理,主配置文件为 /etc/rsyslog.conf

Linux操作系统本身和大部分服务器程序的日志文件都默认放在目录/var/log/下。

常见的一些日志文件:

内核及公共消息日志:
/var/log/messages
记录Linux内核消息及各种应用程序的公共日志信息,包括启动、To错误、网络错误、程序故障等。对于未使用独立日志文件的应用程序或服务,一般都可以从该日志文件中获得相关的事件记录信息。
计划任务日志:
/var/ log / cron
记录crond计划任务产生的事件信息。
系统引导日志:
/var/log /dmesg
记录Linux系统在引导过程中的各种事件信息。
邮件系统日志:
/var/log/maillog
记录Linux系统在引导过程中的各种事件信息。
用户登录日志:
/var/log /secure
/var/log/lastlog
/var/log/wtmp
/var/run/btmp
记录用户认证相关的安全事件信息
记录每个用户最近的登录事件。二进制格式
记录每个用户登录、注销及系统启动和停机事件。二进制格式
记录失败的、错误的登录尝试及验证事件。二进制格式

vim /etc/rsyslog.conf #查看rsyslog.conf配置文件

*.info;mail.none ;authpriv.none ; cron. none /var/ log/message

*.info
#表示info等级及以上的所有等级的信息都写到对应的日志文件里

mail.none
#表示某事件的信息不写到日志文件里(这里比如是邮件)

3. Linux系统内核日志消息

1. 日志消息的优先(数字等级越小,优先级越高,消息越重要):

在这里插入图片描述

2. 用户日志分析

保存了用户登录、退出系统等相关信息

/var/log/lastlog:最近的用户登录事件
/varllog/wtmp:用户登录、注销及系统开、关机事件
/var/run/utmp:当前登录的每个用户的详细信息
/var/log/secure:与用户验证相关的安全性事件

分析工具

users 、who、w、last、 lastb
last命令用于查询成功登录到系统的用户记录
lastb命令用于查询登录失败的用户记录

3. 程序日志分析

由相应的应用程序独立进行管理

Web服务:/var/log/httpd/
access log/记录客户访问事件
error log/记录错误事件

●代理服务: /var/log/squid/
access.log、cache.log
●分析工具
●文本查看、grep过滤检索、Webmin管理套件中查看
●awk、sed等文本过滤、格式化编辑工具
Webalizer、Awstats等专用日志分析工具

公共日志/var/ log /messages 文件的记录格式

时间标签:消息发出的日期和时间

主机名:生成消息的计算机的名称

子系统名称:发出消息的应用程序的名称

消息:消息的具体内容

程序自己维护日志记录,httpd 网站服务程序使用两个日志文件:

access_log #记录客户访问事件
error_log #记录错误事件

4. 日志管理策略

及时作好备份和归档
延长日志保存期限
控制日志访问权限
●日志中可能会包含各类敏感信息,如账户、口令等

集中管理日志
●将服务器的日志文件发到统一的日志文件服务器
●便于日志信息的统一收集、整理和分析
●杜绝日志信息的意外丢失、恶意篡改或删除


http://www.niftyadmin.cn/n/3652855.html

相关文章

AJAX编写的用户注册实例及技术小结

我所举的这个例子是一个企业用户注册时的一个应用&#xff0c;当用户注册时检查用户名和企业名是否可用&#xff0c;以前的做法是在旁边加一个按钮&#xff0c;点击“检查”&#xff0c;就向服务器发出请求&#xff0c;然后等待……服务器返回信息&#xff0c;继续操作。   如…

Linux中DHCP动态分配IP

Linux中DHCP动态分配IP一. 使用DHCP动态分配IP一. 使用DHCP动态分配IP 配置相应的DHCP 和DHCP 中继 XSHELL 的属性也需要修改下 IP地址 虚拟机进入修改网卡页面修改 安装 dhcp 软件包 &#xff0c;并复制文件 进入到vim dhcpd.conf 进行配置文件 &#xff0c;退出后重启 在…

AJAX in Action

像其他人一样&#xff0c;当我看到一下RIA应用&#xff0c;例如Google Maps和Google Suggest的时候我都非常惊讶。我希望知道是如何实现的。现在&#xff0c;谜底揭开了&#xff0c;那就是AJAX。这是在我花了一段时间研究AJAX之后才知晓的。这里有一个很好的例子让我们知道AJAX…

Linux中DNS域名解析

DNS域名一、DNS域名二、DNS的域名结构三、DNS服务器类型四、DNS域名正向解析五、DNS域名反向解析六、构建主从DNS域名服务器六、DNS 分离服务器一、DNS域名 DNS是"域名系统”的英文缩写。它作为将域名和IP地址相互映射的一个分布式数据库&#xff0c;能够使人更方便地访问…

AJAX将成为移动Web2.0时代首选开发平台

LCC编译器要分析下面的程序&#xff0c;大体流程是这样的。#001 #include #002 #003 int main(void)#004 {#005 int nTest1 1;#006 int nTest2 2;#007 int nTest3;#008 int i;#009 #010 nTest3 nTest1 nTest2;#011 printf("nTest3 %d/r/n",nTest3);#012 …

Linux中FTP文件传输

Linux中FTP文件传输一. FTP服务二. FTP实验1. yum 安装vsfpd2. 设置匿名用户访问的FTP服务&#xff08;最大权限&#xff09;#修改配置文件3. 匿名访问测试4. 匿名通过FTP上传和下载文件三. 修改FTP 用户权限一. FTP服务 FTP服务是用来传输文件的协议 FTP服务器默认使用TCP协…

AJAX框架资源汇总

1. Pure Javascript: Application Frameworks1.1 Bindows (成立于2003年)Backbase是一个通过DHTML、JavaScript、CSS和HTML等技术强劲联合起来的一套完整的Windows桌面式的WEB应用程序解决方案。Bindows无需下载安装客户端支撑组件&#xff08;如Java、ActiveX或Flash&#xff…

Linux中SSH远程管理及密钥验证

一. OpenSSH服务器 1. SSH协议 是一种安全通道协议对通信数据进行了加密处理&#xff0c;用于远程管理 OpenSSH 服务名称&#xff1a;sshd服务端主程序&#xff1a;/usr/sbin/sshd服务端配置文件&#xff1a;/etc/ssh/sshd_config SSH优点 数据传输是加密的&#xff0c;可…