Linux 之深入理解文件系统和日志分析
- 一. inode 与 block
- 1. 文件数据包括元信息与实际数据
- 2. block(块)
- 3. inode(索引节点)
- 4. 文件数据
- 5. 结论
- 6. inode的大小
- 1. inode也会消耗硬盘空间
- 2. 查询 inode 号方法
- 7. 模拟消耗inode 节点
- 二. 硬链接与软连接
- 三. 恢复误删除的文件 EXT
- 四. 恢复误删除的文件 XFS
- 五. 分析日志文件
- 1. 日志的功能
- 2. 日志文件
- 3. Linux系统内核日志消息
- 1. 日志消息的优先(数字等级越小,优先级越高,消息越重要):
- 2. 用户日志分析
- 3. 程序日志分析
- 4. 日志管理策略
一. inode 与 block
1. 文件数据包括元信息与实际数据
文件存储在硬盘上,硬盘最小存储单位是扇区,每个扇区存储512字节
2. block(块)
连续的八个扇区组成一个block(4K)
是文件存取的最小单位
3. inode(索引节点)
中文叫索引节点,也叫i 节点
用于存储文件元信息
4. 文件数据
文件数据包括实际数据与元信息(类似文件属性)。
文件实际数据存储在"块"中,文件元信息(比如文件创建者、创建日期、文件大小、文件权限等)的储存区域就叫做inode
5. 结论
当用户在Linux系统中试图访问一个文件时,系统会先根据文件名去查找它对应的inode号码;通过inode号码,获取inode信息;根据inode信息,看该用户是否具有访问这个文件的权限;如果有,就指向相对应的数据block,并读取数据。
查看inode号码的两种方式 :
ls - i 文件名
stat 文件名
6. inode的大小
1. inode也会消耗硬盘空间
●每个inode的大小
●—般是128字节或256字节
格式化文件系统时确定inode的总数
使用df -i命令可以查看每个硬盘分区的inode总数和已经使用的数量
2. 查询 inode 号方法
find ./ -inum 52305140 -exec rm -i {};
find ./ -inum 50464299 -delete
7. 模拟消耗inode 节点
总结
虚拟机添加一块硬盘进行分区 fdisk /dev/sdb
分配20M 即可测试
格式化用ext3 进行格式化
创建目录sdb1 进行挂载
df -i 查看sdb1 的可用inode 号
for ((i=1;i<=5125;i++));do touch /sdb1/file$i;done;
或者 touch {1..5125}.txt
df-i 查看下inode 号
df-h 查看下容量
rm-rf* 删除即可
步骤:
1.添加硬盘 分区格式化 的文件类型用ext3
2. 创建一个目录sdb1用来挂载
3. 查看下挂载表,文件类型和容量
4.查询下inode 号
5.使用for循环或者touch创建空文件,超过inode号范围是否无法创建
6.查下挂载表看下容量大小,发现可用的还有18M
7.删除 直接在挂载目录下 rm -rf *
8.在查下inode 号,发现inode号正常了
二. 硬链接与软连接
- 为文件或目录建立链接文件,类似于window系统里的快捷方式
- 链接文件类型:
软链接:ln + -s +源文件或目录 + 目标位置
ln -s /bin/bzip2 /bin/wx/ 绝对路径创建
硬链接:ln + /root/ 1.txt
文件类型 | 软链接文件 | 硬链接文件 |
---|---|---|
删除源文件后 | 失效 | 仍然可用(文件占用空间与源文件相同) |
适用范围 | 适用于文件文件或目录 | 仅适用于文件 |
保存位置 | 与源文件可在不同的文件系统中 | 必须与源文件在同一个文件系统(即同一个分区)中 |
与源文件的关系 | 相当于快捷方式 | 相当于给文件起个别名 |
inode号码 | inode号码不同 | inode号码相同 |
三. 恢复误删除的文件 EXT
创建分区 挂载
fdisk /dev/sdb
mkfs.ext3 /dev/sdb1
mkdir /sdb1
mount /dev/sdb2 /sdb1
yum -y install e2fsprogs-devel e2fsprogs-libs #安装依赖包
cd /sdb1
拖入压缩包
tar jxvf extundelete-0.2.4.tar.bz2 #进行解压缩
cd extundelete-0.2.4/
./configure --prefix=/usr/local/extundelete && make && make install
ln -s /usr/local/extundelete/bin/* /usr/bin/
创建几个文件
cd /sdb1
echo a>a
echo a>b
echo a>c
echo a>d
ls
删除 a 和 b ,用extundelete 恢复
extundelete /dev/sdb1 --inode 2
rm -rf a b
cd ~
umount /sdb2
extundelete /dev/sdb2 --restore-all 恢复/dev/sdb2文件系统下的所有内容
在当前目录下会出现一个RECOVERED_FILES/目录,里面保存了已经恢复的文件
ls RECOVERED_FILES
1.步骤 创建硬盘并进行分区,分区格式化的时候注意是 EXT.3文件属性类型
mkfs.ext3 /dev/sdb1
2.创建目录,并进行挂载
3.安装相关的依赖包,如果无法安装,建议重新配置yum 源仓库
4.拖入相关的压缩包,并进行解压
5.切换到 extundelete-0.2.4/ ,将configure 指定安装到 /usr/local 下的extundelete 目录 编译后安装
6.创建一个软链接到/usr/bin 中 ,在sdb1 中创建几个文件 ,用 extundelete 工具查看下inode 号
7.模拟删除,并使用工具恢复内容,恢复之前需解挂载,恢复的是磁盘内的内容
四. 恢复误删除的文件 XFS
CentOS 7 系统默认采用 xfs类型的文件,xfs 类型的文件可使用 xfsdump 与 xfsrestore 工具进行备份恢复。
xfsdump 命令常用的选项:
-f:指定备份文件目录
-L:指定标签 session label
-M:指定设备标签 media label
-s:备份单个文件,-s 后面不能直接跟路径
xfsdump使用限制:
1.只能备份已挂载的文件系统
2.必须使用root的权限才能操作
3.只能备份XFS文件系统
4.备份后的数据只能让xfsrestore解析
5.不能备份两个具有相同UUID的文件系统(可用 blkid命令查看)
使用fdisk创建分区/dev/sdb1,格式化xfs文件系统
fdisk /dev/sdb
partprobe /dev/sdb
mkfs.xfs /dev/sdb1
mkdir /sdb1
mount /dev/sdb1 /sdb1
cd /sdb1
cp /etc/passwd ./
mkdir test
touch test/a
备份
yum install -y xfsdump
xfsdump -f /opt/dump_sdb1 /dev/sdb1 -L dump_sdb1 -M sdb1
模拟数据丢失并用工具恢复
cd /sdb1
rm -rf ./*
xfsrestore -f /opt/dump_sdb1 /sdb1
1.步骤 添加硬盘后进行分区,格式化的时候用XFS 格式化 并挂载
复制文件或目录到当前目录下 创建几个目录或者文件
2.检查安装xfsdump工具
3.xfsdump -f /opt/dump_sdb1 /dev/sdb1 -L dump_sdb1 -M sdb1 进行备份
4.查看备份。在/sdb1 中 删掉所有 ,然后用工具xfsrestore 将opt/dump_sdb1 恢复到当前目录中
五. 分析日志文件
1. 日志的功能
●用于记录系统、程序运行中发生的各种事件
●通过阅读日志,有助于诊断和解决系统故障
日志文件的分类
●内核及系统日志
由系统服务rsyslog统一进行管理,日志格式基本相似
主配置文件/etc/rsyslog.conf
●用户日志
记录系统用户登录及退出系统的相关信息
●程序日志
由各种应用程序独立管理的日志文件,记录格式不统一
2. 日志文件
默认位于: /var/log 目录下
主要日志文件介绍
内核及系统日志由系统服务rsyslog 统一管理,主配置文件为 /etc/rsyslog.conf
Linux操作系统本身和大部分服务器程序的日志文件都默认放在目录/var/log/下。
常见的一些日志文件:
内核及公共消息日志: /var/log/messages | 记录Linux内核消息及各种应用程序的公共日志信息,包括启动、To错误、网络错误、程序故障等。对于未使用独立日志文件的应用程序或服务,一般都可以从该日志文件中获得相关的事件记录信息。 |
---|---|
计划任务日志: /var/ log / cron | 记录crond计划任务产生的事件信息。 |
系统引导日志: /var/log /dmesg | 记录Linux系统在引导过程中的各种事件信息。 |
邮件系统日志: /var/log/maillog | 记录Linux系统在引导过程中的各种事件信息。 |
用户登录日志: /var/log /secure /var/log/lastlog /var/log/wtmp /var/run/btmp | 记录用户认证相关的安全事件信息 记录每个用户最近的登录事件。二进制格式 记录每个用户登录、注销及系统启动和停机事件。二进制格式 记录失败的、错误的登录尝试及验证事件。二进制格式 |
vim /etc/rsyslog.conf #查看rsyslog.conf配置文件
*.info;mail.none ;authpriv.none ; cron. none /var/ log/message
*.info
#表示info等级及以上的所有等级的信息都写到对应的日志文件里
mail.none
#表示某事件的信息不写到日志文件里(这里比如是邮件)
3. Linux系统内核日志消息
1. 日志消息的优先(数字等级越小,优先级越高,消息越重要):
2. 用户日志分析
保存了用户登录、退出系统等相关信息
/var/log/lastlog:最近的用户登录事件
/varllog/wtmp:用户登录、注销及系统开、关机事件
/var/run/utmp:当前登录的每个用户的详细信息
/var/log/secure:与用户验证相关的安全性事件
分析工具
users 、who、w、last、 lastb
last命令用于查询成功登录到系统的用户记录
lastb命令用于查询登录失败的用户记录
3. 程序日志分析
由相应的应用程序独立进行管理
Web服务:/var/log/httpd/
access log/记录客户访问事件
error log/记录错误事件
●代理服务: /var/log/squid/
access.log、cache.log
●分析工具
●文本查看、grep过滤检索、Webmin管理套件中查看
●awk、sed等文本过滤、格式化编辑工具
Webalizer、Awstats等专用日志分析工具
公共日志/var/ log /messages 文件的记录格式
时间标签:消息发出的日期和时间
主机名:生成消息的计算机的名称
子系统名称:发出消息的应用程序的名称
消息:消息的具体内容
程序自己维护日志记录,httpd 网站服务程序使用两个日志文件:
access_log #记录客户访问事件
error_log #记录错误事件
4. 日志管理策略
及时作好备份和归档
延长日志保存期限
控制日志访问权限
●日志中可能会包含各类敏感信息,如账户、口令等
集中管理日志
●将服务器的日志文件发到统一的日志文件服务器
●便于日志信息的统一收集、整理和分析
●杜绝日志信息的意外丢失、恶意篡改或删除