个人主页~
缓冲区和文件系统
- 一、FILE结构
- 1、fd
- 2、缓冲区
- (一)有换行有return全部打印
- (二)无换行无return的C接口打印
- (三)无换行无return的系统调用接口打印
- (四)有换行无return的C接口打印
- (五)无换行有return的C接口打印
- (六)深入理解缓冲区在用户空间
- 二、文件系统
- 1、固态硬盘
- 2、逻辑地址LBA
- (一)数据块 Data Blocks
- (二)inode表 inode Table
- (1)直接块指针
- (2)一次间接块指针
- (3)二次间接块指针
- (4)三次间接块指针
- (三)inode位图 inode Bitmap
- (四)块位图 Block Bitmap
- (五)块组描述符表 Group Descriptor Table
- (六)超级块 Super Block
一、FILE结构
1、fd
FILE是在C中封装起来的一个结构体,那我们访问文件的时候都是通过fd访问的,自然在FILE中是封装了fd的,FILE结构体中,int _file
存放的就是fd,其他的成员基本都是与缓冲区有关的
2、缓冲区
(一)有换行有return全部打印
看下面一段代码:
(二)无换行无return的C接口打印
很显然的,我们打印出了所有我们需要的内容,我们再看下一段
理想状态下我们应该是打印出结果后然后进行while一直循环,实际上是一只不会打印,这是为什么呢?是的,待在缓冲区里
首先我们要知道,缓冲区的大概位置,我们上面贴了一张FILE结构体的结构图,我们可以很清楚地看到缓冲区是FILE的成员指针指向的一块位置,也就是说缓冲区一定在用户空间而不是内核空间
(三)无换行无return的系统调用接口打印
我们在调用上面三个函数的时候,都是调用的C接口,自然都待在缓冲区里了,我们再看下一个程序
在这个程序中我们直接调用系统调用接口write,所以它不会经过C语言的缓冲区,而是直接打印
(四)有换行无return的C接口打印
我们再来看一组程序
这个程序和(二)程序的区别就只有换行,这告诉我们,C语言缓冲区对于显式器是行缓冲的,C语言标准库的文件流有三种缓冲模式,分别是全缓冲、行缓冲和无缓冲
全缓冲 _IOFBF :通常用于对磁盘文件的操作,数据会先被存储在缓冲区中,直到缓冲区被填满或者调用 fflush 函数、关闭文件(fclose)时,才会将缓冲区中的数据写入实际的文件,在全缓冲模式下,不会因为遇到换行符而自动刷新缓冲区
行缓冲 _IOLBF :常见于标准输入、标准输出等终端设备相关的流,当遇到换行符(\n)时,会自动刷新缓冲区,将缓冲区中的数据写入对应的设备或文件,某些情况下即使没有换行符,缓冲区满时也会刷新
无缓冲 _IONBF :标准错误输出通常默认是无缓冲的,确保错误信息能够立即显示,在无缓冲模式下,数据会立即写入对应的设备或文件,不会进行缓冲,因此不存在行刷新的概念
(五)无换行有return的C接口打印
进程退出return的时候,也会对缓冲区进行刷新
(六)深入理解缓冲区在用户空间
我们打印在显示器上的内容和打印在文件中的内容不一致,只有write打印了一遍,其他是按照顺序打印了两遍,我们当然能看出来这是fork的锅,接下来我们就深入理解谈一谈缓冲区
首先我们分析第一张结果图,因为显示器是行缓冲的,所以我们C接口的打印放到缓冲区中一行就会被打印到屏幕上一行,三条语句执行完之后缓冲区是空的,然后write再往上写,所以整个打印出来的顺序也是按照代码中来的
然后我们分析最后一张图,第一个我们可以肯定的是,打印到文件一定不是行缓冲,那就更不是无缓冲,实际上,由于文件是在存储硬件当中的,由于我们的效率问题,对于这种存储类的缓冲条件都是全缓冲,把缓冲区塞满再写入存储硬件中比塞一点写一点效率高得多,所以前三句C接口调用的打印全部在缓冲区中,然后write将自己打印,然后我们就碰到了fork,创建子进程,父子进程此时共享代码段和数据段,因为它们都没有做修改,然后我们就碰到了return 0,前面我们提到:进程结束也是要清空缓冲区的,此时父或子进程某一个先结束(由调度器决定),其中一个进程清空缓冲区的行为会引起另一个进程的写实拷贝,此时我们就有两份缓冲区,两个进程都结束都要清空缓冲区,自然在缓冲区中的内容要打印两份了(在这里要注意了,不只是子进程修改数据会引起子进程的写时拷贝,父进程对数据做修改时父进程也要发生写时拷贝,被写时拷贝的数据再再发生修改就直接修改了,不发生写实拷贝)
二、文件系统
文件一般存储在硬盘当中,我们已经学习了动态的文件,也就是进程打开文件访问文件的过程,现在我们来学习一下静态的文件,我们来直接学习一下固态硬盘
1、固态硬盘
固态硬盘是一种基于NAND闪存的存储单元,我们常用的笔记本上的固态硬盘存储单元类型一般都是TLC的,三层单元,每个单元存储3bits,寿命较短成本较低,它通过电荷存储数据,通过高低电平区分0/1
NAND闪存的写入操作只能在已擦除的块上进行,擦除的最小单位就是块,通常为128KB-4MB,写入的最小单位是页,通常为4KB,所以它读的速度特别快,可以到微秒级,因为需要先擦除块,写的速度较慢,只能到毫秒级,每个块的擦写次数有限,超过后就会失效,一般TLC的擦鞋上限在500-1500次
这样的性质会带来一些不太好的结果,比如我们要写的内容很小,假设为4KB,那么我们先要擦除高达4MB的块才能进行写入,所以我们通过算法,将写入分散到所有块,避免某些块因为多次擦除而失效
固态硬盘控制器中的核心逻辑叫做FTL ( Flash Translation Layer ) Flash翻译层,负责将文件系统的逻辑地址映射到物理地址,是不是有点像进程地址通过页表映射到物理地址呢
接下来我们要学习文件系统的逻辑地址LBA,因为我们很清楚FTL映射到物理地址的过程是与页表映射是相似的,而逻辑地址的组织方式与进程地址可是不同的,虽然是有相似之处的~
2、逻辑地址LBA
LBA 从 0 开始,按照连续的整数顺序依次为存储设备中的每个数据块编号,存储设备中的每个数据块都对应一个唯一的 LBA 值,比如第一个数据块的 LBA 是 0,第二个是 1,依此类推,我们对应的数据块有Super Block、Group Descriptor Table、Block Bitmap、inode Bitmap、inode Table、Data blocks六个,最理想的情况下它们的LBA按照我上面写的顺序从0到5
我们把一块固态硬盘,我们笔记本上有一些品牌比如说某L开头的品牌,在我们购买的时候是默认给你带1T固态的,一般的品牌就是512G,我们拿到笔记本之后会对电脑进行分区,C盘作为系统盘分到最多的内存,G盘作为游戏盘给到300多G,然后D盘用来学习写代码,留个200G,EF盘用来存一些其他的东西,这样一套流程下来我们就分好盘了,我们说对硬盘做管理当然也是先描述后组织,Block Group就是组织和管理磁盘空间的一种重要结构
在n个Block Group之前有一个叫做Boot Block(引导块)的区域,在计算机启动过程中起着至关重要的作用,它是计算机启动过程的起点,没有引导块中的引导代码,计算机就无法知道如何加载操作系统,也就无法正常启动
我们按照知识理解易难顺序倒着往前来说
(一)数据块 Data Blocks
用来存储数据的块,NAND FLASH 内部的数据块由多个page组成,通常大小为4KB(现在也有8KB和16KB),这个page就是我们前面提到的最小写入单位:页
(二)inode表 inode Table
inode全称为索引节点,是一种数据结构,用于存储单个文件的全部属性,一般来说每个文件都有一个inode
struct inode
{//inode编号//文件类型//权限//引用计数//拥有者//所属组// 直接块指针unsigned long i_block[NUM];// 一次间接块指针unsigned long i_ind_block;// 二次间接块指针unsigned long i_dind_block;// 三次间接块指针unsigned long i_tind_block;
}
其中inode编号每个文件都是不同的,我们主要说说数据块指针
(1)直接块指针
直接块指针的NUM一般是12,它指向的位置是我们可以直接用来存储的位置,如果我们内容比较小(12*4KB = 48KB
以内),那么直接块指针可以直接访问这些数据
(2)一次间接块指针
如果内容大于48KB,就需要一次间接块指针,一次间接块指针指向一个间接块,这个间接块存储中存储着多个指向数据块的指针,如我们的内容在(4KB/4b)*4KB = 4MB
以内,通过一次间接块指针和直接块指针就可以访问这些数据
(3)二次间接块指针
二次间接块指针指向一个二次间接块,这个二次间接块存储中存储着多个指向间接块的指针,与一次间接块指针类似,这样我们存储的范围就达到了(4KB/4b)*(4KB/4b)*4KB = 4GB
(4)三次间接块指针
同上,最终我们最大的存储范围达到了 (4KB/4b)*(4KB/4b)*(4KB/4b)*4KB = 4TB
(三)inode位图 inode Bitmap
我们通过位图来和inode一一对应,位图上对应的比特位为0,那么该inode就没有被使用,可以被分配,如果为1则被占用,当从1变为0时,该inode又可以被分配了,其实这个过程就是一个删除的过程,一旦一个文件的inode无了,那么这文件是真的无了
在文件系统中,标识文件不是看它的名字,而是看它的inode,一旦inode和文件取消绑定了,那么操作系统就找不到这个文件了,再次写入其他内容的时候也就会被擦除覆盖了,换而言之,删除恒等于可以被覆盖
(四)块位图 Block Bitmap
我们通过位图来和数据块page一一对应,位图上对应的比特位为0,那么该页page就没有被使用,可以被分配,如果为1则被占用,当从1变为0时,该page又可以被分配了,如果我们要删除一块空间,只需要将它的对应的位置0,到再次被写入的时候就会消失了,当然我们的NAND闪存是定期擦除的,过一段时间它自己就被擦除了
(五)块组描述符表 Group Descriptor Table
记录了该块组的详细信息,包括块位图的位置、inode 位图的位置、inode 表的起始位置等,用于定位和管理块组内的各种数据结构
(六)超级块 Super Block
超级块是文件系统的核心,记录了文件系统的全局信息,如块大小、inode 数量、空闲块数量等,为了防止超级块损坏导致文件系统无法使用,每个块组中可能会包含超级块的副本,不过并非所有块组都有
今日分享就到这里啦~