您的位置:首页 > 文旅 > 美景 > 清除系统缓存提高写盘速度的tips

清除系统缓存提高写盘速度的tips

2024/12/23 4:14:36 来源:https://blog.csdn.net/qq_34999565/article/details/141568794  浏览:    关键词:清除系统缓存提高写盘速度的tips

sync; echo 3 > /proc/sys/vm/drop_caches

上面是一个常用于 Linux 系统的命令组合,主要用于清理内存中的缓存。下面是对这条命令的详细解释:

  1. sync
    sync 命令用于将所有未写入磁盘的缓存数据写入磁盘。Linux 操作系统会将一些数据保存在内存中(例如文件系统的缓冲区),以提高性能。执行 sync 命令后,系统会将所有这些缓存数据写入磁盘,从而确保所有文件系统的数据都处于一致状态。这是为了防止在清理缓存时丢失数据。

  2. echo 3 > /proc/sys/vm/drop_caches
    这个命令部分的作用是通过向 /proc/sys/vm/drop_caches 文件写入一个值,来指示内核清理特定的内存缓存。不同的值有不同的作用:

echo 1 > /proc/sys/vm/drop_caches:清理页缓存(page cache)。
echo 2 > /proc/sys/vm/drop_caches:清理目录项缓存(dentries)和 inode 缓存。
echo 3 > /proc/sys/vm/drop_caches:清理页缓存、目录项缓存和 inode 缓存。
其中,3 是 1 和 2 的组合,因此 echo 3 会同时清理页缓存、目录项缓存和 inode 缓存。

  1. 总结
    组合起来看,sync; echo 3 > /proc/sys/vm/drop_caches 命令执行以下操作:

sync 确保所有数据都写入磁盘,避免数据丢失。
echo 3 > /proc/sys/vm/drop_caches 清理内存中的所有缓存,以释放内存空间。
通常,这个命令在需要释放系统内存或进行性能测试时使用。不过,这种操作会导致系统性能暂时下降,因为缓存被清理后,下一次访问数据时可能会需要重新加载到缓存中。

当内存中存储了大量数据缓存时,系统的可用内存会减少。在内存资源紧张的情况下,执行 echo 3 > /proc/sys/vm/drop_caches 可以清理内存中的页缓存、目录项缓存(dentries)和 inode 缓存,从而释放出更多的内存空间供程序使用。
如果系统即将进行新的数据缓存或处理操作,尤其是涉及大量数据的处理任务时,清理缓存可以释放内存,为后续操作提供更多的可用内存。这对于大规模数据处理、批处理任务或内存密集型应用尤其有用。
当系统使用大量内存来缓存数据,然后写入磁盘后,缓存数据通常仍然会保留在内存中,以提高读取性能。然而,这些缓存可能会占用大量内存,使得其他需要内存的操作无法顺利进行。通过清理缓存,系统可以将这些内存资源重新分配给其他任务,提高系统整体的内存利用效率。

posix_fadvise

posix_fadvise 是 POSIX 标准中的一个系统调用,用于向操作系统提供文件访问的建议,以帮助优化文件的读写性能。它允许程序明确告诉操作系统它即将如何使用文件,从而使操作系统可以调整其缓存或内存管理策略,以提高性能。

函数原型

#include <fcntl.h>int posix_fadvise(int fd, off_t offset, off_t len, int advice);

参数说明
fd: 打开的文件描述符。
offset: 起始的字节偏移量,表示从文件的哪个位置开始应用建议。
len: 需要应用建议的长度(字节数)。如果为 0,则表示应用到文件的结尾。
advice: 访问模式建议,它是一个整数,取值如下:
常见的 advice 参数
POSIX_FADV_NORMAL:默认访问模式,表示不作特别优化。
POSIX_FADV_SEQUENTIAL:表示应用程序将按顺序访问文件,操作系统可能会进行预读以加速顺序读取。
POSIX_FADV_RANDOM:表示应用程序将以随机顺序访问文件,操作系统可能会减少预读以避免浪费内存。
POSIX_FADV_NOREUSE:表示应用程序将访问某一文件区域一次,之后不会再访问,因此操作系统可以避免将这部分内容缓存。
POSIX_FADV_WILLNEED:表示应用程序即将需要访问某一文件区域,操作系统可以开始预读这部分数据。
POSIX_FADV_DONTNEED:表示应用程序不再需要某一文件区域的内容,操作系统可以将其从缓存中移除。
返回值
posix_fadvise 的返回值为 0 表示调用成功。失败时,返回一个负值,表示出现错误,并设置相应的 errno。

使用场景
提升性能:通过 posix_fadvise,程序可以帮助操作系统更好地管理文件缓存,从而提升 I/O 性能。例如,数据库管理系统可以使用 POSIX_FADV_SEQUENTIAL 提供顺序读取建议,来减少磁盘 I/O。
降低内存使用:如果知道某些数据不需要缓存,可以使用 POSIX_FADV_DONTNEED 来减少内存的占用。
示例代码
以下是一个简单的示例,使用 posix_fadvise 来告诉操作系统我们将以顺序的方式读取一个文件:

#include <fcntl.h>
#include <unistd.h>
#include <stdio.h>int main() {int fd = open("example.txt", O_RDONLY);if (fd == -1) {perror("Failed to open file");return 1;}// 提供顺序读取建议if (posix_fadvise(fd, 0, 0, POSIX_FADV_SEQUENTIAL) != 0) {perror("posix_fadvise failed");}// 继续执行文件操作...close(fd);return 0;
}posix_fadvise 提供了一种方式,让开发者能够与操作系统进行交互,优化文件 I/O 操作的性能。通过适当的使用这个系统调用,可以显著改善某些场景下的程序表现

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com