malloc 的实现原理

摘要：由于面试题会问到 malloc 的底层原理，今天就来记录一下，毕竟学习要“知其所以然”，这样才会胸有成竹。

注：下面分析均是基于 linux 环境下的 malloc 实现。

Linux 的虚拟内存管理有几个关键概念：

1. 每个进程都有独立的虚拟地址空间，进程访问的虚拟地址并不是真正的物理地址；
2. 虚拟地址可通过每个进程上的页表(在每个进程的内核虚拟地址空间)与物理地址进行映射，获得真正物理地址；
3. 如果虚拟地址对应物理地址不在物理内存中，则产生缺页中断，真正分配物理地址，同时更新进程的页表；如果此时物理内存已耗尽，则根据内存替换算法淘汰部分页面至物理磁盘中。

结论

1. 当开辟的空间小于 128K 时，调用 brk（）函数，malloc 的底层实现是系统调用函数 brk（），其主要移动指针 _enddata(此时的 _enddata 指的是 Linux 地址空间中堆段的末尾地址，不是数据段的末尾地址)

2. 当开辟的空间大于 128K 时，mmap（）系统调用函数来在虚拟地址空间中（堆和栈中间，称为“文件映射区域”的地方）找一块空间来开辟。

具体内容

malloc()到底从哪里得到了内存空间？

  答案：是从堆里面获得空间。也就是说函数返回的指针是指向堆里面的一块内存。操作系统中有一个记录空闲内存地址的链表。 当操作系统收到程序的申请时，就会遍历该链表，然后就寻找第一个空间大于所申请空间的堆结点，然后就将该结点从空闲结点链表中删除，并将该结点的空间分配给程序。

malloc()在运行期动态分配分配内存,free()释放由其分配的内存。malloc()在分配用户传入的大小的时候，还分配的一个相关的用于管理的额外内存。不过，用户是看不到的。所以，

实际的大小 = 管理空间 + 用户空间

  在64位系统中，malloc(0)的有效内存大小为24，32位中为12，准确的说是至少是这么多，并且这些内存是可以用的

• _msize()为windows下检测堆上动态分配的内存块的大小。
• malloc_usable_size为LINUX下进行检测的函数。

堆中的内存块总是成块分配的，并不是申请多少字节，就拿出多少个字节的内存来提供使用。 堆中内存块的大小通常与内存对齐有关（8Byte(for 32bit system)或16Byte(for 64bit system)。

因此，在64位系统下，当(申请内存大小+sizeof(struct mem_control_block) )% 16 == 0的时候，刚好可以完成一次满额的分配，但是当其!=0的时候，就会多分配内存块。

如何查看进程发生缺页中断的次数？

用 ps -o majflt,minflt -C <program_name> 命令查看

我们需要重点关注majflt的值，因为相比minflt，majflt对于性能的损害是致命的，随机读一次磁盘的耗时数量级在几个毫秒，而minflt只有在大量的时候才会对性能产生影响。

当一个进程发生缺页中断（要访问的页不在主存，需要操作系统将其调入主存后再进行访问）的时候，进程会陷入核心态，执行以下操作：

1. 检查要访问的虚拟地址是否合法
2. 查找/分配一个物理页
3. 填充物理页内容（读取磁盘，或者直接置0，或者什么都不做）
4. 建立映射关系（虚拟地址到物理地址的映射关系）
5. 重复执行发生缺页中断的那条指令

如果第3步，需要读取磁盘，那么这次缺页就是 majfit(major fault：大错误)，否则就是 minflt(minor fault：小错误)

内存分配的原理

从操作系统角度看，进程分配内存有两种方式，分别由两个系统调用完成：brk 和 mmap (不考虑共享内存)

1. brk 是将数据段（.data）的最高地址指针 _edata 往高地址推
2. mmap 是在进程的虚拟地址空间中（堆和栈中间，称为“文件映射区域”的地方）找一块空闲的虚拟内存。

这两种方式分配的都是虚拟内存，没有分配物理内存。在第一次访问已分配的虚拟地址空间的时候，发生缺页中断，操作系统负责分配物理内存，然后建立虚拟内存和物理内存之间的映射关系。

具体分配过程

情况一：malloc 小于 128K 的内存，使用 brk() 函数分配

将_edata往高地址推(只分配虚拟