Hello! 欢迎来到小浪云!


linux服务器开发—手写内存泄漏检测组件


内存泄漏是在不带有垃圾回收(garbage Collection)机制的语言中,如c/c++,经常出现的问题。由于缺乏垃圾回收,程序员需要自行管理分配的内存并进行释放。内存泄漏的根本原因在于程序未能释放申请的内存。

{ void *p1 = malloc(10); void *p2 = malloc(20);  free(p1); } 

上述代码片段中,申请了两块内存p1和p2,但只释放了p1,而未释放p2,导致了内存泄漏。

内存泄漏可能会导致以下后果:

随着程序运行时间的增长,未释放的内存会逐渐累积,导致进程中的可用内存越来越少,最终耗尽。这将导致后续的运行时代码无法成功分配所需的内存空间。

内存泄漏如何解决?

方案一 引入gc,从语言层面解决内存泄漏;

方案二 当发生内存泄漏的时候,能够精准的定位代码那个文件、那个函数、哪一行所引起的。

我们实现的是方案二,核心需求有两个。

需求1:能够检测出内存泄漏

需求2:能够指出是由代码的哪个文件、哪个函数、哪一行引起的内存泄漏

内存泄漏检测如何实现?

内存泄漏检测实现的核心思想就是对系统的malloc/free进行hook,用我们自己的malloc/free代替系统调用,将free的地址和malloc的地址进行匹配,查看最后又哪些malloc没有进行free,并将没有free的malloc操作的代码段地址进行记录,通过代码段定位所在的文件、函数、代码行。

方案一

采用__libc_malloc, libc_free与__builtin_return_address。它们是gcc提供的函数。

__libc_malloc, libc_free用来代替malloc/free。可以用来实现hook。需要注意的是,我们实现的malloc/free函数,内部会有一些函数如printf,fopen,需要防止它们会嵌套调用malloc/free。

__builtin_return_address,能够返回调用所在函数的代码段的地址。能够定位内存泄漏的具体位置。

malloc的时候,创建一个文件,文件名使用申请内存的地址,并记录申请该内存的代码段的地址;free的时候,删除对应的文件。

#include  #include  #include    int enable_malloc_hook = 1; extern void *__libc_malloc(size_t size);   int enable_free_hook = 1; extern void *__libc_free(void *p);   void *malloc(size_t size) {       if (enable_malloc_hook) {         enable_malloc_hook = 0;           void *p = __libc_malloc(size);           void *caller = __builtin_return_address(0);           char buff[128] = {0};         sprintf(buff, "./mem/%p.mem", p);           FILE *fp = fopen(buff, "w");         fprintf(fp, "[+%p]malloc --> addr:%p size:%lu ", caller, p, size);         fflush(fp);           enable_malloc_hook = 1;         return p;     } else {           return __libc_malloc(size);       }     return NULL; }   void free(void *p) {       if (enable_free_hook) {         enable_free_hook = 0;         char buff[128] = {0};         sprintf(buff, "./mem/%p.mem", p);           if (unlink(buff) printf("double free: %p ", p);         }           __libc_free(p);             enable_free_hook = 1;     } else {         __libc_free(p);     }   }   // gcc -o memleak_0 memleak_0.c -g // addr2line -f -e  memleak_0  -a 0x4006d8 int main() {         void *p1 = malloc(10);     void *p2 = malloc(20);       free(p1);       void *p3 = malloc(30);     void *p4 = malloc(40);       free(p2);     free(p4);       return 0; } 

linux服务器开发—手写内存泄漏检测组件

方案二

使用宏定义, 开启宏定义使用我们的版本,不开启就使用系统的。可以方便debug。

内存泄漏检测使用malloc_hook/free_hook, 定位内存泄漏位置,使用__FILE__, LINE.

#define malloc(size) malloc_hook(size, __FILE__, __LINE__)  #define free(p) free_hook(p, __FILE__, __LINE__) 

可以使用fclose,没有double free的问题了

#include  #include  #include    void *malloc_hook(size_t size, const char *file, int line) {       void *p = malloc(size);       char buff[128] = {0};     sprintf(buff, "./mem/%p.mem", p);       FILE *fp = fopen(buff, "w");     fprintf(fp, "[+%s:%d]malloc --> addr:%p size:%lu ", file, line, p, size);     fflush(fp);       fclose(fp);       return p;   }   void free_hook(void *p,  const char *file, int line) {       char buff[128] = {0};     sprintf(buff, "./mem/%p.mem", p);       if (unlink(buff) printf("double free: %p ", p);         return;     }       free(p);   }   #define malloc(size)   malloc_hook(size, __FILE__, __LINE__)   #define free(p)    free_hook(p, __FILE__, __LINE__)     // gcc -o memleak_0 memleak_0.c -g // addr2line -f -e  memleak_0  -a 0x4006d8 int main() {         void *p1 = malloc(10);     void *p2 = malloc(20);       free(p1);       void *p3 = malloc(30);   // memory leak     void *p4 = malloc(40);       free(p2);     free(p4);     free(p4); // double free       return 0;   } 

检测出两个问题,一次内存泄漏 p3,一次double free p4。结果OK。

linux服务器开发—手写内存泄漏检测组件

方案三

使用malloc.h中提供的hook: __malloc_hook, __free_hook.

这两个hook,默认是malloc,free。

参考mtrace的做法,通过改变这两个值来进行检测。

#include  #include  #include  #include    typedef void *(*malloc_hoot_t)(size_t size, const void *caller); malloc_hoot_t malloc_f;   typedef void (*free_hook_t)(void *p, const void *caller); free_hook_t free_f;   void mem_trace(void); void mem_untrace(void);   void *malloc_hook_f(size_t size, const void *caller) {       mem_untrace();     void *ptr = malloc(size);     // printf("+%p: addr[%p] ", caller, ptr);     char buff[128] = {0};     sprintf(buff, "./mem/%p.mem", ptr);       FILE *fp = fopen(buff, "w");     fprintf(fp, "[+%p]malloc --> addr:%p size:%lu ", caller, ptr, size);     fflush(fp);       fclose(fp);          mem_trace();     return ptr;   }   void free_hook_f(void *p, const void *caller) {     mem_untrace();     // printf("-%p: addr[%p] ", caller, p);       char buff[128] = {0};     sprintf(buff, "./mem/%p.mem", p);       if (unlink(buff) printf("double free: %p ", p);     }          free(p);     mem_trace();   }   void mem_trace(void) {       malloc_f = __malloc_hook;     free_f = __free_hook;       __malloc_hook = malloc_hook_f;     __free_hook = free_hook_f; }   void mem_untrace(void) {       __malloc_hook = malloc_f;     __free_hook = free_f;   }     // gcc -o memleak_0 memleak_0.c -g // addr2line -f -e  memleak_0  -a 0x4006d8 int main() {       mem_trace();     void *p1 = malloc(10);     void *p2 = malloc(20);       free(p1);       void *p3 = malloc(30);     void *p4 = malloc(40);       free(p2);     free(p4);     mem_untrace();       return 0;   } 

linux服务器开发—手写内存泄漏检测组件

方案四

使用mtrace

#include  #include  #include  #include  #include    // gcc -o memleak_0 memleak_0.c -g // addr2line -f -e  memleak_0  -a 0x4006d8 int main() {   // export MALLOC_TRACE=./test.log     mtrace();     void *p1 = malloc(10);     void *p2 = malloc(20);       free(p1);       void *p3 = malloc(30);     void *p4 = malloc(40);       free(p2);     free(p4);     muntrace();   #endif     return 0;   } 

linux服务器开发—手写内存泄漏检测组件

方案五

使用dlsym对malloc,free进行hook。

#define _GNU_SOURCE #include    #include  #include  #include    typedef void *(*malloc_t)(size_t size); malloc_t malloc_f;   typedef void (*free_t)(void *p); free_t free_f;     int enable_malloc_hook = 1;   int enable_free_hook = 1;   void *malloc(size_t size) {       if (enable_malloc_hook) {         enable_malloc_hook = 0;           void *p = malloc_f(size);           void *caller = __builtin_return_address(0);           char buff[128] = {0};         sprintf(buff, "./mem/%p.mem", p);           FILE *fp = fopen(buff, "w");         fprintf(fp, "[+%p]malloc --> addr:%p size:%lu ", caller, p, size);         fflush(fp);           enable_malloc_hook = 1;         return p;     } else {           return malloc_f(size);       }     return NULL; }   void free(void *p) {       if (enable_free_hook) {         enable_free_hook = 0;         char buff[128] = {0};         sprintf(buff, "./mem/%p.mem", p);           if (unlink(buff) printf("double free: %p ", p);         }           free_f(p);             enable_free_hook = 1;     } else {         free_f(p);     }   }   static int init_hook() {       malloc_f = dlsym(RTLD_NEXT, "malloc");       free_f = dlsym(RTLD_NEXT, "free");   }   // gcc -o memleak_0 memleak_0.c -ldl -g // addr2line -f -e  memleak_0  -a 0x4006d8 int main() {       init_hook();       void *p1 = malloc(10);     void *p2 = malloc(20);       free(p1);       void *p3 = malloc(30);     void *p4 = malloc(40);       free(p2);     free(p4);       return 0;   } 

linux服务器开发—手写内存泄漏检测组件

共享内存

mmap方法1

匿名mmap

#include  #include  #include        void *shm_mmap_alloc(int size) {       void *addr = mmap(NULL, size, PROT_READ|PROT_WRITE,          MAP_ANON | MAP_SHARED, -1, 0);     if (addr == MAP_FAILED) {         return NULL;     }       return addr;   }   int shm_mmap_free(void *addr, int size) {       return munmap(addr, size);   }     int main() {       char *addr = (char *)shm_mmap_alloc(1024);       pid_t pid = fork();     if (pid == 0) {         // child         int i = 0;           while(i 'a' + i++;             addr[i] = '';             sleep(1);         }     } else if (pid > 0) {         int i = 0;         while (i++ printf("parent: %s ", addr);             sleep(1);         }     }       shm_mmap_free(addr, 1024);   } 

linux服务器开发—手写内存泄漏检测组件

mmap方法2

/dev/zero

#include  #include  #include    #include  #include  #include      void *shm_mmap_alloc(int size) {     int fd = open("/dev/zero", O_RDWR);       void *addr = mmap(NULL, size, PROT_READ|PROT_WRITE,          MAP_SHARED, fd, 0);     close(fd);       if (addr == MAP_FAILED) {         return NULL;     }       return addr;   }   int shm_mmap_free(void *addr, int size) {       return munmap(addr, size);   }     int main() {       char *addr = (char *)shm_mmap_alloc(1024);       pid_t pid = fork();     if (pid == 0) {         // child         int i = 0;           while(i 'a' + i++;             addr[i] = '';             sleep(1);         }     } else if (pid > 0) {         int i = 0;         while (i++ printf("parent: %s ", addr);             sleep(1);         }     }       shm_mmap_free(addr, 1024);   } 

shmget方法

#include  #include  #include    #include  #include  #include    #include  #include      void *shm_alloc(int size) {        int segment_id = shmget(IPC_PRIVATE, size,                         IPC_CREAT | IPC_EXCL | S_IRUSR | S_IWUSR);     char *addr = (char *)shmat(segment_id, NULL, 0);       return addr;   }   int shm_free(void *addr) {       return shmdt(addr);   }     int main() {       char *addr = (char *)shm_alloc(1024);       pid_t pid = fork();     if (pid == 0) {         // child         int i = 0;           while(i 'a' + i++;             addr[i] = '';             sleep(1);         }     } else if (pid > 0) {         int i = 0;         while (i++ printf("parent: %s ", addr);             sleep(1);         }     }       shm_free(addr);   } 

相关阅读