https://blog.csdn.net/bingqingsuimeng/article/details/8133529
本人做流媒体开发的，工作中需要将mpg文件转化成一定格式发送到网络，由于文件太大，程序用mmap()来实现文件的读取，但在实测过程中发现一个大问题，如下：
服务器配置：
CPU:两颗至强3.0
内存：2G
磁盘：3个SATA硬盘组成磁盘阵列
测试时同时运行30个播放程序读取30个不同的mpg文件，程序起初运行画面播放非常流畅，几分钟过后，内存剩下15MB左右时，mmap()就开始不停 的进行页面置换，将新的数据读入内存，老的数据置换出去，这时的磁盘利用率不到1％，但CPU耗在iowait上的时间却有90％多
各位大侠我该怎么办，如果不用内存映射还有没有其他的办法处理大文件？？？
开个4G的swap分区挂上去试试看
或者，把文件分段mmap(),如100M的文件做10次mmap(),并且要求在播放1段完前做好下段准备工作
你挂mmap不释放怎么行.
你mmap一个大文件, 要在这个大文件播放完后才能释放.
要把大文件分小
你可以分段映射试试看,比如一次映射2M,并跟踪程序在这个映射内的使用情况,如果这此映射的数据快用完时,就提前映射下一段.在上一段用完后,就释放掉其映射.
今天又做了一下测试，先映射整个文件，在使用过程中一段一段释放，还是阻塞在IOWait,另外挂载4G交换分区的方法也试了，效果更差
在国外论坛上看了些IOWait的东东，有很多都说红帽企业版＋Xeons处理器+磁盘阵列容易发生IOWait，和我现在的配置一模一样，用单独的大文件拷贝就能测得出来，明天下个新内核编译一下试试看
问题已解决，好高兴^_^
问题原因：
调用mmap()时内核只是建立了逻辑地址到物理地址的映射表，并没有映射任何数据到内存。
在你要访问数据时内核会检查数据所在分页是否在内存，如果不在，则发出一次缺页中断，linux默认分页为4K，可以想象读一个将近2G的电影文件要发生多少次中断，I can't bear it!!!
解决办法：
将madvise()和mmap()搭配起来使用，在使用数据前告诉内核这一段数据我要用，将其一次读入内存，现在程序可以并发150个数据流了，每秒最高可读70MB数据
感谢大家的支持，另外还要特别感谢老兵哥在“timer frequency”问题上的支持，那个问题还有待研究，周末了，祝大家愉快。
++++++++++++++++++++++++++++++++++++++++++++++++++++++
今天在封装一个"内存映射文件"读取的类。编写WINDOWS版本的时候发现CreateFile()函数中，可以在参数dwFlagsAndAttributes中指定FILE_FLAG_SEQUENTIAL_SCAN来优化顺序读的情况。那么，在LINUX中如何优化顺序读呢？
查了一下资料，发现madvise()这个函数可以对映射的内存提出使用建议，从而提高内存。
以下是我进行对比测试的代码，可以明显的发现：使用MADV_SEQUENTIAL标志比使用MADV_RANDOM标志更快。
以下是代码：
=============================================================
//test_advise.cpp
//测试madvise()函数的差异
#include <stdio.h>
#include <sys/mman.h>
#include <string.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#include <time.h>
#include <sys/time.h>
#ifndef P
#define P(format, ...) do \
{ \
fprintf(stdout, "%s %s %d " format "\n", __FILE__, __FUNCTION__, __LINE__, ##__VA_ARGS__); \
fflush(stdout); \
} \
while (0);
#endif
static int operator-(struct timeval& lsh, struct timeval& rsh)
{
if (lsh.tv_sec==rsh.tv_sec)
{
return lsh.tv_usec - rsh.tv_usec;
}
else
{
return (lsh.tv_sec-rsh.tv_sec)*1000000 + (lsh.tv_usec - rsh.tv_usec);
}
}
#define FILE_LEGNTH (200*1024*1024) /*200MB的文件*/
/// 创建一个大的空文件
void CreateFile()
{
int fd = open("test.dat", O_CREAT | O_RDWR);
if (fd<1)
{
P("open error");
return;
}
lseek(fd, FILE_LEGNTH-1, SEEK_SET);
write(fd, "\0", 1);
close(fd);
fd = -1;
}
/// 顺序读
void SequenceRead()
{
int fd = open("test.dat", O_RDWR | O_EXCL);
if (-1==fd)
{
P("open error");
return;
}
void* p = mmap(NULL, FILE_LEGNTH, PROT_READ, MAP_SHARED, fd, 0);
if (MAP_FAILED==p)
{
P("map error");
return;
}
close(fd);
fd = -1;
//内存使用建议
if (-1==madvise(p, FILE_LEGNTH, MADV_WILLNEED | MADV_SEQUENTIAL))
{
P("madvise error");
return;
}
//下面开始逐个字符读取
struct timeval start;
struct timeval end;
int i;
unsigned char* pTemp = (unsigned char*)p;
int nSum = 0;
gettimeofday(&start, NULL);
for (i=0; i<FILE_LEGNTH; i++)
{
nSum += *pTemp;
pTemp++;
}
gettimeofday(&end, NULL);
//
if (-1==munmap(p, FILE_LEGNTH))
{
P("unmap error");
return;
}
//显示占用时间
struct tm stTime;
localtime_r(&start.tv_sec, &stTime);
char strTemp[40];
strftime(strTemp, sizeof(strTemp)-1, "%Y-%m-%d %H:%M:%S", &stTime);
printf("start=%s.%07d\n", strTemp, (int)start.tv_usec);
//
localtime_r(&end.tv_sec, &stTime);
strftime(strTemp, sizeof(strTemp)-1, "%Y-%m-%d %H:%M:%S", &stTime);
printf("end =%s.%07d\n", strTemp, (int)end.tv_usec);
printf("spend=%d 微秒\n", end-start);
}
/// 随机读
void RandomRead()
{
int fd = open("test.dat", O_RDWR | O_EXCL);
if (-1==fd)
{
P("open error");
return;
}
void* p = mmap(NULL, FILE_LEGNTH, PROT_READ, MAP_SHARED, fd, 0);
if (MAP_FAILED==p)
{
P("map error");
return;
}
close(fd);
fd = -1;
//内存使用建议
if (-1==madvise(p, FILE_LEGNTH, MADV_RANDOM))
{
P("madvise error");
return;
}
//下面开始逐个字符读取
struct timeval start;
struct timeval end;
int i;
unsigned char* pTemp = (unsigned char*)p;
int nSum = 0;
gettimeofday(&start, NULL);
for (i=0; i<FILE_LEGNTH; i++)
{
nSum += *pTemp;
pTemp++;
}
gettimeofday(&end, NULL);
//
if (-1==munmap(p, FILE_LEGNTH))
{
P("unmap error");
return;
}
//显示占用时间
struct tm stTime;
localtime_r(&start.tv_sec, &stTime);
char strTemp[40];
strftime(strTemp, sizeof(strTemp)-1, "%Y-%m-%d %H:%M:%S", &stTime);
printf("start=%s.%07d\n", strTemp, (int)start.tv_usec);
//
localtime_r(&end.tv_sec, &stTime);
strftime(strTemp, sizeof(strTemp)-1, "%Y-%m-%d %H:%M:%S", &stTime);
printf("end =%s.%07d\n", strTemp, (int)end.tv_usec);
printf("spend=%d 微秒\n", end-start);
}
int main()
{
CreateFile();
RandomRead();
SequenceRead();
return 1;
}
/*
g++ -o test_advise.o -c test_advise.cpp -g -Wall -Werror
g++ -o test_advise test_advise.o
*/
=============================================================
需要注意的是，当没有使用madvise的时候，相当于使用madvise(... MADV_NORMAL)，这种情况下仍然会进行预读，性能和使用madvise(... MADV_SEQUENTIAL)差不多。我猜想，使用MADV_SEQUENTIAL标志的时候，对于实际的物理内存的占用将是最小的，关于这点，希望内核高手能够给我些指点，谢谢！