我们知道内存映射文件读取是各种读取方式中速度最快的,但是内存映射文件读取的API里没有提供按行读取的方法,需要自己实现。下面就是我利用内存映射文件实现按行读取文件的方法,如有错误之处请指出,或者有更好更快的实现方式麻烦也提供一下代码。

代码如下:

public class testMemoryMappedFile {

	public static void main(String[] agrs) throws IOException{
RandomAccessFile memoryMappedFile = new RandomAccessFile("D://test.txt","r");
int size =(int)memoryMappedFile.length();
MappedByteBuffer out = memoryMappedFile.getChannel().map(FileChannel.MapMode.READ_ONLY,0,size);
long start = System.currentTimeMillis();
//要根据文件行的平均字节大小来赋值
final int extra = 200;
int count = extra;
byte[] buf = new byte[count];
int j=0;
char ch ='\0';
boolean flag = false;
while(out.remaining()>0){
byte by = out.get();
ch =(char)by;
switch(ch){
case '\n':
flag = true;
break;
case '\r':
flag = true;
break;
default:
buf[j] = by;
break;
}
j++;
//读取的字符超过了buf 数组的大小,需要动态扩容
if(flag ==false && j>=count){
count = count + extra;
buf = copyOf(buf,count);
}
if(flag==true){
//这里的编码要看文件实际的编码
String line = new String(buf,"utf-8");
System.out.println(line);
flag = false;
buf = null;
count = extra;
buf = new byte[count];
j =0;
} }
//处理最后一次读取
if(j>0){
String line = new String(buf,"utf-8");
System.out.println(line);
} long end = System.currentTimeMillis();
System.out.println("耗时:"+(end-start));
memoryMappedFile.close(); } //扩充数组的容量
public static byte[] copyOf(byte[] original,int newLength){
byte[] copy = new byte[newLength];
System.arraycopy(original,0,copy,0,Math.min(original.length,newLength));
return copy;
} }

经过测试,可以达到50M/s的速度,依然比RandomAccessFile按行读取快100倍以上。

注意点:byte[] buf 这个字节数组的大小要动态扩容,如果一直固定的话速度也会比较慢,特别是如果设置很大的话,会更加慢。

参考博客:https://www.ibm.com/developerworks/cn/java/l-javaio/index.html 这个博客值得一看,对各个读取方式的速度做了一个比较,同时自己实现了优化的方法

随机推荐

  1. IT基础架构规划方案三(IT基础软件和系统规划)

    IT基础软件和系统规划 操作系统选型规划方案 根据对某集团的实际调研,获取了企业业务应用系统的建设情况,随着企业信息化建设的推进,需要对各种信息化管理系统和应用系统的服务器选型进行选型规划,根据不同的 ...

  2. 在线编辑器的使用-KindEditor

    第一种:KindEditor编辑器 步骤一:加载相应的核心的文件 下载地址:http://kindeditor.net/demo.php <link rel="stylesheet&q ...

  3. mysqldump原理3

    现网中数据库运维时,要经常对数据库做热备.为保证恢复时数据的完整性与一致性, 一种方法是在备份之前锁表,但锁表会影响正在运行的业务. mysqldump是当前MySQL中最常用的备份工具,通过mysq ...

  4. LeetCode解题报告:Linked List Cycle &amp;&amp; Linked List Cycle II

    LeetCode解题报告:Linked List Cycle && Linked List Cycle II 1题目 Linked List Cycle Given a linked ...

  5. 解决VS 于 致命错误 RC1015: 无法打开包含文件 &amp;#39;afxres.h&amp;#39; 问题

    在试验VS2010当一个问题困扰了我,它是开放的c++项目达产后,rc的dialog入口.您不能拖动控制,让我疯狂... 而最有发言权的是在线Directions问题. .题明显不是这个问题. 于是我 ...

  6. linux上安装php7 memcache扩展 和 安装服务端memcached

    linux上安装memcached不算太困难.唯一让本人感到困难的是 php7的memcache扩展安装.真的蛋疼! 先说安装服务端 memcached 1. 首先安装Libevent事件触发管理器. ...

  7. Delphi X10.2 + FireDAC 使用 SQL 语句 UPDATE

    MainForm.Conn.StartTransaction; UserManagerQuery.SQL.Clear; UserManagerQuery.SQL.Text := 'UPDATE tab ...

  8. Java IO模型

    Linux的内核将所有外部设备都看做一个文件来操作,对一个文件的读写操作会调用内核提供的系统命令,返回一个file descriptor(fd,文件描述符).而对一个Socket的读写也会有相应的描述 ...

  9. CentOS7 配置FTP服务器

    1.安装vsftpd yum -y install vsftpd 2.在firewalld中添加规则 为确保成功 先启动firewalld服务 systemctl enable firewalld s ...

  10. Python数据类型-7

    什么数据类型. int 1,2,3用于计算. bool:True,False,用户判断. str:存储少量数据,进行操作 'fjdsal' '二哥','`13243','fdshklj' '战三,李四 ...