java多线程批量下载文件
多线程下载文件
平时开发中有时会用到文件下载，为了提高文件的下载速率，采用多线程下载能够达到事半功倍的效果：
package test;
/**
* 文件下载类
* @author luweicheng
*
*/
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.io.InputStream;
import java.io.RandomAccessFile;
import java.net.HttpURLConnection;
import java.net.URL;
import java.net.URLConnection;
public class DownFile {
private URL fileUrl;// 文件下载路径
private int threadCount;// 文件下载的线程数
private int startPos;// 每个线程下载文件的开始位置
private int size;// 每个线程下载文件的长度
private int fileLength;// 文件总程度
private String pathName;// 下载的文件路径（包含文件名）
private Downthread[] tDownthreads;// 线程数组
public DownFile(URL url, int threadCount, String pathName) throws IOException {
fileUrl = url;
this.threadCount = threadCount;
this.pathName = pathName;
init();
}
/**
* 初始化
*
* @throws IOException
*/
private void init() throws IOException {
tDownthreads = new Downthread[threadCount];
HttpURLConnection conn = (HttpURLConnection) fileUrl.openConnection();
conn.setConnectTimeout(5000);
conn.setRequestMethod("GET");
conn.setRequestProperty("connection", "keep-alive");
fileLength = conn.getContentLength();
System.out.println("文件长度" + fileLength);
size = fileLength / threadCount;
System.out.println("每个下载量==" + size);
conn.disconnect();// 断开链接
}
public URL getFileUrl() {
return fileUrl;
}
public int getThreadCount() {
return this.threadCount;
}
/**
* 开始下载
*/
public void startDown() {
for (int i = 0; i < threadCount; i++) {
try {
RandomAccessFile raFile = new RandomAccessFile(pathName, "rw");
tDownthreads[i] = new Downthread(i * size, raFile, i);
tDownthreads[i].start();
} catch (FileNotFoundException e) {
e.printStackTrace();
}
}
}
/**
* 下载线程类
*
* @author luweicheng
*
*/
class Downthread extends Thread {
private int startPos;// 开始的位置
private InputStream is;
private RandomAccessFile raFile;
private int length;// 下载的文件长度
private int flag;// 线程标志
public Downthread(int startPos, RandomAccessFile raFile, int i) {
this.startPos = startPos;
this.raFile = raFile;
flag = i;
}
@Override
public void run() {
try {
HttpURLConnection connection = (HttpURLConnection) fileUrl.openConnection();
connection.setRequestMethod("GET");
connection.setRequestProperty("connection", "keep-alive");
connection.setConnectTimeout(5 * 1000);
is = connection.getInputStream();
is.skip(startPos);
raFile.seek(startPos);
byte[] buf = new byte[8 * 1024];
int hasread = 0;// 读出的字节数
// 将位置在 startPos - startPos 位置的数据读出写入
while (length < size && (hasread = is.read(buf)) != -1) {
raFile.write(buf, 0, hasread);
length += hasread;
System.out.println("*****线程" + flag + "下载了*********" + length);
}
System.out.println("*******线程" + flag + "下载完成*********");
} catch (IOException e) {
} finally {
try {
is.close();
raFile.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
}
}
效果展示：
详细配置信息可以参考这篇文章：
http://blog.ncmem.com/wordpress/2019/08/28/java%e6%89%b9%e9%87%8f%e4%b8%8b%e8%bd%bd/
java多线程批量下载文件的更多相关文章
- java多线程批量读取文件(七)
新公司入职一个多月了,至今没有事情可以做,十来个新同事都一样抓狂,所以大家都自己学习一些新东西,我最近在看zookeeper,感觉蛮不错的,和微服务的zuul以及eureka功能类似,只是代码复杂了一 ...
- Java多线程断点下载文件
Java实现断点续传+多线程下载 如下代码所示,每一步都有注解 思路: 通过URL连接到服务器上要下载的文件,得到文件的大小: 算出每条线程下载的开始位置和结束位置,例如,有两条线程下载100Byte ...
- java+web+批量下载文件
JavaWeb 文件下载功能 文件下载的实质就是文件拷贝,将文件从服务器端拷贝到浏览器端,所以文件下载需要IO技术将服务器端的文件读取到,然后写到response缓冲区中,然后再下载到个人客户端. 1 ...
- java多线程批量读取文件( 八)--读写分离
package com.net.thread.future; import java.io.BufferedReader; import java.io.BufferedWriter; import ...
- java/resteasy批量下载存储在阿里云OSS上的文件，并打包压缩
现在需要从oss上面批量下载文件并压缩打包,搜了很多相关博客,均是缺胳膊少腿,要么是和官网说法不一,要么就压缩包工具类不给出 官方API https://help.aliyun.com/documen ...
- Java批量下载文件并zip打包
客户需求:列表勾选需要的信息,点击批量下载文件的功能.这里分享下我们系统的解决方案:先生成要下载的文件,然后将其进行压缩,生成zip压缩文件,然后使用浏览器的下载功能即可完成批量下载的需求.以下是zi ...
- java批量下载文件为zip包
批量下载文件为zip包的工具类 package com.meeno.trainsys.util; import javax.servlet.http.HttpServletRequest; impor ...
- Java多线程的下载器（1）
实现了一个基于Java多线程的下载器,可提供的功能有: 1. 对文件使用多线程下载,并显示每时刻的下载速度. 2. 对多个下载进行管理,包括线程调度,内存管理等. 一:单个文件下载的管理 1. 单文件 ...
- python多线程批量下载远程图片
python多线程使用场景:多线程采集, 以及性能测试等 . 数据库驱动类-简单封装下 mysqlDriver.py #!/usr/bin/python3 #-*- coding: utf-8 -*- ...
随机推荐
- Linux设置ssh无密码登陆
最近在折腾Hadoop,要用到主机间无密码登陆,设置的时候遇到了一些问题,这里记录一下. 假设A需要无密码登陆B. 那么首先需要在A上使用ssh-keygen生成id_rsa.pub的公钥,生成时,一 ...
- Arduino 封装库
这里是一个在Arduino平台下将常用的代码以库的形式封装的示例. 第一步:在Arduino的安装目录下的对应目录建立文件夹 C:\Program Files (x86)\Arduino\librar ...
- 增量与位置PID
转载:http://blog.sina.com.cn/s/blog_408540af0100b17n.html http://bbs.ednchina.com/BLOG_ARTICLE_211739. ...
- 谈谈我对Java中CallBack的理解
谈谈我对Java中CallBack的理解 http://www.cnblogs.com/codingmyworld/archive/2011/07/22/2113514.html CallBack是回 ...
- 简单makefile的写法
一个项目下的文件比较多,如果单个的输入,比较费劲,所以就需要把编译过程写进一个MakeFile文件中. 下面建立5个文件,3个cxx文件,2个hxx头文件 //filename main.cxx #i ...
- WebService两种调用方法
1.wsimport生成本地客户端代码 命令提示窗口执行生成命令. 格式:wsimport -s "src目录" -p “生成类所在包名” -keep “wsdl发布地址” 示例: ...
- Cocos2D iOS之旅:如何写一个敲地鼠游戏(九):创建动画
大熊猫猪·侯佩原创或翻译作品.欢迎转载,转载请注明出处. 如果觉得写的不好请告诉我,如果觉得不错请多多支持点赞.谢谢! hopy ;) 免责申明:本博客提供的所有翻译文章原稿均来自互联网,仅供学习交流 ...
- 使用Autofac动态注入启动Api服务
Autofac Autofac(https://autofac.org/)是一款.NET的IOC组件,它可以和Owin, Web Api, ASP.NET MVC, .NET Core完美结合,帮助开 ...
- Python 计算当真因子个数为偶数个时为幸运数，计算区间内幸运数之和
晚饭后朋友发来个问题,正好无事做,动手写了一下 若一个正整数有偶数个不同的真因子,则称该数为幸运数.如4含有2个真因子为 1 和 2 .故4是幸运数.求[2,100]之间的全部幸运数之和. 常规思路 ...
- laravel教程入门笔记
安装laravel框架 1.安装命令 composer create-project --prefer-dist laravel/laravel ytkah ytkah表示文件夹名,如果不写的话自动会 ...