百万行mysql数据库优化和10G大文件上传方案

最近这几天正在忙这个优化的方案,一直没时间耍,忙碌了一段时间终于还是拿下了这个项目?项目中不要每次都把程序上的问题,让mysql数据库来承担,它只是个mysql而已。

问题1:针对MySQL Community5.5+版本优化业务执行速度,提高整体系统效率

测试服务器硬件环境:Intel Core i5,8gb内存,7200rpm硬盘,Win7专业版

Table名称

读取频率

写入频率

最低连续读取速度

最低连续写入速度

预估数据量

C….

频繁

不频繁

30行/150ms

100行/s

百万行

D…

频繁

不频繁

30行/150ms

100行/s

百万行

De…..

频繁

不频繁

30行/150ms

10行/s

万行

St……

频繁

不频繁

30行/150ms

100行/s

百万行

S……

频繁

频繁

30行/150ms

100行/s

百万行

Pr...

很频繁

不频繁

1000行/s-5000行/s

100行/s

百万行/表

De…….

很频繁

频繁

1000行/s-5000行/s

1000行/s

百万行/表

De……

很频繁

频繁

1000行/s-5000行/s

1000行/s

百万行/表

看到这个想到的是拆分表,不外乎就是表的纵向拆分和横向拆分,我在项目中也遇到过类似的问题,当时也是使用mysql数据库当时大概列数有800多,mysql数据一张表的字段是不能有800多个,最开始测试的是用String 按照JSON的格式存入的数据库,结果发现处理时加入了循环,反而使系统性能变得很慢导出一个Excel也是很吃力的,最后采用分表大概分了9张,解决了问题,其实现在想想是不是使用对象的序列化,将序列化的对象存入数据库呢,使用在从数据库中取出来反序列化使用,当时分表后满足了需求就没再测试对象的序列化的方法了。但是这次给的需求不需要纵向拆表,是否需要横向拆表呢?测试一次先,每次的点子都是要测试的e。

有些时候在mysql中还是要善用limit,

除开主键其余没加索引,这样上了百万条的数据查询应该是不存在问题,话不多说优化SQL吧。

但是插入还是存在问题,是否需要分表呢?如果只是上百万还是可以不用分表的,如果分表就要处理好分页查询,删除和增加的操作,我还是喜欢使用Mysql数据的同步,使用两个mysql数据库,服务器ip分别为ip1和ip2,我们将ip1作为Master数据库,把ip2作为slave服务器,我们可以采用单项同步的方式,就是Master的数据是主数据,然后slave主动去Master哪儿同步数据回来,太晚了,明天测试通过就可以开始优化项目了。

在数据库中数据在100w多行时插入数据耗时2.822秒的时间,

问题2:大文件上传居然有这样的要求,

档案大小

Action

最大执行内存占用

内网最低传输速率(802.11g)

50mb

Upload

5mb

1mb/s

500mb

Upload

5mb

1mb/s

5gb

Upload

5mb

1mb/s

10gb

Upload

5mb

1mb/s

50mb

Download

5mb

1mb/s

500mb

Download

5mb

1mb/s

5gb

Download

5mb

1mb/s

10gb

Download

5mb

1mb/s

以前遇到过一个视频网站上传要求也是最大4G左右,这次居然要上传最大的有10G,

为提高大文件传输速率,将目标文件分成N块文件,对应启动N个线程通过TCP/IP协议来传 输,传输文件前先检查是否存在该文件的临时文件群,如果存在找出其断点位置进行续传,最后合并文 件。异步分割发送,用目前最主流的FLASH+AJAX技术。ActionScript和HTML5是支持SOCKET通讯的,呵呵。

实现流程:

1 客户端向服务端发送传递文件启动信号(发送文件名字)

2 服务器检查是否包含有该文件所对应的临时文件(eg, 传输file.txt,就检查是否存在temp[i]file.txt,(i为 第N块临时文件)),如果存在就发送所有临时文件的断点位置给客户端

3 客户端更具文件大小将文件分为N块(每块默认大小为500M,可通过参数进行配置)以加快传输速率, 然后根据服务器返回的断点位置(如果有)对每块文件进行移位,移动到断点位置进行续传,如果服务器 上没有临时文件夹,就进行普通的传送文件

4当所有线程工作完成,合并所有临时文件夹。

大文件上传的问题已经实现使用的是serverlight实现的。测试通过了大概是5-6M每秒。

 
 

百万行mysql数据库优化和10G大文件上传方案的更多相关文章

  1. 百万行mysql数据库优化(补充)

    我上大学的那个时候喜欢研究一些数据库的技术,那时候觉得数据处理很重要,而且数据优化也是相当重要的,看了很多数据库方面的资料,虽然在实际的项目也遇到过一些数据库优化的任务,完成之后还是有些心情愉快.但是 ...

  2. 使用commons-fileupload包进行大文件上传注意事项

    项目中使用 commons-fileupload-1.2.1.jar 进行大文件上传. 测试了一把,效果很不错. 总结如下: 必须设置好上传文件的最大阀值 final long MAX_SIZE = ...

  3. 解决PHP大文件上传问题

    PHP大文件上传问题    今天负责创业计划大赛的老师问我作品上报系统上传不了大文件,我当时纳闷了,做的时候没限制上传文件的大小阿,怎么会传不了呢,自己亲自体验了番,果然不 行,想了好一会儿才有点眉目 ...

  4. 因用了NeatUpload大文件上传控件而导致Nonfile portion > 4194304 bytes错误的解决方法

    今天遇到一个问题,就是“NeatUpload大文件上传控件而导致Nonfile portion > 4194304 bytes错误”,百度后发现了一个解决方法,跟大家分享下: NeatUploa ...

  5. ASP.NET 大文件上传的简单处理

    在 ASP.NET 开发的过程中,文件上传往往使用自带的 FileUpload 控件,可是用过的人都知道,这个控件的局限性十分大,最大的问题就在于上传大文件时让开发者尤为的头疼,而且,上传时无法方便的 ...

  6. 【原创】用JAVA实现大文件上传及显示进度信息

    用JAVA实现大文件上传及显示进度信息 ---解析HTTP MultiPart协议 (本文提供全部源码下载,请访问 https://github.com/grayprince/UploadBigFil ...

  7. BootStrap Progressbar 实现大文件上传的进度条

    1.首先实现大文件上传,如果是几兆或者几十兆的文件就用基本的上传方式就可以了,但是如果是大文件上传的话最好是用分片上传的方式.我这里主要是使用在客户端进行分片读取到服务器段,然后保存,到了服务器段读取 ...

  8. 使用NeatUpload控件实现ASP.NET大文件上传

    使用NeatUpload控件实现ASP.NET大文件上传 一般10M以下的文件上传通过设置Web.Config,再用VS自带的FileUpload控件就可以了,但是如果要上传100M甚至1G的文件就不 ...

  9. Asp.net mvc 大文件上传 断点续传

    Asp.net mvc 大文件上传 断点续传 进度条   概述 项目中需要一个上传200M-500M的文件大小的功能,需要断点续传.上传性能稳定.突破asp.net上传限制.一开始看到51CTO上的这 ...

随机推荐

  1. openfoam 的安装【转载】

    原文地址: http://blog.sina.com.cn/s/blog_14bf001d10102wifw.html OpenFOAM安装 OpenFOAM基于Linux系统下运行,由于对Linux ...

  2. STM32——CAN通讯实现

    CAN通讯的实现步骤: 1.CAN初始化,其中包括:a.配置CAN时钟,配置IO: b.使能CAN中断向量: c.CAN硬件寄存器配置初始化: d.过滤器初始化: e.打开CAN中断. 2.CAN发送 ...

  3. <2016-1-28>

    1.链接的网址前加入?action=bs-transfer@mdp&url=http://www.baidu.com 2.登录页面的验证 <script> function log ...

  4. .Net中的加密解密

    返回博客列表 转 .Net中的加密解密 李朝强 发布时间: 2015/11/23 12:55 阅读: 33 收藏: 3 点赞: 0 评论: 0 在一些比较重要的应用场景中,通过网络传递数据需要进行加密 ...

  5. lua里面求int数组的union,diff,inter,distinct 方法实现

    --利用lua中的table是哈希表这一点进行计算 function lua_distinct_union (union_t1,union_t2) if(union_t2==nil) then uni ...

  6. Android--SQLite的使用

    1.熟悉了SQLite的一般用法之后,在实际开发中,为了能够更好的管理和维护数据库,我们会封装一个继承自SQLiteOpenHelper类的数据库操作类,然后以这个类为基础,再封装我们的业务逻辑方法. ...

  7. GY编辑平台产品总结

    产品亮点一.实时直播流的关键帧识别并展示选择频道的实时流并播放后,会在窗口中自动展示关键帧图片:配对选择关键帧的截图即确定了素材的入点,出点:编辑平台图如下所示:二.广告自动识别与监测方案1. 制作样 ...

  8. 用jQuery Mobile搭建一个简单的手机页面

    1.新增html页面. 2.声明html5Document. 3.载入jQuery Mobile Css.jQuery与jQuery Mobile链接库. 4.使用jQuery Mobile定义的ht ...

  9. Linux 下没有conio.h 已解决

    原文:http://blog.sina.com.cn/s/blog_6a95e00b0100zqvf.html #include <stdio.h>//#include <conio ...

  10. C# 版本的 计时器类:精确到微秒 秒后保留一位小数 支持年月日时分秒带单位的输出

    class TimeCount { // 临时变量,存放当前类能表示的最大年份值 ; /// <summary> /// 获取毫秒能表示的最大年份数 /// </summary> ...