主题列表:juejin, github, smartblue, cyanosis, channing-cyan, fancy, hydrogen, condensed-night-purple, greenwillow, v-green, vue-pro, healer-readable, mk-cute, jzman, geek-black, awesome-green, qklhk-chocolate

贡献主题:https://github.com/xitu/juejin-markdown-themes

theme: juejin

highlight:

文章来自:同作者微信公众号【机器学习炼丹术】~

0 综述

这一篇文章和上一篇的rank-IQA感觉都是不错的处理NR-IQA任务的框架,让我们好好学一学这一篇文章中的精髓。

1 related work

这一篇文章的related work列举了很多之前的NR-IQA的模型:

  • 【18】

    • DIIVINE:先识别图像失真的类型,然后选择对应类型的回归模型得到具体质量分数;
  • 【20】
    • BRISQUE:利用非对称广义高斯分布在空间域对图像进行建模,模型特征是空间邻域的差值;
  • 【21】
    • NIQE:利用多元高斯模型提取特征,然后利用无监督的方法把他们和质量分布结合起来;
  • 【22】
    • FRIQUEE:把人工提取的特征图输入到4层的深度置信网络中,输出特征向量,利用SVM分类;
  • 【24】
    • CORNIA:最先使用纯数据驱动解决NR-IQA问题的模型之一,使用k-mean聚类处理亮度和对比度被标准化的图片patch,然后从数据中抽取软编码距离来预测质量分数;
  • 【28】
    • BIECOM:第一步用标准话的图片patch经过CNN估计出一个本地质量分数(这个模型是使用现有的FR数据集预训练),然后在把分数的均值和方差作为特征回顾分数;

不说了,看了半天很多都是很老的人工特征的方法,不太行不太行。

1 细节

1.1 FR-IQA

论文中也是使用了和上一篇文章rank-IQA一样的模型,孪生网络saimese net,论文中先提出了FR-IQA的模型框架:



在这个框架中,图片是被patch称32x32的大小,然后feature extractor使用的是VGG19,包含5个maxpool层,也就是说,经过features extractor后,特征会变成(512,1,1)这样的shape。

对于FR-IQA问题,reference patch和distorted patch经过feature extractor得到两个512的向量,然后在fusion阶段使用concat拼接在一起,除了这两个,还把两个特征向量的差值也一同拼接进来,显式的把两个特征的区别也作为特征了,总之是这个样子的:\(concat(f_r,f_d,f_r-f_d)\)

在fusion features vector后面有两个部分,一个是回归,一个是weights;关于如何从很多的patches中得到整个图片的质量分数,作者给出了两个方法: 这个patch是从图像中无重叠的采样

  1. 简单的平均。

对于这种平均的方法,所有patch对于整个图片的影响是相同的,所以损失函数也定位MAE:

  1. 加权平均。

    如上图的结构,对特征进行融合之后,进行回归,输出一个patch的质量分数之后,还要在另外一个分支输出这个patch在整个图片中的权重分数。权重参数保证是大于0的。

1.2 NR-IQA



就是单纯的把reference去掉,然后不做特征融合。

2 总结

这是一种利用CNN来处理质量评估的一个基本框架和思路。作为入门学习是比较好的一个框架。

图像质量评估论文 | Deep-IQA | IEEETIP2018的更多相关文章

  1. 图像质量评估(IQA)

    图像质量评估函数的分类曾是一个比较有争议的话题,在2l世纪以前曾经有过 比较多的讨论.但是随着研究的深入和技术的广泛应用,研究人员对于图像质量 评估函数的分类有了统一的认识,即从实际应用中参考信息供给 ...

  2. Deep Learning 18:DBM的学习及练习_读论文“Deep Boltzmann Machines”的笔记

    前言 论文“Deep Boltzmann Machines”是Geoffrey Hinton和他的大牛学生Ruslan Salakhutdinov在论文“Reducing the Dimensiona ...

  3. IQA(图像质量评估)

    图像质量评价(Image Quality Assessment,IQA)是图像处理中的基本技术之一,主要通过对图像进行特性分析研究,然后评估出图像优劣(图像失真程度). 主要的目的是使用合适的评价指标 ...

  4. Deep Reinforcement Learning for Dialogue Generation 论文阅读

    本文来自李纪为博士的论文 Deep Reinforcement Learning for Dialogue Generation. 1,概述 当前在闲聊机器人中的主要技术框架都是seq2seq模型.但 ...

  5. 深度学习论文翻译解析(四):Faster R-CNN: Down the rabbit hole of modern object detection

    论文标题:Faster R-CNN: Down the rabbit hole of modern object detection 论文作者:Zhi Tian , Weilin Huang, Ton ...

  6. 18 Issues in Current Deep Reinforcement Learning from ZhiHu

    深度强化学习的18个关键问题 from: https://zhuanlan.zhihu.com/p/32153603 85 人赞了该文章 深度强化学习的问题在哪里?未来怎么走?哪些方面可以突破? 这两 ...

  7. (转) 深度强化学习综述:从AlphaGo背后的力量到学习资源分享(附论文)

    本文转自:http://mp.weixin.qq.com/s/aAHbybdbs_GtY8OyU6h5WA 专题 | 深度强化学习综述:从AlphaGo背后的力量到学习资源分享(附论文) 原创 201 ...

  8. 使用深度学习的超分辨率介绍 An Introduction to Super Resolution using Deep Learning

    使用深度学习的超分辨率介绍 关于使用深度学习进行超分辨率的各种组件,损失函数和度量的详细讨论. 介绍 超分辨率是从给定的低分辨率(LR)图像恢复高分辨率(HR)图像的过程.由于较小的空间分辨率(即尺寸 ...

  9. 深度强化学习(Deep Reinforcement Learning)入门:RL base & DQN-DDPG-A3C introduction

    转自https://zhuanlan.zhihu.com/p/25239682 过去的一段时间在深度强化学习领域投入了不少精力,工作中也在应用DRL解决业务问题.子曰:温故而知新,在进一步深入研究和应 ...

  10. Deep learning:四十三(用Hessian Free方法训练Deep Network)

    目前,深度网络(Deep Nets)权值训练的主流方法还是梯度下降法(结合BP算法),当然在此之前可以用无监督的方法(比如说RBM,Autoencoder)来预训练参数的权值,而梯度下降法应用在深度网 ...

随机推荐

  1. monkey之monkey日志分析

    一.初步分析方法:Monkey测试出现错误后,一般的差错步骤为以下几步:1.找到是monkey里面的哪个地方出错2.查看Monkey里面出错前的一些事件动作,并手动执行该动作3.若以上步骤还不能找出, ...

  2. linux的sysctl基本配置

    # Controls the use of TCP syncookiesnet.ipv4.tcp_syncookies = 1 # me write paramnet.ipv4.tcp_timesta ...

  3. ORACLE误删除ASM磁盘修复

    在数据库运维中,总会遇到一些粗心大意的DBA,一不小心删除一些东西,这里举例讲解在误删除ASM磁盘之后,如果用KFED工具进行恢复: [grid@RAC1 ~]$ sqlplus / as sysas ...

  4. shell script

    一.shell script的编写与执行 1.shell script 的编写中还需要用到下面的注意事项: a.命令的执行是从上到下,从左到右地分析与执行 b.命令.参数间的多个空白都会被忽略掉 c. ...

  5. 数据结构作业——order(二叉树遍历)

    order Description 给出一棵二叉树的中序遍历和每个节点的父节点,求这棵二叉树的先序和后 序遍历. Input 输入第一行为一个正整数 n 表示二叉树的节点数目, 节点编号从 1 到 n ...

  6. centOS填坑笔记(一)

    第一次使用centOS安装软件时,对二进制包的./configure进行配置时(./configure是源代码安装的第一步,主要的作用是对即将安装的软件进行配置,)报错:WARNING: failed ...

  7. Mono For Android离线激活

    我们之前创建过Mono For Android的开发环境,但是使用一段时间后就说明证书过期,那如何破解呢? 但我说的这个也就只能使用免费的证书. 首先下载免费的证书,monoandroid.licx, ...

  8. How can I save HICON to an .ico file

    refer:http://stackoverflow.com/questions/2289894/how-can-i-save-hicon-to-an-ico-file answer1: #inclu ...

  9. SQL SERVER 表最小行的一个纠结问题

    昨天一个同事突然问我,说他在SQL 2000数据库创建如下表的时候,突然碰到了下面一条警告信息.SQL脚本和警告信息如下: IF OBJECT_ID(N'Log') IS  NULL BEGINCRE ...

  10. eclipse如何更改webroot

    在项目上右击-->点击属性-->点击web project Setting