点击查看Evernote原文。

#@author:       gr

#@date:         2014-10-17

#@email:        forgerui@gmail.com

Fundamental

一、 矩阵的迹、秩

矩阵的秩： A的线性无关的极大数目，化简后他的非零项行数

矩阵的迹： 矩阵主对角线上的元素的和。

# 矩阵的迹

trAB = trBA

二、非参数方法

非参数方法是数理统计学的一个分支，一般认为在一个统计推断问题中，如给定或者假定了总体分布的具体形式，只是其中含有若干个参数，要基于来自总体的样本对这些参数做出估计或者进行某种形式的假设检验，这类推断方法称为非参数方法。

三、最小二乘法

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

四、中心极限定理

中心极限定理（central limit theorem）是概率论中讨论随机变量序列部分和分布渐近于正态分布的一类定理。这组定理是数理统计学和误差分析的理论基础，指出了大量随机变量积累分布函数逐点收敛到正态分布的积累分布函数的条件。

五、独立同分布(iid)

在概率统计理论中，如果变量序列或者其他随机变量有相同的概率分布，并且互相独立，那么这些随机变量是独立同分布。(independent and identically distributed )

Content

一、机器学习的动机与应用

各种应用。

二、梯度下降

1. Batch Gradient Descent

2. Stochastic Gradient Descent

三、欠拟合与过拟合的概念

Linear regresion --> Locally weighted regression

|--> Probabilistic interpretation

|--> Logistic regression

|--> Perception

|--> Neuton's method

四、牛顿方法

Logistic regression

|--> Newton's method

|--> Exponential Family

|--> Generalized Linear Models(GLMs)

五、生成学习方法

Generative learning algorithms

|--> GDA(高斯判别分析)Gaussian Discrimitive Analysis

|--> Gaussian Distribution

|--> Generative & Discriminative comparision

|--> Naive Bayes

|--> Laplace Smoothing

六、朴素贝叶斯算法

Naive Bayes

|--> Event Models

|--> Nerual Networks

|--> Support vector machines

###《Machine Learning》by Andrew NG的更多相关文章

1. Coursera课程《Machine Learning》学习笔记（week1）

   这是Coursera上比较火的一门机器学习课程,主讲教师为Andrew Ng.在自己看神经网络的过程中也的确发现自己有基础不牢.一些基本概念没搞清楚的问题,因此想借这门课程来个查漏补缺.目前的计划是先 ...

2. Coursera《machine learning》--（14）数据降维

   本笔记为Coursera在线课程<Machine Learning>中的数据降维章节的笔记. 十四.降维 (Dimensionality Reduction) 14.1 动机一:数据压缩 ...

3. Coursera《machine learning》--（8）神经网络表述

   本笔记为Coursera在线课程<Machine Learning>中的神经网络章节的笔记. 八.神经网络:表述(Neural Networks: Representation) 本节主要 ...

4. Coursera《machine learning》--（2）单变量线性回归(Linear Regression with One Variable)

   本笔记为Coursera在线课程<Machine Learning>中的单变量线性回归章节的笔记. 2.1 模型表示 参考视频: 2 - 1 - Model Representation ...

5. 《Machine Learning》系列学习笔记之第一周

   <Machine Learning>系列学习笔记 第一周 第一部分 Introduction The definition of machine learning (1)older, in ...

6. Coursera课程《Machine Learning》吴恩达课堂笔记

   强烈安利吴恩达老师的<Machine Learning>课程,讲得非常好懂,基本上算是无基础就可以学习的课程. 课程地址 强烈建议在线学习,而不是把视频下载下来看.视频中间可能会有一些问题 ...

7. 《Machine Learning》系列学习笔记之第二周

   第二周 第一部分 Multivariate Linear Regression Multiple Features Note: [7:25 - θT is a 1 by (n+1) matrix an ...

8. 《Machine Learning》（第一章）序章

   关键词:机器学习,基本术语,假设空间,归纳偏好,机器学习用途 一.机器学习概述 机器学习是一门从数据中,经过计算得到模型(Model)的一种过程,得到的模型不仅能反应出训练数据集中所蕴含的规律,并且能 ...

9. Coursera课程《Machine Learning》学习笔记（week2）

   1 特征 1-1 什么是特征? 我的理解就是,用于描述某个样本点,以哪几个指标来评定,这些个指标就是特征.比方说对于一只鸟,我们评定的指标就可以是:(a)鸟的翅膀大还是小?(b)鸟喙长还是短?(c)鸟 ...

随机推荐

1. 关于年终奖励的扣税算法BUG

   这么多年,第一次拿年终奖,于是查一下年终奖是怎么扣税的,根据 国税发[2005]9号 适用公式为: 应纳税额＝雇员当月取得全年一次性奖金×适用税率一速算扣除数 年终奖: /= 的税率是3% 按照网上说 ...

2. 一些达成共识的JavaScript编码风格约定

   如果你的代码易于阅读,那么代码中bug也将会很少,因为一些bug可以很容被调试,并且,其他开发者参与你项目时的门槛也会比较低.因此,如果项目中有多人参与,采取一个有共识的编码风格约定非常有必要.与其他 ...

3. 玩转Android之加速度传感器的使用，模仿微信摇一摇

   Android系统带的传感器有很多种,最常见的莫过于微信的摇一摇了,那么今天我们就来看看Anroid中传感器的使用,做一个类似于微信摇一摇的效果. OK ,废话不多说,我们就先来看看效果图吧: 当我摇 ...

4. contains选择器

   有这样一个问题: 一个列表里面,很多option,但是在不知道value,只知道他的内容的时候,怎么进行选择,比如: 北京市天津市上海市重庆市 在不知道他的value和index的时候,选择北京市,能 ...

5. delphi ICS控件示例解读

   {* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * Author: Fran鏾is PIETTE ...

6. ActionBar 值 addTab 的小提示

   今天测试时偶然发现当程序中 addTab 后,会默认触发第一个 tab 的 onTabSelected 事件方法 ActionBar actionBar = mActivity.getSupportA ...

7. JQuery分页插件封装（源码来自百度，自己封装）

   最近由于项目的需要,做了一个基于JQuery的表格分页插件封装,部分源码来源百度,经由自己封装完成. 下面是具体代码和说明,仅供参考.第一步可以先将我的HTML,CSS,JS这三部分的代码创建好后先运 ...

8. Asp.Net Output.Write()

   string name="张三" <div> <label>@Output.Write(name)</label> </div> 在 ...

9. Word中类似正则匹配的查找替换通配符的使用详解

   一.Word查找栏代码&通配符一览表 序号 清除使用通配符复选框 勾选使用通配符复选框 特殊字符 代码 特殊字符 代码or通配符 1 任意单个字符 ^? 任意单个字符 ? 2 任意数字 ^# ...

10. python面向对象-三大特性

    python面向对象编程三大特性 小结:前面我们说完了类和对象的关系,相信对类和对象的理解更加透彻..让我们一起去研究面向对象的三大特性吧.... 继承 1.什么继承? 在程序中继承就是事物之间的所属 ...