互相关运算和卷积运算

实际上，卷积运算与互相关运算类似。为了得到卷积运算的输出，我们只需将核数组左右翻转并上下翻转，再与输入数组做互相关运算。可见，卷积运算和互相关运算虽然类似，但如果它们使用相同的核数组，对于同一个输入，输出往往并不相同。

那么，你也许会好奇卷积层为何能使用互相关运算替代卷积运算。其实，在深度学习中核数组都是学出来的：卷积层无论使用互相关运算或卷积运算都不影响模型预测时的输出。

二维卷积层的核心计算是二维互相关运算。在最简单的形式下，它对二维输入数据和卷积核做互相关运算然后加上偏差。

前言

经过大半天的折腾，终于将所需要的exe弄出来了。

期间查阅了大量资料，发现大多是简单的一个示例。。

只有一位博主简单说明了一下 带图片资源的操作方式

深度学习的含义

深度学习时所指的”深度”是层与层之间更深层次的协调以及随之产生的更加复杂的连接。最终的结果就是你的模型中，有百万级别甚至十亿级别数量的神经元。这就是为什么通过深度神经网络得到的结果。能够极大地优于，早期的手工构建并且手工调试的模型。

作者：大腿君

链接：https://zhuanlan.zhihu.com/p/32225723

来源：知乎

symbol

层数大于3 （tips：不计输入层）

n^[ l ] : 每层的单元数

a^[ l ] : 每层的激活函数 —- a^[0]为X ， a^[l]为y^

w^[ l ] : 在 a^[ l ]中计算z^[ l ]的权重

神经网络表示

a:activation —— 代表着网络中不同层传给下一层的值

a^(i)_j 第 i 层的第 j 的节点。

计算层数时不计入“输入层”，从隐藏层开始数

神经网络在监督学习中发挥很大作用

规模一直推动深度学习的发展。

大型神经网络、算法创新 以及海量数据

深度学习的 “ 端到端模型（end-to-end learning）”

Photo Optical Character Recognition

机器学习流水线：

随机梯度下降

打乱数据集顺序，为了收敛更快

比起批量梯度下降 ，随机梯度下降不需要对整个样本求和后来得到梯度项，可以对单个训练样本求梯度，并且在此过程中已经开始优化参数了。在某个区域连续朝着全局最小值的方向徘徊，而不是像批量梯度下降一样直接达到全局最小值

异常检测

给定样本，判断待测数据是否异常。

高斯分布

也称 正态分布，面积积分=1