题目:基于高斯混合模型的等效线性化方法的研究和应用

澳门赌城官网 1

时间:2017年12月5日下午15:30-17:00

翻译 |
AI科技大本营(微信ID:rgznai100,点击查看AI科技大本营更多干货文章

地点:七号楼二楼会议室

参与 | 刘畅

主讲人:Junho Song教授(首尔大学)

近日,圣母大学(University of Notre
Dame)公开了一门统计学课程资源,包括:课程笔记和授课视频,课后作业(以及解决方案)以及课程信息和参考以及课程大纲。

欢迎广大师生参加

这份资源非常丰富,但从营长以往推荐的文章和资源看,大家可真不待见“统计”这个词,从字面上看,它太无聊了,但它对很多机器学习的应用领域又是必不可少的,所以营长这次还是推荐给大家。

土木与交通学院

1.统计计算和概率统计简介

2017年12月5日

课程介绍:该部分包括课程,书籍和参考资料,目标,组织的介绍;概率统计学,概率法则,独立性,协方差,相关性等的基本原理;
和与乘的规则,边缘分布和条件分布; 随机变量,矩,离散和连续分布;
单变量高斯分布。【视频地址 课程笔记

报告人简介:

2.概率统计概论简介(续)

Junho
Song教授2004年博士毕业于加州大学伯克利分校,2005-2013年在伊利诺伊大学厄巴纳-香槟分校(UIUC)担任助理教授、副教授,2014年加入首尔大学并担任该校灾害恢复联合研究中心主任。Song教授在结构可靠度和复杂系统可靠度领域成就卓越,现任国际土木工程风险与可靠度协会(CERRA)主席。Song教授曾任ASCE
Journal of Structural
Engineering副主编,现为结构工程领域权威期刊Structural Safety编委。

二项式分布,伯努利分布,多项式分布,泊松分布,学生T分布,拉普拉斯分布,伽玛分布,贝塔分布,帕累托分布,多元高斯和狄利克雷分布;
联合概率分布; 随机变量的变换; 中心极限定理和基本的蒙特卡罗近似法则;
概率不等式;
信息理论综述,KL散度,熵,互信息,詹森不等式。【视频地址 课程笔记

报告摘要:

3.信息理论,多元高斯,最大似然估计,Robbins-Monro算法

针对非线性力学系统的随机振动问题,主讲人团队近期提出了一种基于高斯混合分布模型的等效线性化方法(Gaussian
Mixture based Equivalent Linearization
Method/GM-ELM)。该方法利用高斯混合模型估计非线性系统的响应分布。利用高斯混合模型的性质,GM-ELM可以将非高斯分布的非线性响应分解成多个单自由度体系的线性响应。利用一系列等效线性系统,GM-ELM可以方便地利用线性随机振动理论估计非线性系统的交叉速率和首次超越概率等统计量。近期,主讲人团队发现对于滞回阻尼较大的非线性系统,最初的GM-ELM方法精度有待提高。针对该问题,通过引入二元高斯混合分布模型,GM-ELM方法的精度得到了进一步的提高。本报告将首先介绍基于一元/二元高斯混合分布模型的等效线性化方法,接着通过非线性系统的随机地震响应问题来展示GM-ELM方法的应用。GM-ELM方法的分析结果将与传统的等效线性化方法、尾部等效线性化法(Tail-equivalent
linearization method/TELM)以及蒙特卡罗模拟法的分析结果相比较。

信息理论,KL散度,熵,互信息,詹森不等式(续);
中心极限定理的例子,检查数据集的高斯性质; 多元高斯,马氏距离,几何解释;
单变量和多变量的高斯连续最大似然估计;
连续最大似然估计,用于连续最大似然估计的Robbins-Monro算法。【视频地址 课程笔记

附件:无

4.用于连续最大似然的Robbins-Monro算法,维数灾难,条件和边缘高斯分布

高斯Robbins-Monro算法的连续最大似然估计(续);
回到多元高斯,马氏距离,几何解释,均值和矩,限制形式;
维数灾难,高维的多项式回归中的挑战,高维的球体和超立方体的体积/面积,高维的高斯分布;
条件和边缘高斯分布,配方法,伍德伯里矩阵求逆引理,内插无噪数据和数据插补的例子,高斯的信息形式。【视频地址 课程笔记

5.似然计算,最大后验估计和正则化式的最小二乘,线性高斯模型

高斯的信息形式(续); 贝叶斯推断和似然函数计算,加法和乘法误差;
最大后验估计和正则化式的最小二乘法; 用高斯先验估计高斯的均值;
传感器融合的应用;
先验平滑和内插噪声数据。【视频地址 课程笔记

6.贝叶斯统计学简介,指数族分布

参数化建模,充分性原则,可能性原则,停止规则,条件性原则,p值和频率统计问题,最大似然估计以及可能性和条件性原则;
贝叶斯背景中的推论,后验和预测分布,最大后验估计,迹,贝叶斯推理的序列性质,例子;
指数分布族,例子,计算矩,填充和Neymann因式分解,充分统计量和最大似然估计。【视频地址 课程笔记

7.指数族分布和广义线性模型,多元高斯分布的贝叶斯推断

指数族分布,计算矩,Neymann因式分解,充分统计量和最大似然估计(续);
广义线性模型,规范响应,批处理和顺序IRLS算法;
对多元高斯分布,Wishart分布和逆Wishart分布,最大后验估计和后边缘分布的均值和方差/精度进行贝叶斯推断。【视频地址 课程笔记

8.先验和分层模型

共轭前体(续)和局限性,共轭先验的混合; 非信息先验,最大熵先验;
迁移和尺度不变的先验; 非正常先验; 杰弗里先验;
分层贝叶斯模型和经验贝叶斯/第二类最大似然斯坦因估计。【视频地址 课程笔记

9.贝叶斯线性回归,模型比较与选择

过拟合和最大似然估计,点估计和最小二乘法,后验和预测分布,模型证据;
贝叶斯信息准则,贝叶斯因子,奥卡姆剃刀定律,贝叶斯模型的比较和选择。【视频地址 课程笔记

10.贝叶斯线性回归

线性基函数模型,顺序学习,多输出,数据中心,当σ^2未知时的贝叶斯推断,Zellner的g先验,无信息的半共轭先验,贝叶斯回归相关性确定的介绍。【视频地址 课程笔记

11.贝叶斯线性回归(续)

证据逼近,固定基函数的局限性,等价的内核回归方法,变量选择的吉布斯抽样,变量和模型选择。【视频地址 课程笔记

12.贝叶斯回归与变量选择的实现

卡特回归问题; 共轭先验,条件和边缘后验,预测分布,共轭先验的影响;
Zellner的G先验,边缘后验的均值和方差,可信区间;
Jeffrey的非信息性先验,Zellner的非信息性G先验,指出用于选择解释性的输入变量零假设和贝叶斯因子的计算;
变量选择,模型比较,先验变量选择,最可能模型的抽样搜索,变量选择的吉布斯抽样;
实现细节。【视频地址 课程笔记

13.蒙特卡罗方法简介,离散和连续分布抽样

中心极限定理,大数定律的回顾。π值计算,指标函数和蒙特卡罗误差估计;
蒙特卡罗估计,性质,变异系数,收敛性,蒙特卡罗和维数灾难;
蒙特卡罗高维度集成,蒙特卡罗样本的最佳数量; 蒙特卡罗估计器的样本表示;
用蒙特卡罗方法估计贝叶斯因子; 从离散分布抽样; 从连续分布反向抽样;
变换方法,Box-Muller算法,从多元高斯样本中抽样。【视频地址 课程笔记

相关文章

网站地图xml地图