|
2017年《机器学习》升级版IV，从理论到实践 2017年3月14日开课6月份结束 价值899 资料齐全-小象学院
课程名称：
《机器学习》升级版 IV
主讲老师：
邹博 小象学院独家签约
计算机博士，现科学院从事科研教学工作；主持国家级科研项目2个，副负责1个，国家专利2项，研究方向机器学习、数据挖掘、计算几何，应用于股票交易与预测、医药图像识别、智能畜牧等方向。擅长机器学习模型选择、核心算法分析和代码实现。/ @6 O% U- Y3 F* y7 u" ~! g3 X
课程目标：9 m9 Y7 |7 L5 }+ P* _$ P7 i1 I
本课程特点是从数学层面推导最经典的机器学习算法，以及每种算法的示例和代码实现（Python）、如何做算法的参数调试、以实际应用案例分析各种算法的选择等。9 r6 _- h; Y/ _ M. q
开课时间：* v( v; n3 c9 }
2017年3月14日，共24次课，每次2小时
学习方式：
在线直播，共24次2 q: B% e7 b( H4 e) o& j) T2 F5 H1 Q, l
每周3次（周二、四、六，晚上20:00-22:00）
直播后提供录制回放视频，在线反复观看，有效期1年
( u, R8 s; U3 g
升级版IV的内容特色：
1. 拒绝简单的“调包”——增加3次“机器学习的角度看数学”和3次“Python数据清洗和特征提取”，提升学习深度、降低学习坡度。* [5 o! D/ Z; j' a$ }; v5 c
2. 增加网络爬虫的原理和编写，从获取数据开始，重视将实践问题转换成实际模型的能力，分享工作中的实际案例或Kaggle案例：广告销量分析、环境数据异常检测和分析、数字图像手写体识别、Titanic乘客存活率预测、用户-电影推荐、真实新闻组数据主题分析、中文分词、股票数据特征分析等。, z$ T/ ?$ f/ N5 Z. c+ [; Z
3. 强化矩阵运算、概率论、数理统计的知识运用，掌握机器学习根本。
4. 阐述机器学习原理，提供配套源码和数据；确保“懂推导，会实现”。6 U. B4 y, R: Y
5. 删去过于晦涩的公式推导，代之以直观解释，增强感性理解。
6. 重视项目实践(如工业实践、Kaggle等)，重视落地。
7. 对比不同的特征选择带来的预测效果差异。
8. 思考不同算法之间的区别和联系，提高在实际工作中选择算法的能力。
9. 涉及和讲解的部分Python库有：Numpy/Scipy/matplotlib/Pandas/scikit-learn/XGBoost/libSVM/LDA/Gensim/NLTK/HMMLearn，涉及的其他“小”库在课程的实践环节会逐一讲解。3 i' x0 \ j# H7 y% x3 W' E6 h J
10. 每个算法模块按照“原理讲解->自己动手实现->使用已有机器学习库”的顺序，切实做到“顶天立地”。: H& e) Z- d5 C/ B# ^+ c9 R
/ d8 J$ h+ ~4 `$ Z6 m3 G
课程大纲：
第一课：机器学习的数学基础1 - 数学分析 H& W y2 P, u: O) V1 X. ^
7 A$ s! U# ]8 a* N
1. 机器学习的一般方法和横向比较
2. 数学是有用的：以SVD为例
3. 机器学习的角度看数学3 r1 Y% |! k/ c2 F' l
4. 复习数学分析; @% @5 \: T' e& Z+ z4 [
5. 直观解释常数e- b; T2 n: B& |* @) _: W
6. 导数/梯度0 r- j4 A( g9 y- {/ x8 |
7. 随机梯度下降
8. Taylor展式的落地应用% W6 D% Q4 _7 q% Z) F# f
9. gini系数
10. 凸函数
11. Jensen不等式
12. 组合数与信息熵的关系
( b' L' v( e$ e! P
第二课：机器学习的数学基础2 - 概率论与贝叶斯先验
1. 概率论基础9 q; k: ?4 [+ W
2. 古典概型4 a# P( B1 m% ^$ Z) F; \
3. 贝叶斯公式0 \. f7 b% s2 k3 q1 h/ y$ ?* O' R
4. 先验分布/后验分布/共轭分布" _" N6 a3 Q9 f% _! |$ C- [
5. 常见概率分布
6. 泊松分布和指数分布的物理意义0 W- W6 d5 _, C8 J
7. 协方差(矩阵)和相关系数- y7 R" ~) F4 E
8. 独立和不相关3 r% ^+ k2 c- x& ?
9. 大数定律和中心极限定理的实践意义- R8 ]8 J0 a# E7 H
10.深刻理解最大似然估计MLE和最大后验估计MAP
11.过拟合的数学原理与解决方案
7 g% r8 W# ~' L0 M; {
第三课：机器学习的数学基础3 - 矩阵和线性代数+ V/ c* j, o# j: @( O( E1 k, J- c
1. 线性代数在数学科学中的地位' a+ W: K8 r& {
2. 马尔科夫模型
3. 矩阵乘法的直观表达
4. 状态转移矩阵
5. 矩阵和向量组2 |0 _0 M- v/ ^
6. 特征向量的思考和实践计算* w' E( m- U3 F. }- B$ ?6 R$ f, q
7. QR分解
8. 对称阵、正交阵、正定阵
9. 数据白化及其应用
10.向量对向量求导" Q. O; ?. E7 F8 w. Q
11.标量对向量求导. B7 B- ~5 R- `6 r
12.标量对矩阵求导3 E! k9 y+ C# O* H( e
第四课：Python基础1 - Python及其数学库2 h. ~# a% S6 O, m6 I8 k: [
5 b% L! `6 H- l4 v, ?) j" G
1. 解释器Python2.7与IDE：Anaconda/Pycharm
2. Python基础：列表/元组/字典/类/文件
3. Taylor展式的代码实现% B6 D% I* e7 A! _, d5 w+ j9 l
4. numpy/scipy/matplotlib/panda的介绍和典型使用
5. 多元高斯分布. |& G$ W: Z' {6 j/ {
6. 泊松分布、幂律分布; q G8 l) q/ V! g( m/ m& Z
7. 典型图像处理, c0 ]2 p. T4 Y5 z# L9 f, l
. ?9 G' c6 B; f4 g3 C
第五课：Python基础2 - 机器学习库
b1 u( ` R, Q
1. scikit-learn的介绍和典型使用+ F+ |3 l" U% u, p& F+ \- i
2. 损失函数的绘制
3. 多种数学曲线
4. 多项式拟合
5. 快速傅里叶变换FFT
6. 奇异值分解SVD/ a( J% g. L4 }: D. S8 I$ R
7. Soble/Prewitt/Laplacian算子与卷积网络! ]1 t1 V' C$ O, R/ L& P% r
8. 卷积与(指数)移动平均线
9. 股票数据分析
第六课：Python基础3 - 数据清洗和特征选择* H" X% G5 [* ^
1. 实际生产问题中算法和特征的关系1 \9 k- M' U$ @9 Q: z7 y% P9 c
2. 股票数据的特征提取和应用& w. C5 ]# h: m: ~
3. 一致性检验6 X4 x& ?$ m8 z& @0 m
4. 缺失数据的处理
5. 环境数据异常检测和分析) ` V6 L, R# I% Y6 v
6. 模糊数据查询和数据校正方法、算法、应用
0 ~' X0 c; W0 r& `( c
第七课： 回归
4 m! D9 F" {& [+ c0 z
1. 线性回归: H& V2 r' U! Z7 _: E% w. I
2. Logistic/Softmax回归) r; h2 K4 p. n/ u" n: o& W( u
3. 广义线性回归
4. L1/L2正则化
5. Ridge与LASSO+ f; h& B9 k8 d% F8 J
6. Elastic Net
7. 梯度下降算法：BGD与SGD
8. 特征选择与过拟合
9. Softmax回归的概念源头% N. S* B: B6 g6 i7 v
10.最大熵模型9 e) o+ ?0 I: q
11.K-L散度, f- }' b4 O8 H# O7 Y+ q9 w& ^1 x
, Y8 l, {: Q4 U* u# X
第八课：回归实践1 m _9 j' H0 U! F
1. 机器学习sklearn库介绍
2. 回归代码实现和调参
3. Ridge回归/LASSO/Elastic Net
4. Logistic/Softmax回归' p+ W5 A' v' i3 @7 b: m$ b" d
5. 广告投入与销售额回归分析
6. 鸢尾花数据集的分类% @- Y! H3 T$ P: G- j
7. 回归代码实现和调参
8. 交叉验证) a" I) \3 }' f8 ~
9. 数据可视化' m3 `) F* U# K4 N4 c6 }) L8 t
% B9 ^) D9 ?# p5 ~9 Z- O" p
第九课：决策树和随机森林
1. 熵、联合熵、条件熵、KL散度、互信息( I/ _7 v H/ b Z" y! c/ I2 y
2. 最大似然估计与最大熵模型( G* R! ?! a) D5 a) P0 z
3. ID3、C4.5、CART详解
4. 决策树的正则化9 [" R5 h: g. i4 L8 E& n- R
5. 预剪枝和后剪枝
6. Bagging. P& ^7 v3 w F/ [& Z3 @
7. 随机森林6 W" O4 t0 K* U$ Z% ~
8. 不平衡数据集的处理6 S: J. C; E1 R' F& ?! w
9. 利用随机森林做特征选择( j0 d2 u5 x! r) h2 T, u
10. 使用随机森林计算样本相似度% I' ?! p. |5 c5 Y; m& i
第十课：随机森林实践. H, f7 ^( ]3 Y- R+ A0 u/ J
* A+ x4 q$ o& `! s8 } X e
1. 随机森林与特征选择
2. 决策树应用于回归
3. 多标记的决策树回归
4. 决策树和随机森林的可视化2 r! B6 B5 r# x/ G) ~6 Q( L. l2 P! _
5. 葡萄酒数据集的决策树/随机森林分类
* n. @' ] Y: K# \4 G& Y6 J
第十一课：提升
1. 提升为什么有效6 Z1 ]% X! U) A% s/ |0 r4 y
2. Adaboost算法6 j. H' t" A! l# i8 `
3. 加法模型与指数损失5 \" P$ H l6 {- j# c! h/ R& n
4. 梯度提升决策树GBDT' G4 v$ H5 _* i, K4 @, x
5. XGBoost算法详解
0 j6 Q. x& U$ f7 B: b3 P
第十二课：XGBoost实践' G+ B, F, y4 Y% o# A7 a; A9 ?
1. 自己动手实现GBDT, M; n2 ]+ t/ h) Q
2. XGBoost库介绍) a. i" Q" [, U. q4 T+ \' A5 q+ z
3. Taylor展式与学习算法
4. KAGGLE简介
5. 泰坦尼克乘客存活率估计
第十三课：SVM
4 h6 b+ V7 p o4 f" s# H
1. 线性可分支持向量机
2. 软间隔的改进
3. 损失函数的理解
4. 核函数的原理和选择
5. SMO算法, F+ B" \0 X7 {2 |9 _5 m2 M" H
6. 支持向量回归SVR' u9 Y5 j6 P! P/ X4 b3 y1 A: ]
第十四课：SVM实践! k$ b- n6 G9 m! Y
1. libSVM代码库介绍
2. 原始数据和特征提取
3. 调用开源库函数完成SVM
4. 葡萄酒数据分类9 X& s+ ]( e$ [7 {( I
5. 数字图像的手写体识别
6. SVR用于时间序列曲线预测! ]3 X+ y* w) \" X! C
7. SVM、Logistic回归、随机森林三者的横向比较3 e4 Q) \% J5 N9 W* z
6 U! W4 _' M4 _& w
第十五课：聚类
1. 各种相似度度量及其相互关系
2. Jaccard相似度和准确率、召回率) }- t/ }& t7 l' F
3. Pearson相关系数与余弦相似度
4. K-means与K-Medoids及变种8 ~+ y6 ^1 F9 i
5. AP算法(Sci07)/LPA算法及其应用0 y" X$ @3 D) g) j; o, O( m
6. 密度聚类DBSCAN/DensityPeak(Sci14)
7. 谱聚类SC
8. 聚类评价和结果指标
第十六课：聚类实践# _8 Y. W0 D) ?5 C
$ m( U# ]( b: I, E" f$ G+ w
1. K-Means++算法原理和实现$ {- F3 W3 c! l. S% ^( Y) e" e: a7 C
2. 向量量化VQ及图像近似
3. 并查集的实践应用. l% N { O% U6 O+ l
4. 密度聚类的代码实现
5. 谱聚类用于图片分割
第十七课：EM算法) ~. ]# U7 d6 p
1. 最大似然估计6 ^+ ?& }, U! ]0 ]! D
2. Jensen不等式' f; N/ T* d3 Y2 X' e
3. 朴素理解EM算法0 r* ^) ~+ {2 F) U& W
4. 精确推导EM算法
5. EM算法的深入理解1 v' v6 N' }3 |
6. 混合高斯分布) r5 h6 w( A6 b6 G
7. 主题模型pLSA
! S/ ~/ z% G; d' ^
第十八课：EM算法实践
2 r/ b" A% K/ V0 o$ [4 ?) G/ q7 K
1. 多元高斯分布的EM实现4 R, @3 P! q+ k* ?
2. 分类结果的数据可视化
3. EM与聚类的比较& c2 i7 A- S2 S; ^5 Z
4. Dirichlet过程EM3 ?- U. d, J9 ? b* G% z; D
5. 三维及等高线等图件的绘制- D! K( B: M' U6 t
6. 主题模型pLSA与EM算法
第十九课：贝叶斯网络
" n: d5 P3 J5 l ~
1. 朴素贝叶斯
2. 贝叶斯网络的表达
3. 条件概率表参数个数分析9 u" i8 C1 S2 |! a' Z2 r
4. 马尔科夫模型
5. D-separation
6. 条件独立的三种类型; G! Q8 {1 d- S. x, @* e9 M
7. Markov Blanket3 D6 ^# R. a9 D
8. 混合(离散+连续)网络：线性高斯模型
9. Chow-Liu算法：最大权生成树MSWT
" Z, M: U. ~) ?6 G' d9 I
第二十课：朴素贝叶斯实践5 \; M0 M% p0 o
' S! v9 l( S/ n" z
1. GaussianNB
2. MultinomialNB c% y! i) p9 g# U" b" i9 _
3. BernoulliNB
4. 朴素贝叶斯用于鸢尾花数据
5. 朴素贝叶斯用于18000+篇新闻文本的分类
第二十一课：主题模型LDA% p$ V! O: J6 _9 [" X2 K; A- Z
; e9 S+ H( m% D& t' c2 W
1. 贝叶斯学派的模型认识 ^' Y& y. W) _6 y3 A! _& L7 N
2. 共轭先验分布
3. Dirichlet分布
4. Laplace平滑: p, h C5 H; @ H
5. Gibbs采样详解$ Z- y# }7 x$ s* i4 `# Q" @
第二十二课：LDA实践0 ^4 C! q% ]- R2 _9 t
% b& ]4 u0 X7 t2 j) U
1. 网络爬虫的原理和代码实现3 B3 {6 e5 z& G2 L5 |, O
2. 停止词和高频词4 }) J( m+ r; ^' V! H- t8 Y
3. 动手自己实现LDA- z7 a( Z9 [ d) w- V3 N
4. LDA开源包的使用和过程分析- r. q! @/ ]2 h
5. Metropolis-Hastings算法
6. MCMC
7. LDA与word2vec的比较0 l3 }& |6 k5 P) Z( s
) z7 y* ?% `7 E) S& ?
第二十三课：隐马尔科夫模型HMM7 w# a* P8 j" U, u4 g( g3 g
1. 概率计算问题
2. 前向/后向算法
3. HMM的参数学习
4. Baum-Welch算法详解) D8 ~+ |+ @. P: }6 B/ e* z( U
5. Viterbi算法详解& t8 T2 C4 t+ @( \, l
6. 隐马尔科夫模型的应用优劣比较; L' m& _8 O4 ]
第二十四课：HMM实践, ?& E( b' u6 q0 t4 @3 o( C9 O
2 Z; W$ j( @+ _# z/ O
1. 动手自己实现HMM用于中文分词
2. 多个语言分词开源包的使用和过程分析* {7 x6 H# I* L$ F
3. 文件数据格式UFT-8、Unicode
4. 停止词和标点符号对分词的影响
5. 前向后向算法计算概率溢出的解决方案
6. 发现新词和分词效果分析 w& L+ h$ ]) p- Y' d5 t+ H. }4 {
7. 高斯混合模型HMM
8. GMM-HMM用于股票数据特征提取
) O% v& J+ v% [- i; v$ b! H6 l
下载地址:itjc20
|
[复制链接]
