机器学习
1、命令行解析的标准模块：argparse
2、pandas中的DataFrame.loc iloc, reset_index diff shitf periods axis reshape vstack hstack
3、一阶差分
4、回归问题， 模型的截距，特征，
5、数据预处理(sklearn preprocessing), minmax方式对数据进行规范化
6、为什么要进行归一化：
- 数据存在不同的评价指标，其量纲或量纲单位不同，处于不同的数量级。解决特征指标之间的可比性，经过归一化处理后，各指标处于同一数量级，便于综合对比。
- 求最优解的过程会变得平缓，更容易正确收敛。即能提高梯度下降求最优解时的速度
- 提高计算精度。
7、归一化方法常用方法有两种：
线性归一化（minmax_scale）
Z-score标准差标准化方法。
minmax_scale()变换函数为min-max标准化，也称为离差标准化，是对原始数据的线性变换，min-max标准化 方法的缺陷在当有新数据加入时，可能会导致X.max和X.min的值发生变化，需要重新计算。
8、拟合MinMaxScaler.fit_transform, 插值
常用的拟合方法有如最小二乘曲线拟合法等，在MATLAB中也可以用polyfit 来拟合多项式。拟合以及插值还有逼近是数值分析的三大基础工具，通俗意义上它们的区别在于：拟合是已知点列，从整体上靠近它们；插值是已知点列并且完全经过点列；逼近是已知曲线，或者点列，通过逼近使得构造的函数无限靠近它们。
过拟合问题
如何辨别overfitting问题
9、保存模型：#引入sklearn中自带的保存模块
from sklearn.externals import joblib
10、相互正交
对角矩阵
非方阵的矩阵
正规方程
随机梯度下降(SGD)学习
其转置矩阵
方形矩阵
可用于连续（continuous）和无序的类别（categorical）特征。
普遍在线性回归中用到的损失函数是均方误差(MSE)：Mean Square Error
11、SVM
12、流程：
1.划分数据到训练集和测试集；
2.标准化，零均值和单位方差
3.训练
13、回归 与分类 的区别
回归模型是连续性的，一个x映射到一个y值上。
分类是离散型的，多个x映射到一个y值上。
线性回归：梯度下降，求参数的偏导数。
逻辑回归：是分类算法。
14、有监督学习(有标记) 无监督学习(无标记)
15、连续可导， 导数
16、 cost最小。
17、逻辑回归
def w_calc(xmat, ymat, alpha=0.001,maxIter=1):
W = np.mat(np.random.randn(3,1))
for i in range(maxIter):
print(‘========’, i)
H = 1 / (1 + np.exp(-xmat * W))
print(H);
dw = xmat.T * (H – ymat)
print(dw);
W -= alpha * dw
print(W);
return W
18、单位阶跃，
19、交叉熵函数
20、损失函数
21、梯度下降法
22、回归，
23、sigmoid函数
f(x) = 1 / ( 1 + exp(-x))
24、正态分布
25、防止过拟合引入正则化
26、正则化：L1正则化与L2正则化的区别
27、损失函数的求解
mse
28、极大似然函数
29、python虚拟环境 原理
30、 with语句
31、NLP自然语言处理，自然语言工具包(NLTK)
32、tensorFlow
标量:“0 秩”张量, tf.constant(4), 标量包含单个值，但没有“轴”
张量:张量是具有统一类型（称为 dtype）的多维数组, 所有张量都是不可变的：永远无法更新张量的内容，只能创建新的张量。
向量:“向量”（或称“1 秩”张量）就像一个值的列表。向量有 1 个轴：
“矩阵”（或称“2 秩”张量）有 2 个轴：
33、点乘：mul ,矩阵乘法 matmul
34、马尔科夫链(Markov Chain)
35、scikit-learn中拟合结果的评价指标
在sklearn中包含四种评价尺度，分别为mean_squared_error、mean_absolute_error、explained_variance_score 和 r2_score。
36、降维算法：矩阵分解算法，decomposition
pca 主成分分析
37、神经网络
用于图像识别。
38、梯度下降：小批量，随机，大批量。
39、贝叶斯算法：
40、岭回归
41、https://colab.research.google.com/notebooks/welcome.ipynb
参考：
线性回归
Python之Sklearn使用教程
sklearn 中文文档
CUDA
奇异值分解(SVD) — 线性变换几何意义
jmp
linear regression and logistics regression | 用最通俗易懂的语言讲解线性回归与逻辑回归
setosq
神经网络
产品经理的人工智能学习库
唐宇迪
梯度下降算法
李宏毅 深度学习
李沐，手把手教你深度学习；
吴恩达，Deeplearning；
jeremy howard，fastai;
michael collins，NLP；
吴恩达->cs229
林轩田->机器学习基石
李宏毅-> 深度学习
李飞飞 -> cs231n 面向视觉识别的卷积神经网络
Chris manning -> cs224 自然语言处理
张志华
机器学习01——线性回归算法详解https://www.bilibili.com/video/BV1DT4y1j7Xe/
机器学习02——梯度下降https://www.bilibili.com/video/BV1Nt4y1D79p/
机器学习03——逻辑回归算法原理推导https://www.bilibili.com/video/BV19p4y1i7NP/
机器学习04——决策树原理概述https://www.bilibili.com/video/BV19p4y1i7NP/
机器学习05——随机森林https://www.bilibili.com/video/BV1uf4y1d7QU/
机器学习06——贝叶斯算法概述https://www.bilibili.com/video/BV1kp4y1U71L/
机器学习07——支持向量机算法详解https://www.bilibili.com/video/BV1et4y197PA/
机器学习08——KMEANS算法详解https://www.bilibili.com/video/BV11t4y197v5/
机器学习09——DBSCAN聚类算法详解https://www.bilibili.com/video/BV1kC4y187vN/
机器学习10——神经网络算法详解https://www.bilibili.com/video/BV1kC4y187vN/
机器学习11——xgboost集成算法详解https://www.bilibili.com/video/BV1vC4y187Lh/
机器学习12——集成算法详解https://www.bilibili.com/video/BV1u54y1z7nH/
机器学习13案例实战——Python实现逻辑回归任务概述https://www.bilibili.com/video/BV16k4y1q7Bd/
唐宇迪_第三阶段_04_TensorFlow框架
keras官网