常用的機器學習&數據挖掘知識(點）

Basis(基礎)：

MSE(Mean Square Error 均方誤差)，

LMS(LeastMean Square 最小均方)，

LSM(Least Square Methods 最小二乘法)，

MLE(MaximumLikelihood Estimation最大似然估計)，

QP(Quadratic Programming 二次規劃)，

CP(Conditional Probability條件概率)，

JP(Joint Probability 聯合概率)，

MP(Marginal Probability邊緣概率)，

Bayesian Formula(貝葉斯公式)，

L1 /L2Regularization(L1/L2正則，

以及更多的，現在比較火的L2.5正則等)，

GD(GradientDescent 梯度下降)，

SGD(Stochastic Gradient Descent 隨機梯度下降)，

Eigenvalue(特征值)，

Eigenvector(特征向量)，

QR-decomposition(QR分解)，

Quantile (分位數)，

Covariance(協方差矩陣)。

Common Distribution(常見分布)：

Discrete Distribution(離散型分布)：

BernoulliDistribution/Binomial(貝努利分布/二項分布)，

Negative BinomialDistribution(負二項分布)，

MultinomialDistribution(多項式分布)，

Geometric Distribution(幾何分布)，

HypergeometricDistribution(超幾何分布)，

Poisson Distribution (泊松分布)。

Continuous Distribution (連續型分布)：

UniformDistribution(均勻分布)，

Normal Distribution /Guassian Distribution(正態分布/高斯分布)，

ExponentialDistribution(指數分布)，

Lognormal Distribution(對數正態分布)，

GammaDistribution(Gamma分布)，

Beta Distribution(Beta分布)，

Dirichlet Distribution(狄利克雷分布)，

Rayleigh Distribution(瑞利分布)，

Cauchy Distribution(柯西分布)，

Weibull Distribution (韋伯分布)。

Three Sampling Distribution(三大抽樣分布)：

Chi-squareDistribution(卡方分布)，

t-distribution(t-distribution)，

F-distribution(F-分布)。

Data Pre-processing(數據預處理)：

Missing Value Imputation(缺失值填充)，

Discretization(離散化)，Mapping(映射)，

Normalization(歸一化/標準化)。

Sampling(采樣)：

Simple Random Sampling(簡單隨機采樣)，

OfflineSampling(離線等可能K采樣)，

Online Sampling(在線等可能K采樣)，

Ratio-based Sampling(等比例隨機采樣)，

Acceptance-RejectionSampling(接受-拒絕采樣)，

Importance Sampling(重要性采樣)，

MCMC(MarkovChain Monte Carlo 馬爾科夫蒙特卡羅采樣算法：Metropolis-Hasting& Gibbs)。

Clustering(聚類)：

K-Means，

K-Mediods，

二分K-Means，

FK-Means，

Canopy，

Spectral-KMeans(譜聚類)，

GMM-EM(混合高斯模型-期望最大化算法解決)，

K-Pototypes，CLARANS(基于劃分)，

BIRCH(基于層次)，

CURE(基于層次)，

DBSCAN(基于密度)，

CLIQUE(基于密度和基于網格)。

Classification&Regression(分類&回歸)：

LR(Linear Regression 線性回歸)，

LR(LogisticRegression邏輯回歸)，

SR(Softmax Regression 多分類邏輯回歸)，

GLM(GeneralizedLinear Model 廣義線性模型)，

RR(Ridge Regression 嶺回歸/L2正則最小二乘回歸)，

LASSO(Least Absolute Shrinkage andSelectionator Operator L1正則最小二乘回歸)，

RF(隨機森林)，

DT(DecisionTree決策樹)，

GBDT(Gradient BoostingDecision Tree 梯度下降決策樹)，

CART(ClassificationAnd Regression Tree 分類回歸樹)，

KNN(K-Nearest Neighbor K近鄰)，

SVM(Support VectorMachine)，

KF(KernelFunction 核函數PolynomialKernel Function 多項式核函、

Guassian KernelFunction 高斯核函數/Radial BasisFunction RBF徑向基函數、

String KernelFunction 字符串核函數)、

NB(Naive Bayes 樸素貝葉斯)，BN(Bayesian Network/Bayesian Belief Network/ Belief Network 貝葉斯網絡/貝葉斯信度網絡/信念網絡)，

LDA(Linear Discriminant Analysis/FisherLinear Discriminant 線性判別分析/Fisher線性判別)，

EL(Ensemble Learning集成學習Boosting，Bagging，Stacking)，

AdaBoost(Adaptive Boosting 自適應增強)，

MEM(MaximumEntropy Model最大熵模型)。

Effectiveness Evaluation(分類效果評估)：

Confusion Matrix(混淆矩陣)，

Precision(精確度)，Recall(召回率)，

Accuracy(準確率)，F-score(F得分)，

ROC Curve(ROC曲線)，AUC(AUC面積)，

LiftCurve(Lift曲線) ，KS Curve(KS曲線)。

PGM(Probabilistic Graphical Models概率圖模型)：

BN(Bayesian Network/Bayesian Belief Network/ BeliefNetwork 貝葉斯網絡/貝葉斯信度網絡/信念網絡)，

MC(Markov Chain 馬爾科夫鏈)，

HMM(HiddenMarkov Model 馬爾科夫模型)，

MEMM(Maximum Entropy Markov Model 最大熵馬爾科夫模型)，

CRF(ConditionalRandom Field 條件隨機場)，

MRF(MarkovRandom Field 馬爾科夫隨機場)。

NN(Neural Network神經網絡)：

ANN(Artificial Neural Network 人工神經網絡)，

BP(Error BackPropagation 誤差反向傳播)。

Deep Learning(深度學習)：

Auto-encoder(自動編碼器)，

SAE(Stacked Auto-encoders堆疊自動編碼器，

Sparse Auto-encoders稀疏自動編碼器、

Denoising Auto-encoders去噪自動編碼器、

Contractive Auto-encoders 收縮自動編碼器)，

RBM(RestrictedBoltzmann Machine 受限玻爾茲曼機)，

DBN(Deep Belief Network 深度信念網絡)，

CNN(ConvolutionalNeural Network 卷積神經網絡)，

Word2Vec(詞向量學習模型)。

DimensionalityReduction(降維)：

LDA LinearDiscriminant Analysis/Fisher Linear Discriminant 線性判別分析/Fisher線性判別，

PCA(Principal Component Analysis 主成分分析)，

ICA(IndependentComponent Analysis 獨立成分分析)，

SVD(Singular Value Decomposition 奇異值分解)，

FA(FactorAnalysis 因子分析法)。

Text Mining(文本挖掘)：

VSM(Vector Space Model向量空間模型)，

Word2Vec(詞向量學習模型)，

TF(Term Frequency詞頻)，

TF-IDF(Term Frequency-Inverse DocumentFrequency 詞頻-逆向文檔頻率)，

MI(MutualInformation 互信息)，

ECE(Expected Cross Entropy 期望交叉熵)，

QEMI(二次信息熵)，

IG(InformationGain 信息增益)，

IGR(Information Gain Ratio 信息增益率)，

Gini(基尼系數)，

x2 Statistic(x2統計量)，

TEW(TextEvidence Weight文本證據權)，

OR(Odds Ratio 優勢率)，

N-Gram Model，

LSA(Latent Semantic Analysis 潛在語義分析)，

PLSA(ProbabilisticLatent Semantic Analysis 基于概率的潛在語義分析)，

LDA(Latent DirichletAllocation 潛在狄利克雷模型)。

Association Mining(關聯挖掘)：

Apriori，

FP-growth(Frequency Pattern Tree Growth 頻繁模式樹生長算法)，

AprioriAll，

Spade。

Recommendation Engine(推薦引擎)：

DBR(Demographic-based Recommendation 基于人口統計學的推薦)，

CBR(Context-basedRecommendation 基于內容的推薦)，

CF(Collaborative Filtering協同過濾)，

UCF(User-basedCollaborative Filtering Recommendation 基于用戶的協同過濾推薦)，

ICF(Item-basedCollaborative Filtering Recommendation 基于項目的協同過濾推薦)。

Similarity Measure&Distance Measure(相似性與距離度量)：

Euclidean Distance(歐式距離)，

ManhattanDistance(曼哈頓距離)，

Chebyshev Distance(切比雪夫距離)，

MinkowskiDistance(閔可夫斯基距離)，

Standardized Euclidean Distance(標準化歐氏距離)，

MahalanobisDistance(馬氏距離)，

Cos(Cosine 余弦)，

HammingDistance/Edit Distance(漢明距離/編輯距離)，

JaccardDistance(杰卡德距離)，

Correlation Coefficient Distance(相關系數距離)，

InformationEntropy(信息熵)，

KL(Kullback-Leibler Divergence KL散度/Relative Entropy 相對熵)。

Optimization(最優化)：

Non-constrainedOptimization(無約束優化)：

Cyclic VariableMethods(變量輪換法)，

Pattern Search Methods(模式搜索法)，

VariableSimplex Methods(可變單純形法)，

Gradient Descent Methods(梯度下降法)，

Newton Methods(牛頓法)，

Quasi-NewtonMethods(擬牛頓法)，

Conjugate Gradient Methods(共軛梯度法)。

ConstrainedOptimization(有約束優化)：

Approximation Programming Methods(近似規劃法)，

FeasibleDirection Methods(可行方向法)，

Penalty Function Methods(罰函數法)，

Multiplier Methods(乘子法)。

Heuristic Algorithm(啟發式算法)，

SA(SimulatedAnnealing，

模擬退火算法)，

GA(genetic algorithm遺傳算法)。

Feature Selection(特征選擇算法)：

Mutual Information(互信息)，

DocumentFrequence(文檔頻率)，

Information Gain(信息增益)，

Chi-squared Test(卡方檢驗)，

Gini(基尼系數)。

Outlier Detection(異常點檢測算法)：

Statistic-based(基于統計)，

Distance-based(基于距離)，

Density-based(基于密度)，

Clustering-based(基于聚類)。

Learning to Rank(基于學習的排序)：

Pointwise：McRank；

Pairwise：RankingSVM，RankNet，Frank，RankBoost；

Listwise：AdaRank，SoftRank，LamdaMART。

Tool(工具)：

MPI，Hadoop生態圈，Spark，BSP，Weka，Mahout，Scikit-learn，PyBrain…

以及一些具體的業務場景與case等。