千鋒教育-做有情懷、有良心、有品質(zhì)的職業(yè)教育機(jī)構(gòu)
千鋒學(xué)習(xí)站 | 隨時(shí)隨地免費(fèi)學(xué)
掃一掃進(jìn)入千鋒手機(jī)站
關(guān)注千鋒學(xué)習(xí)站小程序
隨時(shí)隨地免費(fèi)學(xué)習(xí)課程
一.特征向量和距離
1.人工智能技術(shù)綜述
1.1 人工智能和機(jī)器學(xué)習(xí)的關(guān)系
1.2 人工智能主要方向剖析
1.3 人工智能學(xué)習(xí)路線規(guī)劃
2.特征提?。何锢硎澜绲臄?shù)學(xué)描述
2.1 onehot和multihot
2.2 圖像特征和邊緣提取
2.3 連續(xù)特征的正規(guī)化和分段
2.4 行為類(lèi)特征的向量化
2.5 社交類(lèi)特征的向量化
2.6 離散特征的向量化
3.向量之間的距離計(jì)算以及使用場(chǎng)景
3.1 歐氏距離、海明距離、閔可夫斯基距離
3.2 內(nèi)積距離
3.3 雅克比相似度和雅克比距離
3.5 各類(lèi)距離的比較以及優(yōu)缺點(diǎn)
3.6 numpy入門(mén)以及距離計(jì)算
二.線性回歸
1.線性回歸概述
1.1線性回歸的定義
1.2線性回歸的適用場(chǎng)景
1.3嶺回歸
2.模型評(píng)估
2.1線性回歸的評(píng)測(cè)方法
2.2訓(xùn)練集和測(cè)試集
2.3模型的泛化能力
3.模型學(xué)習(xí)方法
3.1損失函數(shù)MSE和最小二乘法
3.2導(dǎo)數(shù)的定義和計(jì)算
3.4 極大值和極小值
3.5梯度下降法
3.6 從幾何角度理解梯度下降法
4.sklearn框架
4.1 sklearn框架的介紹、安裝方法
4.2 使用sklearn完成線性回歸模型
5.深入理解線性回歸
5.1多項(xiàng)式回歸解決非線性問(wèn)題
5.2 特征冗余和噪音特征
5.3 線性回歸和正態(tài)分布
三.邏輯回歸
1.分類(lèi)任務(wù)和概率
1.1多分類(lèi)和二分類(lèi)
1.2 分類(lèi)模型和概率模型
2.邏輯回歸
2.1感知器及其局限性
2.2 Sigmoid函數(shù)詳解
2.3 邏輯回歸在分類(lèi)問(wèn)題上的應(yīng)用
2.4 模型的正則化
3.梯度下降法
3.1 Sigmoid函數(shù)的導(dǎo)數(shù)推導(dǎo)
3.2 邏輯回歸的損失函數(shù)KL距離
3.3 梯度下降法在邏輯回歸上的應(yīng)用
3.4 學(xué)習(xí)因子的設(shè)定
3.5 正則項(xiàng)在邏輯回歸中的必要性
4.邏輯回歸實(shí)戰(zhàn)
4.1 使用sklearn實(shí)現(xiàn)邏輯回歸
4.2 使用TensorFlow實(shí)現(xiàn)邏輯回歸
4.4 邏輯回歸調(diào)參指南
5.損失函數(shù)的選擇和對(duì)比
5.1KL距離和MSE的區(qū)別
5.2 KL距離背后的統(tǒng)計(jì)學(xué)原理
5.3 KL距離和交叉熵
6.邏輯回歸的統(tǒng)計(jì)學(xué)原理
6.1最大似然估計(jì)和KL損失函數(shù)
6.2.邏輯回歸和正態(tài)分布
7.模型的正則化
7.1 L1正則和L2正則的異同
7.2正則化和過(guò)擬合
7.3 從概率的角度理解正則化
7.4 sklearn如何進(jìn)行正則化的實(shí)現(xiàn)
8.分類(lèi)模型的評(píng)價(jià)指標(biāo)
8.1 正確率,準(zhǔn)確率和召回率
8.2 AUC和ROC
8.3 各類(lèi)分類(lèi)指標(biāo)的優(yōu)點(diǎn)、局限性
8.4 代碼實(shí)戰(zhàn)各類(lèi)指標(biāo)的計(jì)算
四、無(wú)監(jiān)督模型
1.Kmeans模型
1.1聚類(lèi)的目的和意義
1.2 Kmeans模型詳解以及參數(shù)學(xué)習(xí)
1.3使用sklearn進(jìn)行Kmeans模型實(shí)戰(zhàn)
1.4 Kmeans模型的缺點(diǎn)
1.5 Kmeans各類(lèi)改進(jìn)版本
1.6 EM算法詳解
1.7 Kmeans算法和邏輯回歸
2.隱式主題模型-LDA
2.1 LDA模型的原理
2.2 LDA模型的求解
2.3 LDA主題模型實(shí)戰(zhàn):推薦系統(tǒng)中的應(yīng)用
2.4 LDA模型背后的概率意義
2.5.吉布斯采樣
2.6 LDA模型代碼實(shí)戰(zhàn)
五、因子分解模型-FM模型
1.特征交叉原理和FM模型
1.1 特征交叉的原理和意義
1.2特征交叉的數(shù)學(xué)實(shí)現(xiàn)
1.3通過(guò)內(nèi)積簡(jiǎn)化特征交叉
1.4 FM模型原理詳解
1.5 FM模型和邏輯回歸異同解析
2.FM模型的數(shù)學(xué)推導(dǎo)
2.1 FM模型在數(shù)學(xué)上的化簡(jiǎn)
2.2梯度下降法在FM模型中的應(yīng)用
3.使用python進(jìn)行FM模型實(shí)戰(zhàn)
六、深度神經(jīng)網(wǎng)絡(luò)
1.深層模型的意義
1.1特征變換和特征提取
1.2 激活函數(shù)的意義和必要性
1.3 深層模型架構(gòu)
1.4 softmax函數(shù)和多分類(lèi)
1.5 深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)
1.6 shortcut結(jié)構(gòu)詳解
2.常見(jiàn)激活函數(shù)
2.1 sigmoid激活函數(shù)詳解
2.2 tanh激活函數(shù)詳解
2.3 relu激活函數(shù)詳解
2.4 relu函數(shù)的改進(jìn)版本詳解
3.softmax函數(shù)和多分類(lèi)
3.1 softmax函數(shù)的推導(dǎo)和onehot向量的關(guān)系
3.2 softmax的導(dǎo)數(shù)推導(dǎo)
3.3多分類(lèi)和多標(biāo)簽
4.深度學(xué)習(xí)實(shí)戰(zhàn)
4.1主流機(jī)器學(xué)習(xí)框架平臺(tái)介紹
4.2 TensorFlow和keras框架詳解
4.3如何調(diào)用自己的GPU
4.4深度學(xué)習(xí)實(shí)戰(zhàn):用keras搭建自己的神經(jīng)網(wǎng)絡(luò)
七、深度學(xué)習(xí)進(jìn)階
1.梯度下降法
1.1 矩陣和向量的求導(dǎo)法則
1.2 矩陣和向量的鏈?zhǔn)椒▌t
1.3 梯度下降法在深層神經(jīng)網(wǎng)絡(luò)中的推導(dǎo)和應(yīng)用
1.4 梯度消失和梯度爆炸產(chǎn)生原因分析以及解決方案
1.5 鞍點(diǎn)、局部極小、以及解決方案
2. 權(quán)重初始化
2.1權(quán)重的對(duì)稱性及其危害
2.2 隨機(jī)初始化權(quán)重的方法
3. 梯度下降法及其改進(jìn)
3.1傳統(tǒng)梯度下降法的缺點(diǎn)
3.2 SGD算法
3.3動(dòng)量法
3.4 RMSprop算法
3.5 Adam算法
3.6改進(jìn)型梯度下降法在keras中的實(shí)現(xiàn)
4.輸入的標(biāo)準(zhǔn)化
4.1 標(biāo)準(zhǔn)化的意義
4.2 批標(biāo)準(zhǔn)化以及keras的實(shí)現(xiàn)
4.3 層標(biāo)準(zhǔn)化以及keras的實(shí)現(xiàn)
5.深度學(xué)習(xí)的正則化
5.1 L1正則和L2正則在深度學(xué)習(xí)中的應(yīng)用
5.2 dropout以及keras實(shí)現(xiàn)
八、序列神經(jīng)網(wǎng)絡(luò)
1.循環(huán)神經(jīng)網(wǎng)絡(luò)
1.1時(shí)序模型以及使用場(chǎng)景
1.2 RNN模型以及keras的實(shí)現(xiàn)
1.3 LSTM模型以及keras的實(shí)現(xiàn)
1.3.GRU模型以及keras的實(shí)現(xiàn)
1.4.時(shí)序模型代碼實(shí)戰(zhàn)
2.Attention神經(jīng)網(wǎng)絡(luò)
2.1.seq2seq架構(gòu)
2.2 Attention模型
2.3 常見(jiàn)注意力算法
2.4 self-attention
2.5多抽頭Attention
2.6 transformer架構(gòu)
2.7 attention模型在圖像中的應(yīng)用
九、自然語(yǔ)言處理
1.word2vec和fasttext
1.1.自然語(yǔ)言處理和語(yǔ)言模型
1.2.詞向量模型word2vec
1.3.skipgram和cbow構(gòu)建方法
1.4.霍夫曼樹(shù)和負(fù)采樣
1.5.fasttext模型和文本分類(lèi)
1.6.子詞模型
1.7 word2vec和fasttext的代碼實(shí)戰(zhàn)
2.大模型之Bert
2.1.NLP的龍骨模型-Bert
2.2.Bert模型的訓(xùn)練方法
2.3.Bert模型的應(yīng)用
2.4.Bert模型實(shí)戰(zhàn)
2.5.Bert常見(jiàn)的改進(jìn)方法
十、計(jì)算機(jī)視覺(jué)
1.深入理解卷積層
1.1 卷積的物理意義
1.2 卷積層的操作方法
1.3 卷積層步長(zhǎng)和窗口選取技巧
1.4卷積層的keras實(shí)現(xiàn)
1.5.常見(jiàn)卷積改進(jìn)方法
2.池化層
2.1 最大池化
2.2 均值池化
2.3 池化層的keras實(shí)現(xiàn)
3.圖像分類(lèi)
3.1.圖像分類(lèi)常用數(shù)據(jù)集介紹:coco、imagenet 等
3.2 多層卷積神經(jīng)網(wǎng)絡(luò)在圖像分類(lèi)中的應(yīng)用
4.卷積在文本分類(lèi)中的應(yīng)用
4.1 卷積在文本特征提取的方法
4.2 textCNN詳解
一. 推薦系統(tǒng)整體架構(gòu)
1.內(nèi)容生產(chǎn)和內(nèi)容理解
1.1 推薦系統(tǒng)的內(nèi)容生產(chǎn)
1.2.內(nèi)容審核和內(nèi)容打標(biāo)
1.3.內(nèi)容有效期預(yù)測(cè)
2.內(nèi)容分發(fā)
2.1 召回階段的目的、意義和設(shè)計(jì)思想
2.2 排序階段的目的、意義和設(shè)計(jì)思想
3.推薦系統(tǒng)的評(píng)價(jià)指標(biāo)
3.1推薦系統(tǒng)的商業(yè)價(jià)值
3.2 日活、CTR、人均時(shí)長(zhǎng)等指標(biāo)分析
二. 召回模型
1.基于行為類(lèi)的召回
1.1 協(xié)同過(guò)濾:itemCF
1.2 協(xié)同過(guò)濾:UserCF
1.3 隨機(jī)游走模型:node2vec
1.4 行為類(lèi)召回的優(yōu)勢(shì)、缺點(diǎn)總結(jié)
2.基于內(nèi)容類(lèi)的召回
1.1 基于文本embedding的召回系統(tǒng)
2.2 基于標(biāo)簽體系的召回系統(tǒng)
2.3 基于up主的召回系統(tǒng)
2.4 微軟DSSM雙塔召回模型
2.5 最近鄰快速檢索工具annoy和faiss
3.YoutubeDNN召回系統(tǒng)
3.1 用戶行為特征、自然屬性特征的提取,預(yù)處理和歸一化
3.2 Item特征提取,預(yù)處理和歸一化
3.3 負(fù)采樣:NCE和sampledSoftmax
3.4 youtubeDNN召回系統(tǒng)
4.交叉特征召回
4.1 FM模型在召回系統(tǒng)中的應(yīng)用
4.2 FFM模型在召回系統(tǒng)中的應(yīng)用
4.3 矩陣分解SVD在召回系統(tǒng)中的應(yīng)用
三. 排序系統(tǒng)
1.CTR預(yù)估
1.1 排序指標(biāo)精講
1.2 AUC和userAUC
2. Deep & Cross
2.1 模型結(jié)構(gòu)精講
2.2 特征交叉詳解
2.3 使用keras實(shí)現(xiàn)Deep & Cross模型
3.xDeepFM
3.1 模型結(jié)構(gòu)精講
3.2 CIN模塊
3.3 使用keras實(shí)現(xiàn)xDeepFM模型
4.邏輯回歸在排序模型中的應(yīng)用
4.1 邏輯回歸精講
4.2 詳解大規(guī)模特征工程
4.3 邏輯回歸在百度鳳巢系統(tǒng)
5.阿里巴巴DIN模型詳解
5.1 Base模型詳解
5.2 DIN模型詳解
5.3 DIEN模型詳解
5.4 DSIN模型詳解
6.阿里CVR預(yù)估模型ESMM
6.1 CVR預(yù)估的場(chǎng)景和挑戰(zhàn)
6.2 ESMM模型詳解
6.3 隱式學(xué)習(xí)pCVR
6.4 樣本選擇(BBS)問(wèn)題的解決方案
6.5 樣本稀疏(DS)問(wèn)題的解決方案
四. 推薦系統(tǒng)指標(biāo)體系構(gòu)建
1.AB測(cè)試
1.1 流量分桶的原理
1.2 AB測(cè)試置信度計(jì)算
1.3 基于分層的AB測(cè)試
2.指標(biāo)評(píng)價(jià)體系
2.1 推薦系統(tǒng)的商業(yè)價(jià)值
2.2 ctr提升的方法
2.3 人均時(shí)長(zhǎng)提升方法
五. 微信視頻號(hào)推薦實(shí)戰(zhàn)
1.特征提取
1.1 文本內(nèi)容特征提取
1.2 短視頻內(nèi)容embedding抽取
1.3 短視頻畫(huà)面embedding抽取
1.4 短視頻多模態(tài)embedding抽取
2.推薦系統(tǒng)核心代碼實(shí)戰(zhàn)
2.1 召回系統(tǒng)代碼實(shí)戰(zhàn)
2.2 排序系統(tǒng)代碼實(shí)戰(zhàn)
一. 序列神經(jīng)網(wǎng)絡(luò)
1.循環(huán)神經(jīng)網(wǎng)絡(luò)
1.1 時(shí)序模型以及使用場(chǎng)景
1.2 RNN模型以及keras的實(shí)現(xiàn)
1.3 LSTM模型以及keras的實(shí)現(xiàn)
1.3 GRU模型以及keras的實(shí)現(xiàn)
1.4 時(shí)序模型代碼實(shí)戰(zhàn)
2.Attention神經(jīng)網(wǎng)絡(luò)
2.1 seq2seq架構(gòu)
2.2 Attention模型
2.3 常見(jiàn)注意力算法
2.4 self-attention
2.5 多抽頭Attention
2.6 transformer架構(gòu)
2.7 attention模型在圖像中的應(yīng)用
二. 自然語(yǔ)言處理入門(mén)
1.word2vec和fasttext
1.1 自然語(yǔ)言處理和語(yǔ)言模型
1.2 詞向量模型word2vec
1.3 skipgram和cbow構(gòu)建方法
1.4 霍夫曼樹(shù)和負(fù)采樣
1.5 Facebook 的fasttext模型和文本分類(lèi)
1.6 子詞模型
1.7 word2vec和fasttext的代碼實(shí)戰(zhàn)
2.卷積在文本分類(lèi)中的應(yīng)用
2.1 卷積在文本特征提取的方法
2.2 textCNN詳解
三. 大規(guī)模預(yù)訓(xùn)練模型
1.Google Bert模型精講
1.1 NLP的龍骨模型-Bert
1.2 Bert模型的訓(xùn)練方法
1.3 Bert模型的應(yīng)用
1.4 Bert模型實(shí)戰(zhàn)
2.Bert模型改進(jìn)
2.1 Elmo模型精講
2.2 GPT1.0~GPT2.0精講模型
2.3 XLNet模型精講
2.4 RoBERT模型精講
2.5 ALBert模型精講
2.6 T5模型精講
四. 中文自然語(yǔ)言處理
1.百度ernie模型
1.1 paddle框架學(xué)習(xí)
1.2 知識(shí)圖譜構(gòu)建
1.3 ernie大模型訓(xùn)練精講
1.4 ernie大模型使用場(chǎng)景精講
2.中文分詞精講
1.1 序列標(biāo)注與深度學(xué)習(xí)
1.2 HMM模型精講
1.3 CRF模型精講
1.4 CRF和LSTM結(jié)合精講
1.5 中文分詞代碼實(shí)戰(zhàn)
3.新詞發(fā)現(xiàn)
1.1 信息熵和大數(shù)據(jù)
1.2 中文信息熵計(jì)算
1.3 基于信息熵的中文新詞發(fā)現(xiàn)
五. 自然語(yǔ)言處理項(xiàng)目精講
1.京東客服:智能聊天機(jī)器人
1.1 智能聊天機(jī)器人整體框架
1.2 文本匹配模型
1.3 深度語(yǔ)義理解模型
1.4 Attention和語(yǔ)義匹配
1.5 度量學(xué)習(xí)和語(yǔ)義快速檢索
2.騰訊新聞:內(nèi)容平臺(tái)的文本分類(lèi)
2.1 文本分類(lèi)任務(wù):多標(biāo)簽和多分類(lèi)
2.2 情感分析實(shí)戰(zhàn)
2.3 垃圾過(guò)濾實(shí)戰(zhàn)
2.4 樣本不均衡和解決方案
3.騰訊百萬(wàn)級(jí)實(shí)體知識(shí)圖譜精講
3.1 結(jié)構(gòu)化數(shù)據(jù)的抽取
3.2 neo4j數(shù)據(jù)庫(kù)介紹和常見(jiàn)查詢語(yǔ)句
3.3 transE模型及其改進(jìn)
3.4 大規(guī)模圖隨機(jī)游走算法
3.5 知識(shí)圖譜的落地場(chǎng)景和實(shí)際應(yīng)用
4.騰訊新聞內(nèi)容理解-長(zhǎng)文本標(biāo)簽抽取實(shí)戰(zhàn)
4.1 標(biāo)簽抽取和關(guān)鍵詞抽取
4.2 基于textrank的標(biāo)簽抽取
4.3 異質(zhì)標(biāo)簽的歸一化
4.4 基于雙塔模型的標(biāo)簽抽取
4.5 基于分類(lèi)模型的標(biāo)簽抽取
5.新浪輿情系統(tǒng)-文本摘要抽取
5.1 抽取式摘要抽取
5.2 基于Bert的摘要抽取
5.3 基于大模型的生成式摘要