一区二区三区中文国产亚洲_另类视频区第一页_日韩精品免费视频_女人免费视频_国产综合精品久久亚洲

千鋒教育-做有情懷、有良心、有品質(zhì)的職業(yè)教育機構(gòu)

手機站
千鋒教育

千鋒學(xué)習(xí)站 | 隨時隨地免費學(xué)

千鋒教育

掃一掃進入千鋒手機站

領(lǐng)取全套視頻
千鋒教育

關(guān)注千鋒學(xué)習(xí)站小程序
隨時隨地免費學(xué)習(xí)課程

當前位置:首頁  >  應(yīng)聘面試  >  大數(shù)據(jù)面試題  > Flink兩階段提交(2PC)

Flink兩階段提交(2PC)

來源:千鋒教育
發(fā)布人:wjy
時間: 2022-09-02 15:42:28 1662104548

借助一個文件寫入的例子來說明兩階段提交,在Flink中使用兩階段提交,需要實現(xiàn)TwoPhaseCommitSinkFunction這個抽象類的四個方法,我們下面來說明。

protected abstract TXN beginTransaction() throws Exception; protected abstract void preCommit(TXN transaction) throws Exception; protected abstract void commit(TXN transaction); protected abstract void abort(TXN transaction);  

1. beginTransaction - 在事務(wù)開始前,我們在目標文件系統(tǒng)上面的臨時目錄上創(chuàng)建一個臨時文件。隨后,我們在程序處理的時候可以將數(shù)據(jù)寫入到這個文件。

2. preCommit - 在預(yù)提交階段,我們刷新文件到磁盤,關(guān)閉文件。

3. commit - 在提交階段,我們原子性的將預(yù)提交階段的文件移動到真正的目標目錄。需要注意的是,這增加了輸出數(shù)據(jù)的可見性的延遲,因為不mv是看不到數(shù)據(jù)的,延遲時間就是設(shè)定的checkpoint的時間。

4. abort - 在終止階段,我們刪除臨時文件 *如果步驟中有任何錯誤,F(xiàn)link會通過最新的checkpoint來恢復(fù)程序狀態(tài)。

比如預(yù)提交成功了,在通知到達operator之前失敗了。

這時候,F(xiàn)link將operator的狀態(tài)恢復(fù)到預(yù)提交階段,即還未真正提交的時候。

為了能在重啟的時候能夠正確的終止或者提交事務(wù),我們需要在預(yù)提交階段將足夠的信息保存到checkpoint中。

在這個例子中,這些信息是臨時文件以及目標目錄的地址, 當從checpoint恢復(fù)時,F(xiàn)link會先執(zhí)行一個Commit操作。

Flink兩階段提交(2PC)

tags:
聲明:本站稿件版權(quán)均屬千鋒教育所有,未經(jīng)許可不得擅自轉(zhuǎn)載。
10年以上業(yè)內(nèi)強師集結(jié),手把手帶你蛻變精英
請您保持通訊暢通,專屬學(xué)習(xí)老師24小時內(nèi)將與您1V1溝通
免費領(lǐng)取
今日已有369人領(lǐng)取成功
劉同學(xué) 138****2860 剛剛成功領(lǐng)取
王同學(xué) 131****2015 剛剛成功領(lǐng)取
張同學(xué) 133****4652 剛剛成功領(lǐng)取
李同學(xué) 135****8607 剛剛成功領(lǐng)取
楊同學(xué) 132****5667 剛剛成功領(lǐng)取
岳同學(xué) 134****6652 剛剛成功領(lǐng)取
梁同學(xué) 157****2950 剛剛成功領(lǐng)取
劉同學(xué) 189****1015 剛剛成功領(lǐng)取
張同學(xué) 155****4678 剛剛成功領(lǐng)取
鄒同學(xué) 139****2907 剛剛成功領(lǐng)取
董同學(xué) 138****2867 剛剛成功領(lǐng)取
周同學(xué) 136****3602 剛剛成功領(lǐng)取
相關(guān)推薦HOT
快速通道