借助一個文件寫入的例子來說明兩階段提交,在Flink中使用兩階段提交,需要實現(xiàn)TwoPhaseCommitSinkFunction這個抽象類的四個方法,我們下面來說明。
protected abstract TXN beginTransaction() throws Exception; protected abstract void preCommit(TXN transaction) throws Exception; protected abstract void commit(TXN transaction); protected abstract void abort(TXN transaction);
1. beginTransaction - 在事務(wù)開始前,我們在目標文件系統(tǒng)上面的臨時目錄上創(chuàng)建一個臨時文件。隨后,我們在程序處理的時候可以將數(shù)據(jù)寫入到這個文件。
2. preCommit - 在預(yù)提交階段,我們刷新文件到磁盤,關(guān)閉文件。
3. commit - 在提交階段,我們原子性的將預(yù)提交階段的文件移動到真正的目標目錄。需要注意的是,這增加了輸出數(shù)據(jù)的可見性的延遲,因為不mv是看不到數(shù)據(jù)的,延遲時間就是設(shè)定的checkpoint的時間。
4. abort - 在終止階段,我們刪除臨時文件 *如果步驟中有任何錯誤,F(xiàn)link會通過最新的checkpoint來恢復(fù)程序狀態(tài)。
比如預(yù)提交成功了,在通知到達operator之前失敗了。
這時候,F(xiàn)link將operator的狀態(tài)恢復(fù)到預(yù)提交階段,即還未真正提交的時候。
為了能在重啟的時候能夠正確的終止或者提交事務(wù),我們需要在預(yù)提交階段將足夠的信息保存到checkpoint中。
在這個例子中,這些信息是臨時文件以及目標目錄的地址, 當從checpoint恢復(fù)時,F(xiàn)link會先執(zhí)行一個Commit操作。