一、專案簡介
非常乾燥和實用! 分布式任務排程和分布式計算框架
二、功能的實現
觸發型別:在任務編排系統中,觸發型別是指觸發任務的方式。 常見的觸發器型別包括:
手動觸發:使用者手動點選執行按鈕或從命令列輸入命令,觸發任務的執行。
定時觸發:根據預設的時間規則,自動觸發指定時間點或時間間隔執行任務。 例如,每天凌晨執行一次,每小時執行一次,依此類推。
條件觸發:當滿足一定條件時,自動執行任務。 條件可以是系統狀態的變化、外部事件的觸發、資料的更新等。
任務編排:任務編排是指將多個任務按特定的邏輯和順序組織起來,形成乙個完整的工作流。 在任務編排中,您可以定義任務之間的依賴關係、執行順序和併發性。
任務編排系統通常提供用於建立和管理任務編排的圖形介面或程式設計介面。 通過任務編排,可以實現複雜的業務邏輯和流程控制,提高任務執行的效率和可靠性。
任務分片:任務分片是將乙個大任務拆分為多個小任務併行執行。 任務分片可以提高任務的執行速度和資源利用率,同時降低單個任務執行的風險。
任務分片通常需要考慮任務之間的依賴關係和執行順序,以確保分片任務能夠並行正確執行,並且在所有分片執行完畢後,可以在下一步進行合併或處理。
停止和恢復:
停止和恢復任務是指在任務執行過程中,暫停任務的執行,儲存當前執行狀態,然後再次啟動任務時從儲存的狀態恢復任務的執行。
停止任務可以是手動操作,也可以是由條件觸發的。 當任務停止時,系統會儲存該任務的執行環境和執行日誌等資訊,以便後續任務恢復。
儲存執行快照:
通過儲存執行快照,可以儲存任務在執行過程中的狀態和資料,以便將任務恢復到狀態,並在需要時繼續執行任務。
執行快照通常包括任務的輸入輸出資料、執行日誌、執行進度等資訊。 儲存執行快照可以提高任務執行的可靠性和靈活性,同時降低重新執行任務的成本。
失敗重試:失敗重試是任務執行失敗後,為嘗試解決任務執行失敗問題而進行的自動重試操作,並繼續執行任務。
失敗重試通常根據預設的重試策略和重試次數自動執行。 可以根據任務的性質和執行環境配置重試策略,以達到最佳重試效果。
後台管理:後台管理是指通過任務編排系統的管理介面或介面對任務進行建立、配置、監控和管理。
後台管理包括建立、編輯和刪除任務編排,配置觸發器型別和觸發條件,監控和排程任務執行狀態,以及檢視執行日誌和報告。
監控告警:監控告警是指在任務執行過程中對關鍵指標和異常情況進行實時監控,並在出現問題時發出告警通知。
監控指標可以包括任務執行進度、執行時間和資源使用情況。 異常可能是任務執行失敗、執行超時、資源不足等。
檢視執行日誌:
通過檢視執行日誌,您可以通過任務編排系統的管理介面或介面檢視任務執行過程中產生的日誌資訊。
執行日誌記錄任務的執行詳情、輸入輸出資料、執行狀態和錯誤資訊。 您可以檢視執行日誌,了解任務的執行狀態、排查問題和診斷故障。
3.技術選擇
html+css+js
mysqlredis
nacoszookeeper
5. 原始碼位址
私信回覆: 89