非常乾燥和實用! 分布式任務排程和分布式計算框架

Mondo 科技 更新 2024-02-02

一、專案簡介

非常乾燥和實用! 分布式任務排程和分布式計算框架

二、功能的實現

觸發型別:在任務編排系統中,觸發型別是指觸發任務的方式。 常見的觸發器型別包括:

手動觸發:使用者手動點選執行按鈕或從命令列輸入命令,觸發任務的執行。

定時觸發:根據預設的時間規則,自動觸發指定時間點或時間間隔執行任務。 例如,每天凌晨執行一次,每小時執行一次,依此類推。

條件觸發:當滿足一定條件時,自動執行任務。 條件可以是系統狀態的變化、外部事件的觸發、資料的更新等。

任務編排:任務編排是指將多個任務按特定的邏輯和順序組織起來,形成乙個完整的工作流。 在任務編排中,您可以定義任務之間的依賴關係、執行順序和併發性。

任務編排系統通常提供用於建立和管理任務編排的圖形介面或程式設計介面。 通過任務編排,可以實現複雜的業務邏輯和流程控制,提高任務執行的效率和可靠性。

任務分片:任務分片是將乙個大任務拆分為多個小任務併行執行。 任務分片可以提高任務的執行速度和資源利用率,同時降低單個任務執行的風險。

任務分片通常需要考慮任務之間的依賴關係和執行順序,以確保分片任務能夠並行正確執行,並且在所有分片執行完畢後,可以在下一步進行合併或處理。

停止和恢復:

停止和恢復任務是指在任務執行過程中,暫停任務的執行,儲存當前執行狀態,然後再次啟動任務時從儲存的狀態恢復任務的執行。

停止任務可以是手動操作,也可以是由條件觸發的。 當任務停止時,系統會儲存該任務的執行環境和執行日誌等資訊,以便後續任務恢復。

儲存執行快照:

通過儲存執行快照,可以儲存任務在執行過程中的狀態和資料,以便將任務恢復到狀態,並在需要時繼續執行任務。

執行快照通常包括任務的輸入輸出資料、執行日誌、執行進度等資訊。 儲存執行快照可以提高任務執行的可靠性和靈活性,同時降低重新執行任務的成本。

失敗重試:失敗重試是任務執行失敗後,為嘗試解決任務執行失敗問題而進行的自動重試操作,並繼續執行任務。

失敗重試通常根據預設的重試策略和重試次數自動執行。 可以根據任務的性質和執行環境配置重試策略,以達到最佳重試效果。

後台管理:後台管理是指通過任務編排系統的管理介面或介面對任務進行建立、配置、監控和管理。

後台管理包括建立、編輯和刪除任務編排,配置觸發器型別和觸發條件,監控和排程任務執行狀態,以及檢視執行日誌和報告。

監控告警:監控告警是指在任務執行過程中對關鍵指標和異常情況進行實時監控,並在出現問題時發出告警通知。

監控指標可以包括任務執行進度、執行時間和資源使用情況。 異常可能是任務執行失敗、執行超時、資源不足等。

檢視執行日誌:

通過檢視執行日誌,您可以通過任務編排系統的管理介面或介面檢視任務執行過程中產生的日誌資訊。

執行日誌記錄任務的執行詳情、輸入輸出資料、執行狀態和錯誤資訊。 您可以檢視執行日誌,了解任務的執行狀態、排查問題和診斷故障。

3.技術選擇

html+css+js

mysqlredis

nacoszookeeper

5. 原始碼位址

私信回覆: 89

相關問題答案

    TDengine是一款高效能的分布式物聯網工業大資料平台

    TDengine投融資專案 本專案由TDEngine提交,參與評選 資料猿年度金猿策劃活動 大資料行業年度最具價值投資榜評選 北京陶思資料技術有限公司成立於年月,瞄準日益增長的物聯網資料市場,專注於時序空間中大資料的儲存 查詢 分析和計算,在不依賴任何開源或第三方軟體的情況下,開發了具有自主智財權和...

    分布式金鑰管理有哪些好處?

    分布式金鑰管理是將金鑰生成 儲存 使用 更新等過程分布在多個節點上,實現金鑰高可用和安全性的方案。與傳統的集中式金鑰管理方案相比,分布式金鑰管理具有以下明顯優勢 分布式金鑰管理可實現負載均衡。在分布式系統中,各種計算資源和資料儲存均勻分布在節點之間,有效避免了單點過載。當系統負載發生變化時,節點之間...

    如何快速檢測分布式爬蟲IP

    本文介紹如何快速檢測分布式爬網程式IP IP位址。首先,我們需要了解分布式爬蟲IP的特點和檢測方法,然後介紹IP的基本概念和功能,最後是如何使用IP來檢測分布式爬蟲IP。 分布式爬蟲IP的特點及檢測方法。分布式爬蟲IP是指在不同地域 不同網路環境下使用的IP位址,通常由多台伺服器提供。由於這些 IP...

    分布式直流發電的功能

    裝置能量轉換。在外接電源的情況下,分布式直流電源為蓄電池提供能量,並與能量一起給負載長期執行 在儲能和開閉操作期間,更多的負載能量需求由電池提供。當通訊輸入斷電時,電池將所有能量提供給輸出。 主動處理。分布式直流電源採用微控制器對電池進行智慧型充放電,具有定時有源均衡和有源浮充功能。裝置隨時自檢,提...

    分布式直流電源的特點

    分布式直流電源的使用規模 小型開關站 環網櫃 箱式變電站和使用者終端,為二次控制線路 一次開關櫃 彈簧機構真空斷路器 電氣負荷開關等 通訊光收發器等提供直流電源。分布式直流電源的特點 分散式安裝,節省占地面積,降低成本,根據嵌入式設計思路,JRXQF系列嵌入式直流電源裝置直接安裝在智慧型開關櫃的儀表...