12
2025
02
21:50:39

Docker搭建一款开源的工作流任务调度系统

[_tag[_tag1[_tag[_tag1_]_]|16|17|2|21|24|28|29|31|35|36|37|39|41|42|43|46|47|48|5|50|51|55|56|57|58|59|6|60|61|62|63|64|65|66|67|68|7|8" js_editor_cpcad="" src="https://hqyman.cn/zb_users/upload/2025/02/20250212215115_51736.jpeg" data-id="1739156702456">_]_]


简介



DolphinScheduler是一个分布式、易扩展、可视化的DAG(有向无环图)工作流任务调度系统。

它支持多种部署方式、易于扩展、性能优异,并且广泛应用于各个领域。无论是大数据处理、数据分析还是ETL流程管理,DolphinScheduler都能提供高效、可靠的解决方案



主要特征



易于部署:提供Standalone、Cluster、Docker和Kubernetes等多种部署方式,方便用户根据实际需求选择合适的部署环境。

易于使用:用户可以通过Web UI、Python SDK和Open API等多种方式创建和管理工作流,同时支持拖拽操作构建ETL过程,使得非技术人员如系统管理员和分析师也能轻松使用。

高可靠高可用:采用多主多从的去中心化架构,原生支持横向扩展,确保系统的高可靠性和高可用性。

高性能:性能优于其他编排平台,每天可支持千万级任务,满足大规模数据处理的需求。

Cloud Native:支持编排多云/数据中心工作流,同时支持自定义任务类型,增加了系统的灵活性和可扩展性。

版本控制:对工作流和工作流实例(包括任务)进行版本控制,方便用户进行任务管理和追踪。

多种状态控制:支持工作流和任务的多种状态控制,如暂停、停止、恢复等,提高了任务管理的灵活性。

多租户支持:支持多租户环境,方便不同用户或团队在同一系统上进行任务调度和管理。

补数支持:提供补数功能,支持并行或串行回填数据,方便用户对历史数据进行处理和更新。




应用场景



DolphinScheduler广泛应用于金融、电信、保险等领域,支持在Hadoop、Spark、Flink等主流大数据平台上运行的任务。

例如,在金融行业,DolphinScheduler可以高效地处理和分析大量的数据,为金融行业的数据工作流程提供高安全性和可靠性。

在电信行业,DolphinScheduler可以支持每天处理大量的数据,满足电信行业的需求。

在保险行业,DolphinScheduler可以提供一个高效的工作流管理系统,更快速、准确地处理数据,生成用于更好决策的洞察力。

如需了解更多信息,可以访问其官方网站或查阅相关的技术文档。

GitHub地址

https://github.com/apache/dolphinscheduler

官方网站

https://dolphinscheduler.apache.org/

官方文档

https://dolphinscheduler.apache.org/en-us/docs/3.2.2




安装部署



DolphinScheduler提供Standalone、Cluster、Docker、Kubernetes四种部署方式。以Docker为例。

安装Docker



sudo apt updatesudo apt install -y docker.io docker-compose

拉取镜像


sudo docker pull apache/dolphinscheduler-standalone-server

启动服务




sudo docker run --name dolphinscheduler-standalone-server \ -p 12345:12345 -p 25333:25333 -d \ apache/dolphinscheduler-standalone-server

服务启动后,在浏览器访问IP::12345/dolphinscheduler/ui,默认账号密码为admin/dolphinscheduler123

login

home

workflow-definition

workflow-tree

monitor




推荐本站淘宝优惠价购买喜欢的宝贝:

image.png

本文链接:https://hqyman.cn/post/9024.html 非本站原创文章欢迎转载,原创文章需保留本站地址!

分享到:
打赏





休息一下~~


« 上一篇 下一篇 »

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

请先 登录 再评论,若不是会员请先 注册

您的IP地址是: