简介 DolphinScheduler是一个分布式、易扩展、可视化的DAG(有向无环图)工作流任务调度系统。 它支持多种部署方式、易于扩展、性能优异,并且广泛应用于各个领域。无论是大数据处理、数据分析还是ETL流程管理,DolphinScheduler都能提供高效、可靠的解决方案。 主要特征
易于部署:提供Standalone、Cluster、Docker和Kubernetes等多种部署方式,方便用户根据实际需求选择合适的部署环境。
易于使用:用户可以通过Web UI、Python SDK和Open API等多种方式创建和管理工作流,同时支持拖拽操作构建ETL过程,使得非技术人员如系统管理员和分析师也能轻松使用。
高可靠高可用:采用多主多从的去中心化架构,原生支持横向扩展,确保系统的高可靠性和高可用性。
高性能:性能优于其他编排平台,每天可支持千万级任务,满足大规模数据处理的需求。
Cloud Native:支持编排多云/数据中心工作流,同时支持自定义任务类型,增加了系统的灵活性和可扩展性。
版本控制:对工作流和工作流实例(包括任务)进行版本控制,方便用户进行任务管理和追踪。
多种状态控制:支持工作流和任务的多种状态控制,如暂停、停止、恢复等,提高了任务管理的灵活性。
多租户支持:支持多租户环境,方便不同用户或团队在同一系统上进行任务调度和管理。
补数支持:提供补数功能,支持并行或串行回填数据,方便用户对历史数据进行处理和更新。
应用场景
DolphinScheduler广泛应用于金融、电信、保险等领域,支持在Hadoop、Spark、Flink等主流大数据平台上运行的任务。
例如,在金融行业,DolphinScheduler可以高效地处理和分析大量的数据,为金融行业的数据工作流程提供高安全性和可靠性。
在电信行业,DolphinScheduler可以支持每天处理大量的数据,满足电信行业的需求。
在保险行业,DolphinScheduler可以提供一个高效的工作流管理系统,更快速、准确地处理数据,生成用于更好决策的洞察力。
如需了解更多信息,可以访问其官方网站或查阅相关的技术文档。
GitHub地址
https://github.com/apache/dolphinscheduler
官方网站
https://dolphinscheduler.apache.org/
官方文档
https://dolphinscheduler.apache.org/en-us/docs/3.2.2
安装部署
DolphinScheduler提供Standalone、Cluster、Docker、Kubernetes四种部署方式。以Docker为例。
安装Docker
sudo apt updatesudo apt install -y docker.io docker-compose
拉取镜像
sudo docker pull apache/dolphinscheduler-standalone-server
启动服务
sudo docker run --name dolphinscheduler-standalone-server \ -p 12345:12345 -p 25333:25333 -d \ apache/dolphinscheduler-standalone-server
服务启动后,在浏览器访问IP::12345/dolphinscheduler/ui,默认账号密码为admin/dolphinscheduler123
推荐本站淘宝优惠价购买喜欢的宝贝:
本文链接:https://hqyman.cn/post/9024.html 非本站原创文章欢迎转载,原创文章需保留本站地址!
休息一下~~