介绍
Kubedoop Data Platform 是一个模块化、Kubernetes 原生的平台。通过 Kubedoop,用户可以简单快速地部署数据基础设施和算法基础设施,从而解决 DataOps 和 MLOps 的需求。
Kubedoop 包含主流数据处理组件,如 hdfs, hive, kafka superset 等,同时支持数据湖和实时数仓,满足传统 Hadoop 平台向 Kubernetes 平台迁移的需求。
Kubedoop 基于 Kubernetes Operator 技术开发,通过 Operator 自动化管理数据处理任务的生命周期,包括任务创建、启动、监控、调度、重启和扩缩容。用户只需通过简单的配置文件定义数据处理任务,Kubedoop 就可以自动将任务部署到 Kubernetes 集群,并自动管理其生命周期。
Kubedoop 基于 Kubernetes Operator 技术开发,通过 Operator 强大管理能力,自动化管理平台创建、启动、监控、调度、重启、扩缩容等生命周期,用户只需通过简单的配置文件定义数据处理任务,Kubedoop 就可以自动将任务部署到 Kubernetes 集群,并自动管理其生命周期。
组件
kubedoop 中的产品 Operator:
- Kubedoop Operator for Apache Airflow
- Kubedoop Operator for Apache DolphinScheduler
- Kubedoop Operator for Apache Doris
- Kubedoop Operator for Apache Hadoop HDFS
- Kubedoop Operator for Apache HBase
- Kubedoop Operator for Apache Hive
- Kubedoop Operator for Apache Kafka
- Kubedoop Operator for Apache Kyuubi
- Kubedoop Operator for Apache NiFi
- Kubedoop Operator for Apache Spark
- Kubedoop Operator for Apache Superset
- Kubedoop Operator for Trino
- Kubedoop Operator for Apache Zookeeper
Kubedoop 内置 operators:
贡献
如果您想为 Kubedoop 做出贡献,请参阅我们的贡献指南以获取更多信息。 我们欢迎各种形式的贡献,包括但不限于代码、文档和使用案例。