DataHub 元数据管理实战：从一键部署到血缘可视化

DataHub 元数据管理实战从一键部署到血缘可视化【免费下载链接】datahubThe Context Platform for your Data and AI Stack项目地址: https://gitcode.com/GitHub_Trending/da/datahubDataHub 是一个开源的元数据管理平台定位是数据与 AI 技术栈的上下文平台把数据发现、数据血缘、数据治理集中在一处管理让你不用再靠口口相传去找这张表谁负责、数据从哪来。本文的路径很直接先用一条命令把整套服务跑起来再在 UI 里把搜索、浏览、血缘走一遍最后给你一份部署模式对比和排障速查表。核心能力速览数据发现对数据集、列、看板、管道做全局搜索可按负责人、标签、平台、业务术语筛选。数据血缘可视化从原始数据到报表的端到端流向一图看穿字段变更时影响范围一目了然。元数据治理schema、描述、标签、业务术语集中维护UI 上改动即时生效并同步到下游。权限控制基于角色和策略的细粒度访问控制留痕可审计。多源接入MySQL、Snowflake、BigQuery、Kafka、Airflow 等几十种数据源UI 或 YAML 配方都能连。5 分钟跑通DataHub Docker 快速启动前置只需三样Docker、Docker Compose v2、Python 3.10。python3 -m pip install --upgrade acryl-datahub datahub docker quickstartCLI 会自动拉取镜像把 MySQL、Kafka、Elasticsearch、GMS 和前端整套拉起来。跑完会看到DataHub is now running打开 http://localhost:9002 用datahub / datahub账号登录即可。服务主机端口说明前端 UI9002登录页GMS API8080元数据服务入口MySQL3306元数据主存储Elasticsearch9200搜索索引Kafka9092元数据事件总线⚠️ 报command not found就改用python3 -m datahub docker quickstart同一件事。想让界面有东西可看再加载一份官方示例数据包datahub init --username datahub --password datahub datahub datapack load showcase-ecommerce约 1050 个实体一次到位含 Snowflake、Looker、Tableau 的数据集、血缘和治理标签正好用来体验下一节的功能。数据发现与探索搜索是主入口。默认逻辑是 AND几个语法就能覆盖日常想做什么怎么写精确短语匹配pet profile排除某个词logging -snowflake按名称模糊匹配/q name: *mask*查自定义属性/q customProperties: encoding*浏览走过滤路线左侧过滤栏支持按数据平台、标签、术语、负责人逐层下钻配合层级结构快速定位。点开任意数据集详情页四块内容都在一页内基础信息、技术 schema字段与类型、业务上下文负责人、标签、术语、血缘图。列级标签和术语也能在这里直接维护。元数据血缘可视化血缘是 DataHub 的招牌功能在数据集页点进血缘图可以沿上游追到源表或沿下游看到最终看板。这些元数据在系统内部以元数据变更事件MCE写入简化结构长这样{ entityUrn: urn:li:dataset:(urn:li:dataPlatform:bigquery,demo.orders,PROD), aspectName: schemaMetadata, aspect: { platform: bigquery, fields: [{ fieldPath: order_id, type: STRING }] } }不想写代码的话UI 上也能直接连数据源下图是创建数据源面板填完参数就开始摄取所有实体和 aspect 的完整定义在实体注册表里它是整个元数据模型的字典部署模式对比模式适用对象关键命令额外依赖快速启动新手、演示datahub docker quickstartDocker Compose v2本地开发改 DataHub 源码./gradlew quickstartDebugJava 17、Node 22、Python 3.10生产 K8s正式环境helm install datahub datahub/datahubHelm 3、K8s 集群选本地开发模式时先拿源码git clone https://gitcode.com/GitHub_Trending/da/datahub本地开发模式带热重载适合改 GMS 或前端源码的人只使用不修改的话快速启动就够了。生产环境官方建议用 Helm Chart 部署到 Kubernetes认证、扩缩容、滚动升级都由 chart 管理。常用的端口与版本环境变量在 quickstart 前设置即生效变量默认值说明DATAHUB_MAPPED_FRONTEND_PORT9002UI 端口DATAHUB_MAPPED_GMS_PORT8080API 端口DATAHUB_MAPPED_MYSQL_PORT3306MySQL 端口DATAHUB_MAPPED_ELASTIC_PORT9200搜索索引端口DATAHUB_MAPPED_KAFKA_BROKER_PORT9092Kafka 端口DATAHUB_VERSION最新发布版指定镜像版本排障速查问题症状一条命令修复DataHub 端口冲突容器起不来提示端口被占用DATAHUB_MAPPED_FRONTEND_PORT9003 DATAHUB_MAPPED_GMS_PORT58080 datahub docker quickstartDocker 内存不足ES / Kafka 容器反复崩溃docker system prune腾空间并把 Docker 内存调到 8GBES 索引不同步数据已摄取但搜索不到datahub docker quickstart --restore-indices容器启动失败状态脏了、反复起不来datahub docker nuke彻底清空后重新 quickstart备份恢复换版本前、需要回滚时datahub docker quickstart --backup恢复用--restore⚠️nuke会清空全部数据动手前先备份。进阶锦囊性能调优资源紧张时给 Elasticsearch 降堆ES_JAVA_OPTS-Xms2g -Xmx2g整栈更稳。监控接入GMS 有健康检查端点Prometheus 指标从独立管理端口抓取接现有监控栈即可。版本升级直接重跑datahub docker quickstart拉新镜像重启数据不丢。项目位置GMS 健康检查http://localhost:8080/healthPrometheus 指标GMS 管理端口 4319到这里元数据管理的核心闭环你已经跑完部署、找数据、看血缘。下一步是把第一个真实数据源用摄取配方接进来看它落到搜索结果和血缘图里。更多细节见仓库内 docs/quickstart.md 。【免费下载链接】datahubThe Context Platform for your Data and AI Stack项目地址: https://gitcode.com/GitHub_Trending/da/datahub创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考