拓冰建站拓冰建站
首页 / 资讯中心 / 正文

DataHub Docker 部署:3 条命令跑起来,踩坑全在这

DataHub Docker 部署3 条命令跑起来踩坑全在这【免费下载链接】datahubThe Context Platform for your Data and AI Stack项目地址: https://gitcode.com/GitHub_Trending/da/datahub上周有人装 DataHub 卡住了clone 仓库花了 40 分钟又手改 docker-compose 改了半小时最后容器一直重启日志只冒一行。DataHub 是数据栈的元数据目录平台负责收集中台各数据平台的表、血缘和负责人信息。他卡住的原因其实很简单——MySQL 还在后台初始化后端服务却在等数据库就绪。用官方 CLI 就能绕开这一切这篇文章带你 3 条命令跑起来再讲清楚组件、端口配置和踩坑解法。先跑起来3 条命令启动 DataHub前提只有一个装好 Docker 并启动给 Docker 至少分配 2 核 CPU、8GB 内存。因为 quickstart 会一次拉起十几个容器内存给少了 Java 服务会直接崩。第一条命令安装 CLI只做一次顺带确认版本python3 -m pip install --upgrade acryl-datahub datahub version第二条是主角一键部署 DataHubdatahub docker quickstart它干了 3 件事把 compose 文件下载到~/.datahub/quickstart/、拉镜像、按依赖顺序起服务。首次运行要拉 7 个镜像并初始化数据库需要几分钟别中途打断。✅ 终端出现DataHub is now running后打开http://localhost:9002用datahub/datahub登录就进界面了。界面此时还比较空。这两条命令让 CLI 连上本地实例并加载一份官方样例数据datahub init --username datahub --password datahub datahub datapack load showcase-ecommerce样例数据包含 Snowflake 表、血缘、业务术语等约一千个实体回到浏览器就能看到内容。看懂你刚跑起来的东西quickstart 档案主要拉起这几个服务服务干什么的mysql主数据库存实体元数据opensearch搜索索引页面搜索靠它kafka-broker消息队列承载元数据事件流datahub-upgrade一次性初始化容器建表、建索引跑完自动退出datahub-gms frontend后端 API 服务 Web 界面启动顺序是严格的mysql、opensearch、kafka-broker 全部变 healthy → datahub-upgrade 初始化容器跑完 → GMS 才起 → 前端最后。所以刚启动看不到页面是 GMS 在等初始化容器它又依赖数据库就绪不是卡死了。镜像统一是acryldata/datahub-*加quickstart标签生产环境应固定到具体发布版本详见官方 Docker 文档。按需微调改端口只要改一个变量9002 或 8080 被占了别动 compose 文件启动前导出环境变量就行export DATAHUB_MAPPED_FRONTEND_PORT8080 DATAHUB_MAPPED_GMS_PORT8081每个服务都有对应的DATAHUB_MAPPED_*_PORT变量改完重新启动即可。主存储换成 Postgres默认是 MySQL Kafka。如果你的团队全在用 Postgres可以换 postgres 档案主库换成 PostgresKafka 同时被 pgqueue 替换少一个 brokerdocker compose -f docker/quickstart/docker-compose.quickstart-profile.yml --profile quickstart-postgres up -d手动方式需要先把仓库 clone 到本地仓库地址https://gitcode.com/GitHub_Trending/da/datahub各档案组合都在docker/profiles/目录里。想要 Cassandra Neo4j 也有quickstart-cassandra可选按你的存储栈挑。Apple 芯片适配M1/M2 直接用最新版 Docker Desktop 即可镜像本身已适配 arm64。偶尔报no matching manifest的话在 Docker Desktop 设置里打开 Rosetta 翻译开关重启引擎就行。⚡ 日常三板斧想暂停就用停止命令数据留在卷里下次启动很快datahub docker quickstart --stop datahub docker nuke第二行是彻底清理容器、卷、数据全删换版本或环境搞乱了再用它。查状态和日志docker ps看哪个容器不 healthy然后docker logs -f datahub-datahub-gms-quickstart-1跟日志重点盯 GMS 和 mysql 两个容器。 踩坑速查症状一条命令定位解法GMS 容器反复重启docker logs -f datahub-datahub-gms-quickstart-1多半是内存不足或数据库没就绪看 mysql 是否 healthy给 Docker 加内存9002 端口被占用docker ps看容器是否已起改DATAHUB_MAPPED_FRONTEND_PORT到空闲端口即可启动一直卡在等待docker ps找不 healthy 的容器首次要拉镜像并初始化库等 5-10 分钟mysql 长时间 unhealthy 就重启 Docker什么时候该换 Kubernetes单机试用和小团队环境Docker Compose 足够。出现这 3 个信号就该上 Kubernetes 了需要多副本高可用、想用托管数据库和托管 Kafka、或者不能再接受数据只存在本地磁盘上。届时看Kubernetes 部署文档即可记得镜像固定发布版本——quickstart 标签别带上生产。【免费下载链接】datahubThe Context Platform for your Data and AI Stack项目地址: https://gitcode.com/GitHub_Trending/da/datahub创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
分享:

看完干货,该让你的企业上线了

免费需求沟通 · 48 小时内出具建站方案 · 河南本地可上门