零代码、单命令：ingestr —— 让数据迁移像复制粘贴一样简单

在数据驱动的时代数据迁移和集成几乎是每个开发者和数据团队都会遇到的日常任务。无论是将生产数据库同步到数据仓库还是在不同系统之间搬运数据传统方案往往意味着编写大量代码、配置复杂的ETL工具或者支付昂贵的SaaS费用。今天要介绍的开源工具ingestr正是为了解决这个痛点而生。什么是 ingestringestr 是一个命令行工具允许你用单行命令将数据从任何数据源复制到任何目标无需编写任何代码。它的核心理念极其简单指定一个来源、指定一个目标剩下的交给 ingestr。ingestr ingest\--source-uripostgresql://...\--source-tablepublic.some_data\--dest-uribigquery://...\--dest-tableingestr.some_data就这么简单。一行命令数据就从 PostgreSQL 飞到了 BigQuery。为什么需要 ingestr在 ingestr 出现之前数据 ingestion 领域的工具生态存在明显的空白付费工具大多以 UI 驱动UI 驱动的工作流对自动化数据管道很不友好。开源替代品如 Airbyte同样以 UI 为主而且还需要自己维护一套基础设施。库级别的方案如 dlt虽然灵活但最终你还是得写代码来搞定 ingestion。ingestr 的团队在 2024 年初开始构建这个项目目标是打造一个有主见的、最简单的数据摄入方式。你只需要告诉它源和目标在哪里它就会帮你把数据搬过去。事实证明这个方向是对的——ingestr 目前已经在 GitHub 上收获了超过 3,700 颗星被数百个组织内部使用。核心特性✨ 零代码单命令ingestr 最核心的价值就是零代码。你不需要写 Python 脚本、不需要配置 YAML 文件、不需要学习复杂的 DSL。只需要一条命令数据就能从源端流向目标端。➕ 增量加载ingestr 支持三种增量加载模式Append追加新数据Merge合并更新DeleteInsert删除后插入这意味着你不需要每次都全量同步整个表只需摄入新增或变更的数据大幅提升效率并降低成本。 单命令安装安装 ingestr 非常简单。推荐使用 uvpipinstalluv uvx ingestr或者全局安装uv pipinstall--systemingestr传统的 pip 安装也可以但速度会慢一个数量级。 Python SDK除了命令行ingestr 还提供了 Python SDK可以直接在 Python 代码中调用importingestr ingestr.ingest([{id:1,name:Ada},{id:2,name:Grace}],dest_uriduckdb:///tmp/warehouse.duckdb,dest_tablemain.people,)支持 pandas DataFrame、Polars DataFrame、PyArrow Table 等多种数据格式数据通过 Arrow IPC 流高效传输。从 Python 到 Go性能的重构ingestr 最初是用 Python 构建的原型只花了一个周末就做出来了。但随着用户规模的增长和数据集变大Python 版本的性能瓶颈逐渐显现Python 本身在处理大量数据时速度有限。底层依赖的 dlt 在早期版本中性能也不够理想。因此ingestr 团队决定从零开始用 Go 重构目标是打造更快、更可靠、更好用的数据摄入工具。重构后的 v1 版本在性能和可靠性上都有了质的飞跃。支持的生态ingestr 支持极为丰富的数据源和目标数据库PostgreSQL、MySQL、SQL Server、BigQuery、Snowflake、Redshift、DuckDB、ClickHouse、MongoDB、Oracle、SQLite、Trino 等 20 多种。对象存储与文件S3、GCS、本地 CSV、JSONL、Parquet 等。SaaS 平台GitHub、Salesforce、Shopify、Slack、Stripe、Notion、Google Sheets、HubSpot、Zendesk 等数十个平台。消息队列Kafka、Kinesis 等。无论是传统关系型数据库、云数据仓库还是现代 SaaS 应用ingestr 基本都能覆盖。典型使用场景ingestr 可以解决多种数据迁移和集成需求从遗留系统迁移到现代数据库提升分析能力将应用数据库与数据分析平台同步支持批量或增量同步数据库备份确保数据安全快速搭建测试或开发环境轻松克隆现有数据库支持需要实时数据更新的应用场景由于 ingestr 是轻量级的 CLI 工具你可以轻松地把它放进cronjob、GitHub Actions、Airflow或其他调度器中快速获得内置的数据摄入能力。总结ingestr 是一款理念清晰、使用简单、生态丰富的开源数据摄入工具。它用最朴素的方式——一条命令——解决了数据迁移中最常见的问题。如果你正在寻找一个零代码、轻量级、可自动化的数据迁移方案ingestr 值得一试。GitHubhttps://github.com/bruin-data/ingestr文档https://bruin-data.github.io/ingestr/社区Bruin Data Community Slack