阿里云文档 2025-12-09

如何配置整库离线同步任务

DataWorks的整库离线同步功能,支持将源数据库中的全部或部分表结构与数据,批量、周期性地进行全量或增量同步至目标端,是实现高效数据迁移的关键解决方案。本文将以MySQL整库迁移至MaxCompute为例,介绍配置此类任务的通用流程。

阿里云文档 2025-11-25

创建一个具备AI处理能力的数据集成任务

该功能在DataWorks数据集成链路中,原生集成了AI大模型处理能力。它将传统的数据同步从简单的“搬运”升级为智能的“加工”,允许用户在数据从源到端的传输过程中,实时调用AI模型对流经的数据进行内容分析、处理与增强,在数据流转的过程中释放非结构化数据的隐藏价值。

阿里云文档 2025-11-03

使用DistCp任务实现大规模文件迁移

当您需要大文件或多文件的纯文件复制时,可以使用DataWorks创建DistCp任务,该方式能够极大的提高同步传输的效率,实现跨文件系统、大规模数据迁移和同步需求。

阿里云文档 2025-10-16

通过离线同步任务实现Embedding向量化处理

阿里云DataWorks数据集成推出Embedding向量化功能,支持将分散在OSS、MaxCompute、HDFS等异构来源中的数据抽取并转化为向量,写入Milvus、Elasticsearch、Opensearch等向量库,以及Hologres向量表等具备向量存储能力的目标端,能够大幅简化ETL流程,高效实现知识向量化,助力RAG等AI场景落地。

阿里云文档 2025-06-04

同工作空间批量发布任务

DataWorks支持将需要发布的对象(节点、函数、资源、组件等)批量添加至发布包,统一发布。本文为您介绍同工作空间发布场景下如何创建及发布待发布包。

问答 2024-08-21 来自:开发者社区

DataWorks同步任务日志里面这个All Task WaitWriterTime很高是什么原因呀

DataWorks同步任务日志里面这个All Task WaitWriterTime很高是什么原因呀?

文章 2024-08-19 来自:开发者社区

DataWorks产品使用合集之数据集成任务日志中显示wait,是什么原因

问题一:DataWorks在批量操作里面可以增加调度周日,时间,和调度状态类型吗? DataWorks在批量操作里面可以增加调度周日,时间,和调度状态类型吗?这样可以一次性所有的节点情况 参考回答: ...

DataWorks产品使用合集之数据集成任务日志中显示wait,是什么原因
文章 2024-08-19 来自:开发者社区

DataWorks产品使用合集之任务日志中显示等待gateway调度资源,该如何解决

问题一:DataWorks创建离线同步任务 api接口 更新调度配置 不能修改实例生成方式怎么办? DataWorks创建离线同步任务 api接口 更新调度配置 不能修改实例生成方式? 只能次日生成?UpdateFile - 更新已有的文件节点 接口https://help.aliyun.com/zh/dataworks/developer-reference/api-data...

DataWorks产品使用合集之任务日志中显示等待gateway调度资源,该如何解决
问答 2024-08-05 来自:开发者社区

dataworks调度任务的冻结操作是否有日志记录,查看是谁在什么时候冻结的?

dataworks调度任务的冻结操作是否有日志记录,查看是谁在什么时候冻结的?

问答 2024-07-23 来自:开发者社区

DataWorks周期实例的pai任务日志,里面怎么没有logview链接了?

DataWorks周期实例的pai任务日志,里面怎么没有logview链接了?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

大数据开发治理平台 DataWorks任务相关内容

大数据开发治理平台 DataWorks更多任务相关

产品推荐

DataWorks

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。作为阿里巴巴数据中台的建设者,DataWorks从2009年起不断沉淀阿里巴巴大数据建设方法论,同时与数万名政务/金融/零售/互联网/能源/制造等客户携手,助力产业数字化升级。

+关注