【第三期】Apache DolphinScheduler 每周 FAQ 集锦

4月15日-4月21日

问:有openEuler + DolphinScheduler的镜像吗?
答:没有,DolphinScheduler发布的官方镜像都是基于 Debian 的。

问:有没有DolphinScheduler资源管理的示例?
答:可参考Apache DolphinScheduler使用规范与使用技巧分享,或者看看官方文档,https://dolphinscheduler.apache.org/zh-cn/docs/3.1.5/guide/resource/file-manage

问:创建海豚调度数据源测试连接连接不上,但是在服务器上面telnet可以通,这是怎么回事呢?
答:请确定你填的用户名密码、可选配置是正确的,例如 MySQL 的 ssl 是否开启等。

问:采用本地文件(file:///)管理,是否有上传文件的大小限制?
答:没有大小限制,但是太大可以会导致上传的时候超时。

问:已经有用户了, 为什么还要有租户的概念? 租户对应 Linux 用户的意义是什么? 如果设置了sudo.enable=false, 是不是就相当于不能用多租户了?
答:用户->对应ds web操作系统,租户 -> 任务或者资源操作的用户,为了做资源隔离。

问:DolphinScheduler 3.1.5版本支持Trino sql的任务类型配置吗?
答:3.1.5 不支持 Trino,Trino 的支持待发版。

问:工作流实例页面中展示的结束时间和数据库中的end_time差了13个小时,时间不一致是怎么回事?
答:需要MySQL与Sprintboot的时区保持一致。

问:DolphinScheduler调度只能使用python2.7环境吗?新版python3,可以直接调用吗?
答:可以用Python3,但需要改datax.py脚本。

问:流都是SQL,作业流上线后,后端怎么直接调用作业流呢?在DolphinScheduler里面好想没有看到调用的,是不是框架里面用DolphinScheduler的API进行调度的呢?
答:如果是指工作流都是SQL任务,触发工作流可以通过页面,或者API接口调用。

问:DolphinScheduler最大可支持提交多少任务?单节点最大并发可以达到多少个?
答:可参考:最新性能测试 | Apache DolphinScheduler 每分钟调度任务并发是 Apache Airflow 2 倍

问:替换Airflow为DolphinScheduler的优势和具体方案是什么?
答:DolphinScheduler本土开发,操作更符合国人习惯,且在性能、功能上都有优势,可参考性能对比文章查看:最新性能测试 | Apache DolphinScheduler 每分钟调度任务并发是 Apache Airflow 2 倍 迁移案例:从 Airflow 到 Apache DolphinScheduler,有赞大数据开发平台的调度系统演进 迁移工具:迁移工具 Air2phin 宣布开源,2 步迁移 Airflow 至 Dolphinscheduler

问:两个Python节点中间如何传递数据?现在只能开nas共享写文件,感觉非常不方便。
答:目前只能这样做,3.2.0将会有更加好的方法 https://github.com/apache/dolphins cheduler/pull/12552

问:DolphinScheduler 2.x版本 MySQL 和主机上task记录太多100万以上,自动清理方式是什么?
答:日志建议写 corntab 清理。

本文由博客一文多发平台 OpenWrite 发布!

猜你喜欢

转载自blog.csdn.net/DolphinScheduler/article/details/130390091