产品概述
产品优势
应用场景
标准引擎参数配置
Spark 参数用于配置和调优 Apache Spark 应用程序的设置。
在自建的 Spark 中，这些参数可以通过命令行选项、配置文件或编程方式进行设置。
在 DLC 标准引擎中，您可以在引擎上设置 Spark 参数，这些参数会在用户提交 Spark 作业或使用自定义配置提交交互式 SQL 时生效。
注意：
1. 标准引擎引擎维度的配置只会在 Spark 作业、Batch SQL 任务上面生效。
2. 添加引擎维度配置后，新任务才会生效。
设置标准 Spark 引擎参数
1. 进入标准引擎功能。
2. 在列表页选择需要配置的引擎。
3. 单击参数配置，弹出引擎参数侧拉窗。
4. 在“参数配置”中单击添加，添加目标配置后单击确认。
资源组维度参数配置
仅 SQL 分析资源组参数
新建时添加参数
创建资源组时选择“仅 SQL 分析”，在最后的“参数管理”选择添加参数。
注意：
1. 静态参数只能在资源组重启后生效，动态参数不需要重启资源组生效。
2. 动态参数和静态参数可以参考 Spark 官网。
3. 仅 SQL 分析资源组配置仅在使用该资源组运行 SQL 任务的时候生效。
修改资源组参数
1. 在标准引擎列表页，选择要修改的引擎，单击进入。
2. 在引擎的资源组管理页面，选择一个仅 SQL 分析资源组，单击详情。
3. 在详情页面，配置管理模块中单击编辑，可以添加参数或者修改、删除已经添加的参数。同理静态参数只能在资源组重启后生效，动态参数不需要重启资源组生效。
4. 修改完成后单击保存，此时您可以选择马上重启，也可以选择仅保存但不重启资源组，后续在合适的时机再重启资源组并使配置生效。
AI 资源组参数
注意：
1. 当前只有 Spark MLlib 类型的 AI 资源组支持添加配置。
2. 当前仅支持添加静态配置，配置只在新的 notebook session 上生效。存量 session 不生效。
3. AI 资源组功能为开白功能，为确保能够符合您的使用场景，请 提交工单 联系我们进行评估后开通。
4. 该资源组仅支持标准 Spark 引擎 Standard-S 1.1版本。
新建时添加参数
创建AI资源组的时候选择 Spark MLlib 类型，在最后的“参数管理”选择添加参数。
修改 AI 资源组参数
1. 在标准引擎列表页，选择要修改的引擎，单击进入。
2. 在引擎的资源组管理页面，选择一个Spark MLlib 类型资源组，单击详情。
3. 在详情页面，配置管理模块中单击编辑，可以添加参数或者修改、删除已经添加的参数。注意修改的参数仅在修改后拉起的 notebook session 生效，存量 session 不会生效。
数据探索参数
注意：
1. 当前只有仅 SQL 分析资源组支持在数据探索页面添加参数。
2. 注意只有动态的 spark 配置才能在后续执行的 SQL 中生效，静态参数无法生效。
3. 数据探索处的配置优先级高于引擎级别和资源组级别的参数配置。
如图，在数据探索页面，数据引擎选择标准 Spark 引擎，资源配置选择资源组，页面上选择“高级配置”，可以添加配置。
如图可以选择内置的配置，也可以选择手动输入配置。
Spark 作业参数
注意：
1. 作业参数修改后仅在后续启动的作业中生效，已经在运行中的作业不会生效。
2. 作业参数优先级高于引擎级别参数。
新建作业添加参数
编辑已有作业的参数
1. 单击 数据作业，选在已有作业，单击编辑。
2. 在作业编辑页面，对作业的参数进行修改，修改完后单击完成修改。
文档反馈