プロダクト概要
製品の強み
適用シーン
タスク結果の取得
クエリエディタを使用してタスク結果を取得
データレイクコンピューティング DLC コンソール > データ探索ページにログインし、タスクをクエリすると、クエリ結果がエディターの下にリアルタイムで表示されます。実行履歴をクリックすると、タスクリストを確認できます。
単一のSQLタスクは、コンソールで最大1000件のデータ結果を表示します。APIおよびJDBCで送信されたSQLタスクには制限がありません。
実行履歴で単一のSessionにおける3ヶ月間のクエリ履歴を確認できます。さらに多くの履歴確認方法については、タスク履歴を参照してください。
タスク結果の出力形式設定
データ探索を実行した結果は、csv形式で保存され、保存方法はSparkのDataFrame.writeを呼び出す方式です。エンジンバージョンが2023年4月以降の場合、探索結果を設定可能にすることができます。
1、csvに出力する結果の形式を設定します。以下のパラメータをサポートできます。
パラメータ | デフォルト値 | 備考 |
livy.sql.result.format.option.sep livy.sql.result.format.option.delimiter | , | csvに保存する際の列間の区切り文字、デフォルトは英語のカンマ |
livy.sql.result.format.option.encoding livy.sql.result.format.option.charset | UTF-8 | 文字列エンコーディング形式。 例えば：UTF-8、US-ASCII、ISO-8859-1、UTF-16BE、UTF-16LE、UTF-16 |
livy.sql.result.format.option.quote | \\" | 引用符はシングルクォートかダブルクォートか、エスケープ文字の使用に注意してください |
livy.sql.result.format.option.escape | \\\\ | エスケープ文字、エスケープシーケンスの使用に注意してください |
livy.sql.result.format.option.charToEscapeQuoteEscaping | | 引用符内でエスケープが必要な文字 |
livy.sql.result.format.option.comment | \\u0000 | 備考情報 |
livy.sql.result.format.option.header | false | ヘッダーが存在します |
livy.sql.result.format.option.inferSchema | false | 列のタイプを推測し、推測しない場合は各列が文字列となります |
livy.sql.result.format.option.ignoreLeadingWhiteSpace | true | 先頭の空文字列を無視します |
livy.sql.result.format.option.ignoreTrailingWhiteSpace | true | 末尾の空文字列を無視します |
livy.sql.result.format.option.columnNameOfCorruptRecord | _corrupt_record | 変換できない列の列名。このパラメータはspark.sql.columnNameOfCorruptRecordの影響を受け、テーブル設定が優先されます。 |
livy.sql.result.format.option.nullValue | | nullのストレージ形式で、デフォルトは空の文字列です。この場合、emptyValueの方法で書き込みます。 |
livy.sql.result.format.option.nanValue | NaN | 非数値タイプの値のストレージ形式 |
livy.sql.result.format.option.positiveInf | Inf | 正の無限大のストレージ形式 |
livy.sql.result.format.option.negativeInf | -Inf | 負の無限大のストレージ形式 |
livy.sql.result.format.option.compressionまたはcodec | | 圧縮アルゴリズムのクラス名、デフォルトでは圧縮なし、略称（bzip2、deflate、gzip、lz4、snappy）が使用可能 |
livy.sql.result.format.option.timeZone | システムのデフォルトタイムゾーン | デフォルトタイムゾーン、このパラメータの値はspark.sql.session.timeZoneの影響を受けます（例：Asia/Shanghai）、テーブル設定が優先されます |
livy.sql.result.format.option.locale | en-US | 言語タイプ |
livy.sql.result.format.option.dateFormat | yyyy-MM-dd | デフォルト日付形式 |
livy.sql.result.format.option.timestampFormat | yyyy-MM-dd'T'HH:mm:ss.SSSXXX | デフォルトの時間形式は、LEGACYモード以外ではyyyy-MM-dd'T'HH:mm:ss[.SSS][XXX]です |
livy.sql.result.format.option.livy.sql.result.format.option.multiLine | false | 複数行を許可する |
livy.sql.result.format.option.maxColumns | 20480 | 最大列数 |
livy.sql.result.format.option.maxCharsPerColumn | -1 | 各列の最大文字数、-1は制限なしを意味します |
livy.sql.result.format.option.escapeQuotes | true | エスケープ引用符 |
livy.sql.result.format.option.quoteAll | quoteAll | 「書き込み時に全文に引用符を付ける」 |
livy.sql.result.format.option.emptyValue | \\"\\" | 空値の読み書き形式 |
livy.sql.result.format.option.lineSep | | 改行文字 |
2、出力形式をcsv形式以外に設定する場合、コンソールで結果を表示できないことに注意してください。ただし、他の方法で結果パスを読み取ることができます。具体的な結果パスの保存場所については、次のセクションを参照してください。
設定方法はlivy.sql.result.formatで、text、orc、json、parquet形式での保存をサポートしています。
タスク結果の保存場所設定
説明：標準エンジン -Presto は現在サポートされていません。全量結果は JDBC を介して取得できます。
データレイクコンピューティング DLC は、ユーザーが設定を介してクエリ結果を自動的に COS パスまたは DLC のマネージドストレージに保存することをサポートしています。設定方法は以下の通りです：
1. データレイクコンピューティング DLC コンソールにログインし、サービス地域を選択してください。ログインするアカウントには COS 関連の権限が必要です。
2. データ探索ページに進み、右上のストレージ設定をクリックして、クエリ結果の保存方法を設定します。
3. 結果をDLCのマネージドストレージまたはCOSに保存することができます。COSパスに設定する場合、操作アカウントはCOS側の関連権限が必要です。データストレージの料金はCOSに準じます。
タスクの結果は、以下のCOSパスのサブフォルダに保存されます。
タスク結果のデータパス：COSディレクトリパス/DLCQueryResults/yyyy/mm/dd/[QueryID]/data/XXXX.csvタスク結果のメタデータパス：COSディレクトリパス/DLCQueryResults/yyyy/mm/dd/[QueryID]/meta/result.meta.json
COSディレクトリパス：システム設定で設定されたCOSディレクトリパスです。
/yyyy/mm/dd：ディレクトリはタスク実行日付に基づきます。
/data：クエリ結果データを格納するディレクトリで、ファイル形式はcsvです。DLCは複数のデータファイルを生成する可能性があります。
/meta：クエリのデータテーブルメタデータを格納する新しいディレクトリで、ファイル形式はjsonです。
説明：
SELECTクエリの結果をDLC内部ストレージに保存し、ストレージの基盤はオブジェクトストレージです。結果の保存有効期間は36時間です。
SELECT クエリの結果をCOS上のストレージバケットパスに保存する場合、COS関連の権限が開通していることを確認してください。
タスク結果のダウンロード
説明：標準エンジン-Presto は現在サポートされていません。全量結果は JDBC を介して取得できます。
データレイクコンピューティング DLC は、ユーザーが手動でクエリ結果をローカルにダウンロードすることをサポートしています。全量モードが有効になっていない場合、ユーザーはクエリ結果のあるタスクに対して「結果をダウンロード」をクリックし、結果をローカルに保存したり、手動で COS に保存したりできます（COS 権限が必要です）。
ダウンロードおよび COS に保存されるデータは、今回の SQL タスクのクエリ結果に対応し、最大500件の結果となります。
ローカルにダウンロードするデータは最大50Mを超えません。
COSに結果を保存するように設定した場合、結果は自動的にCOSパスに保存され、手動でダウンロードする必要はありません。
フィードバック