tencentcloud-dlc-connectorをインストールします。pip install -i https://mirrors.tencent.com/pypi/simple/ tencentcloud-dlc-connector
import tdlc_connectorimport datetimefrom tdlc_connector import constantsconn = tdlc_connector.connect(region="<REGION>",secret_id="<SECRET_ID>",secret_key="<SECRET_KEY>",token=None,endpoint=None,catalog=constants.Catalog.DATALAKECATALOG,engine="<ENGINE>",engine_type=constants.EngineType.AUTO,result_style=constants.ResultStyles.LIST,download=False,mode=constants.Mode.LASY,database='',config={},callback=None,callback_events=None,)
パラメータ | 説明 |
region | エンジンの所在地域、例えば ap-nanjing、ap-beijing、ap-guangzhou、ap-shanghai、ap-chengdu、ap-chongqing、na-siliconvalley、ap-singapore、ap-hongkong |
secret_id | テンセントクラウド SecretID |
secret_key | テンセントクラウド SecretKey |
token | （オプション）一時キートークン |
endpoint | （オプション）サービスノードに接続 |
engine | 使用するエンジン名、例えば「test_python」 |
engine_type | （オプション）エンジンタイプ：対応するエンジン名のエンジンタイプ、デフォルト値 constants.EngineType.AUTO 例えば：AUTO、PRESTO、SPARK、SPARK_BATCH |
result_style | （オプション）返される結果の形式、LIST/DICT から選択可能 |
download | （オプション）データを直接ダウンロードするかどうか True/False、詳細はダウンロードモード説明 |
mode | （オプション）モード。ALL/LASY/STREAM をサポート |
database | （オプション）デフォルトデータベース |
config | （オプション）クラスター構成に送信 |
callback | （オプション）コールバック関数、関数シグネチャ def cb(statement_id, status) |
callback_events | （オプション）コールバックトリガーイベント、callbackと併用します。詳細はコールバックメカニズムの説明を参照してください |
driver_size | （オプション）Driver ノードサイズ、デフォルト値 constants.PodSize.SMALL (SPARK_BATCH クラスターでのみ有効) オプション値：SMALL、MEDIUM、LARGE、XLARGE、M_SMALL、M_MEDIUM、M_LARGE、M_XLARGE |
executor_size | （オプション）Executorノードサイズ、デフォルト値 constants.PodSize.SMALL（SPARK_BATCHクラスタのみ有効）<br>選択可能な値：SMALL、MEDIUM、LARGE、XLARGE、M_SMALL、M_MEDIUM、M_LARGE、M_XLARGE |
executor_num | （オプション）Executor ノード数、デフォルト値1 (SPARK_BATCH クラスターでのみ有効) |
executor_max_num | （オプション）Executor 最大ノード数、executor_num と異なる場合、リソース動的割り当てを有効化 (SPARK_BATCH クラスターでのみ有効) |
シリアル番号 | download | mode | 説明 |
1 | False | ALL | インターフェースからすべてのデータを取得し、取得が完了して初めてデータをフェッチできます |
2 | False | LASY | インターフェースからデータを取得し、fetchのデータ量に応じてサーバーからのデータ取得を遅延させます |
3 | False | STREAM | LASYモード |
4 | True | ALL | |
5 | True | LASY | |
6 | True | STREAM |
# 基本操作cursor = conn.cursor()count = cursor.execute("SELECT 1")print(cursor.fetchone()) # 一行のデータを読み取りますfor row in cursor.fetchall(): # 残りの複数行のデータを読み取りますprint(row)「{assistant_name}」機能をオンにしますか？cursor.execute("SELECT * FROM dummy WHERE date < %s", datetime.datetime.now())cursor.execute("SELECT * FROM dummy WHERE status in %s", (('SUCCESS', 'INIT', 'FAIL'),))cursor.execute("SELECT * FROM dummy WHERE date < %(date)s AND status = %(status)s", {'date': datetime.datetime.now(), 'status': 'SUCCESS'})BULK方式を使用しますcursor.executemany("INSERT INTO dummy VALUES(%s, %s)", [('張三', 18), ('李四', 20)])
conn.cursor()を通じてカーソルオブジェクトを作成しました。cursor.execute("SELECT 1")を通じてSQLクエリ文を実行し、結果を変数countに代入しました。cursor.fetchone()メソッドを呼び出して一行のデータを読み取り、それを出力しました。cursor.fetchall()メソッドをループ内で呼び出して残りの複数行のデータを読み取り、行ごとに出力しました。executemany()メソッドを呼び出すことで、複数のレコードをデータベーステーブルに一括挿入できます。import tdlc_connectorimport datetimefrom tdlc_connector import constantsdef tdlc_connector_callback(statement_id, state):'''parmas: statement_id タスクIDparams: state タスクの状態、列挙値はconstants.TaskStatusを参照'''print(statement_id, state)conn = tdlc_connector.connect(region="<REGION>",secret_id="<SECRET_ID>",secret_key="<SECRET_KEY>",engine="<ENGINE>",engine_type=constants.EngineType.SPARK,result_style=constants.ResultStyles.LIST,callback=tdlc_connector_callback,callback_events=[constants.CallbackEvent.ON_INIT, constants.CallbackEvent.ON_SUCCESS])cursor = conn.cursor()cursor.execute("SELECT 1")cursor.fetchone()# コールバック関数は、タスクの初期化時とタスク成功時に呼び出されます
from tdlc_connector import constantsconn = tdlc_connector.connect(region="<REGION>",secret_id="<SECRET_ID>",secret_key="<SECRET_KEY>",engine="<ENGINE>", # spark ジョブエンジンを選択してくださいresult_style=constants.ResultStyles.LIST,driver_size=constants.PodSize.SMALL, # Driver 仕様を選択してくださいexecutor_size=constants.PodSize.SMALL, # Executor 仕様を選択してくださいexecutor_num=1, # Executor 数を設定してくださいexecutor_max_num=1, # Executor 最大数を設定してください。{executor_num}と等しくない場合、動的リソース割り当てを開始します)
from tdlc_connector import constantsconn = tdlc_connector.connect(region="<REGION>",secret_id="<SECRET_ID>",secret_key="<SECRET_KEY>",engine="<ENGINE>",engine_type=constants.EngineType.AUTO # AUTOに設定するか、このパラメータを渡さずにドライバーに自動推論させることができます)
from tdlc_connector import constants, formatsformats.FORMAT_STRING_NULL = '\\1'conn = tdlc_connector.connect(region="<REGION>",secret_id="<SECRET_ID>",secret_key="<SECRET_KEY>",engine="<ENGINE>",result_style=constants.ResultStyles.LIST)
フィードバック