実務 ClearScape Analyticsで探索と前処理をSQLで通す
この記事で分かることClearScape の分析関数を、Python に出さず SQL で呼ぶ進め方最初に触るとよい探索・前処理の関数（要約、分布、欠損、外れ値、標準化）Fit → Transform の2段が何か小さな表で通してから本番に...
実務
実務 
実務 前月1か月の集計なのに重い｜非パーティション表と並列フルスキャン
この記事で分かること前月1か月の集計なのに、他のテーブルと比べて明らかに遅いときの、まず疑う先初見・あまり使っていないテーブルほど、その差に気づきやすいこと日付パーティションのない巨大明細では、期間を狭くしても読む量が落ちにくいこと直近3か...
実務 STRING→TIMESTAMPでUTC扱い｜JST列との比較で+9時間ずれる
この記事で分かること元テーブルが STRING、挿入先テーブルが TIMESTAMP のとき、ゾーン未指定だと日時が UTC として入ること単独利用では気づきにくいこと（見た目の時刻は STRING のまま）正しく JST が入った TIM...
実務 BigQuery Studioを閉じても大丈夫｜ジョブ履歴から検索結果を開く
この記事で分かること検索結果が出る前に BigQuery Studio を終了しても、後で結果を見ることができることジョブ履歴（個人の履歴）から結果を開く具体的な手順履歴で足りる場合と、結果をテーブルに残した方がよい場合の切り分けジョブのキ...
実務 Teradataで追加カラムの無影響確認｜Antiselectで『選ばない列』を指定する
この記事で分かることTeradataで 既存テーブルへのカラム追加 が多い理由と、そのときのテストの考え方「追加カラムの正しさ」と「既存カラムへの無影響」は別確認であること無影響確認で全カラム列挙＋MINUS すると、列が多いほどSQLが読...
実務 BigQueryでリファクタリング前後のテーブルが一致するか検証する｜件数が多いときのハッシュ比較
この記事で分かることSQLリファクタリング後に「結果テーブルが一致するか」を確認するときの考え方件数が多いと全カラム比較が現実的でない理由BigQueryで 各カラムをつなげてハッシュ化し、比較する 手順NULL・型・列順でハッシュがズレる...
学習 GROUP BYのよくあるエラー
GROUP BYでエラーになる理由と直し方（「何を1行にしたいか」から逆算）この記事で分かることGROUP BY のエラーが出る典型パターンと、直す手順が分かる「集計の単位」を日本語で決めてからSQLに落とすコツが身につく集計後にJOINし...
学習 NULLの3値論理
NULLの3値論理でWHEREが外れる理由（= / <> が通じないケース）この記事で分かることNULLが「値」ではなく「不明」である感覚がつかめるWHERE col <> 'x' に NULL が含まれない理由（3値論理）を説明できるIS...
キャリア データベースエンジニアとデータエンジニアの違い
データベースエンジニアを目指す人向けに、データベースエンジニアとデータエンジニアの違いについて解説します。
実務 データベースエンジニアのLinux作業。viの最低限コマンドあるいはviを使わない方法
データベースエンジニアを含むIT業界を目指す人向けに、使いづらいLinux上のviエディタを使わない方法を解説いたします。