データ分析関連メモ(メモです)

仲秋の候、涼やかな秋風の下、ご一同様にはその後お健やかにお過ごしのことと存じます。

GoogleAnalytics4のBigQueryテーブルが作成される時間の分布

GoogleAnalytics4のBigQuery連携で日次転送を選択した場合、テーブルが作成される時間は一定ではない。
作成時間について公式ドキュメントでも見つけられなかったので、自分の環境で何時に作成されているのか分布を確認してみる。
191日分のテーブルしかないので参考まで。
メタ情報からテーブル作成時間を集計するクエリは以下。

#standardSQL
WITH
  tbl AS (
  SELECT
    EXTRACT(HOUR FROM TIMESTAMP_MILLIS(creation_time) AT TIME ZONE "Asia/Tokyo") AS creation_hour
  FROM
    `project_id.analytics_XXXXX.__TABLES__` )
    
SELECT
  creation_hour,
  COUNT(*) AS cnt
FROM
  tbl
GROUP BY
  creation_hour
ORDER BY
  creation_hour

BigQueryで全テーブルのメタ情報を一括で取得する方法 | GMOアドパートナーズ TECH BLOG byGMO



集計した結果をDataPortalで可視化。横軸が時間。 f:id:watagusa:20220223122208p:plain 7,8時台が多く、1~5時は自分の環境では今の所存在しない。



データサイズが大きいと作成時刻が遅くなるのかと思ったが、そうでもなさそう。
アクセスが少ないので影響が見てとれないのかもしれない。
縦軸が作成時刻で横軸はメタ情報にあるsize_bytes。 f:id:watagusa:20220223153025p:plain




【2022年4月17日追記】
_TABLES_はパフォーマンスに問題があり、非推奨とのこと。(リンク先スライドの12ページ目)
データ管理に役立つメタデータに関する勉強会を社内外で開催しました - MonotaRO Tech Blog