Pyspark【PySpark】フィルタリング(filter)にて不等号(!=)を扱う際に気を付けるべき点
はじめに PySpark の filter 関数 は SQL でいうところの where みたいなもので、データフレームを指定した条件で絞りたい場合にフィルタリングできる関数になります。 PySpark を使用していると […]
Pyspark生成AIを利用してSparkのデータフレームに対する洞察はできるのか
はじめに ChatGPTをはじめ、生成AIは非常に注目を浴びています。 そして現在では単に生成AIに一般的な回答を生成させるだけでなく、RAG や SQL Agent 等を利用して社内独自のデータに対して生成AIに抽出さ […]
Pyspark【PySpark】縦持ちデータを横持ちに変換(pivot)してデータを集計してみた
はじめに 本記事では PySpark でデータ加工や分析をされている方向けに、簡易的な縦持ちのテーブルを横持ちで見れる形へと回転するような変換をしていきます。 一般的にデータを見るという点では横持ちのテーブルの方が整って […]
Pyspark【4. ビジュアル作成編】Databricksで生データの加工から可視化まで一気通貫しておこなってみた
はじめに 本記事は全4編によって構成されるうち、4つ目の記事となります。 前回ではDatabricks SQLにて可視化のためのクエリを作成しました。 今回はクエリ実行によって得られたテーブルを可視化し、ダッシュボード上 […]- Pyspark
【3. SQLクエリ作成編】Databricksで生データの加工から可視化まで一気通貫しておこなってみた
はじめに 本記事は全4編によって構成されるうち、3つ目の記事となります。 前回ではCSVデータをDelta形式に変換したテーブルを可視化するために加工を行いました。 本記事のゴールとしては加工したテーブルを使用し、Dat […] - Pyspark
【2. テーブルの加工編】Databricksで生データの加工から可視化まで一気通貫しておこなってみた
はじめに 本記事は全4編によって構成されるうち、2つ目の記事となります。 前回ではCSVデータをDelta形式に変換したテーブルを作成を行いました。 本記事のゴールとしてDelta形式化したテーブルを用いて可視化に向けた […] - Pyspark
【1. Delta形式のテーブル作成編】Databricksで生データの加工から可視化まで一気通貫しておこなってみた
はじめに 本記事は全4編によって構成されるうち、1つ目の記事となります。 この記事のゴールは使用するCSVデータをDelta形式へと変換したテーブルを作成することです。 全4編の概要 全4編かけてBacklogで記録され […] 
Pyspark【PySpark】window 関数とは？仕組みと使い方を理解してデータ分析に役立てよう
はじめに 本記事では PySpark でデータ分析をされている初心者の方向けに window 関数の仕組みを解説し、簡単なデータを例に window 関数を使ってみたいと思います。 window 関数はデータの集計をする […]