Polarsデータフレームのスキーマ検証を効率化！Dataframelyでデータパイプラインを強化

データパイプラインの信頼性を高めたいですか？ Dataframelyは、Polarsデータフレームのスキーマと内容を検証するためのPythonパッケージです。この記事では、Dataframelyの導入から実践的な使用例まで、完全ガイドとして解説します。

Polarsデータフレームのスキーマ検証を効率化！Dataframelyでデータパイプラインを強化

dataframely logo

Dataframelyとは？データ検証と可読性向上の秘密

Dataframelyは、データフレームの型ヒントにスキーマ情報を追加することで、データパイプラインをよりロバストにし、可読性を向上させることを目的としています。複雑なデータ処理において、データの整合性を保ち、エラーを早期に発見するために役立ちます。

簡単インストール！ Dataframelyをすぐに使い始める

Dataframelyのインストールは非常に簡単です。お使いのパッケージマネージャー（pixiまたはpip）を使用して、以下のコマンドを実行するだけです。

pixi add dataframely
pip install dataframely

実践！ Dataframelyでデータフレームのスキーマを定義

Dataframelyを使用すると、データフレームのスキーマを簡単に定義できます。以下の例は、HouseSchemaというスキーマを定義する方法を示しています。

import dataframely as dy
import polars as pl

class HouseSchema(dy.Schema):
    zip_code = dy.String(nullable=False, min_length=3)
    num_bedrooms = dy.UInt8(nullable=False)
    num_bathrooms = dy.UInt8(nullable=False)
    price = dy.Float64(nullable=False)

    @dy.rule()
    def reasonable_bathroom_to_bedrooom_ratio() -> pl.Expr:
        ratio = pl.col("num_bathrooms") / pl.col("num_bedrooms")
        return (ratio >= 1 / 3) & (ratio <= 3)

    @dy.rule(group_by=["zip_code"])
    def minimum_zip_code_count() -> pl.Expr:
        return pl.len() >= 2

dy.String(nullable=False, min_length=3): zip_codeは文字列型で、NULLを許容せず、最低3文字以上である必要があります。
dy.UInt8(nullable=False): num_bedroomsとnum_bathroomsは符号なし8ビット整数型です。
@dy.rule(): スキーマ全体のルールを定義します。この例では、バスルームとベッドルームの比率が妥当であるかを検証しています。
@dy.rule(group_by=["zip_code"]): zip_codeごとにグループ化してルールを定義します。この例では、zip_codeごとのデータ件数が2以上であるかを検証しています。

データ検証！スキーマに基づいてデータをチェック

定義したスキーマを使って、実際にデータフレームを検証してみましょう。

import polars as pl

df = pl.DataFrame({
    "zip_code": ["01234", "01234", "1", "213", "123", "213"],
    "num_bedrooms": [2, 2, 1, None, None, 2],
    "num_bathrooms": [1, 2, 1, 1, 0, 8],
    "price": [100_000, 110_000, 50_000, 80_000, 60_000, 160_000]
})

# データ検証と型キャスト
validated_df: dy.DataFrame[HouseSchema] = HouseSchema.validate(df, cast=True)

HouseSchema.validate(df, cast=True) を使用して、データフレーム df が HouseSchema に適合するか検証します。 cast=True を指定すると、データ型が自動的にキャストされます。これにより、データフレームの品質を保証し、後続の処理でのエラーを防ぐことができます。

まとめ：DataframelyでPolarsデータフレームの信頼性を高めよう

Dataframelyは、Polarsデータフレームのスキーマ検証を効率化し、データパイプラインの信頼性を向上させるための強力なツールです。簡単なインストールと使いやすいインターフェースにより、データエンジニアリングのワークフローを大幅に改善できます。ぜひDataframelyを導入して、データ品質の向上を実感してください。詳細な使用例は、公式ドキュメントを参照してください。（リンクは架空） example of using pandas