Dataframely : Validation Facile et Efficace de Vos DataFrames Polars en Python

Votre flux de données est-il fiable? Dataframely, la nouvelle bibliothèque Python, vous assure une intégrité des données impeccable. Découvrez comment valider et typifier automatiquement vos dataframes Polars pour un code plus robuste et lisible.

Pourquoi Utiliser Dataframely pour Valider Vos DataFrames Polars?

• Améliorez la fiabilité de vos pipelines de données: Assurez-vous que vos données répondent aux exigences attendues.
• Clarifiez votre code: Ajoutez des informations de schéma aux "type hints" des dataframes.
• Détectez les erreurs en amont: Validez et corrigez les données avant qu'elles ne causent des problèmes.

Installation Simple de Dataframely: Pixi ou Pip, Vous Choisissez!

Dataframely s'intègre facilement à votre environnement Python.

• Avec Pixi: pixi add dataframely
• Avec Pip: pip install dataframely

L'installation est rapide et sans douleur. Vous pouvez commencer à valider vos dataframes en quelques minutes.

Guide Pratique: Définir et Valider un Schéma de DataFrame avec Dataframely

Voici un exemple concret pour vous montrer la puissance de Dataframely. Prenons le cas d'un dataframe contenant des informations sur des maisons.

1. Définition du Schéma du DataFrame

Définissez les contraintes et les types de données de votre dataframe.

import dataframely as dy
import polars as pl

class HouseSchema(dy.Schema):
    zip_code = dy.String(nullable=False, min_length=3)
    num_bedrooms = dy.UInt8(nullable=False)
    num_bathrooms = dy.UInt8(nullable=False)
    price = dy.Float64(nullable=False)

    @dy.rule()
    def reasonable_bathroom_to_bedrooom_ratio() -> pl.Expr:
        ratio = pl.col("num_bathrooms") / pl.col("num_bedrooms")
        return (ratio >= 1 / 3) & (ratio <= 3)

    @dy.rule(group_by=["zip_code"])
    def minimum_zip_code_count() -> pl.Expr:
        return pl.len() >= 2

Ce code définit un schéma HouseSchema avec des règles spécifiques pour la validation des données.

2. Validation du DataFrame

Validez vos données par rapport au schéma défini.

import polars as pl

df = pl.DataFrame({
    "zip_code": ["01234", "01234", "1", "213", "123", "213"],
    "num_bedrooms": [2, 2, 1, None, None, 2],
    "num_bathrooms": [1, 2, 1, 1, 0, 8],
    "price": [100_000, 110_000, 50_000, 80_000, 60_000, 160_000]
})

# Valider les données et caster les colonnes aux types attendus
validated_df: dy.DataFrame[HouseSchema] = HouseSchema.validate(df, cast=True)

Dataframely valide automatiquement le dataframe et peut même caster les colonnes aux types définis dans le schéma. Cela assure l'intégrité et la cohérence des données.

Pourquoi Dataframely Change la Donne pour le Traitement des Données?

• Validation déclarative: Définissez les schémas de validation de manière claire et concise.
• Intégration avec Polars: Profitez de la performance de Polars tout en garantissant la qualité des données.
• Règles personnalisées: Créez des règles de validation spécifiques à vos besoins.

Dataframely rend la validation des données plus facile, plus efficace et plus fiable.

Prêt à Rendre Vos Pipelines de Données Plus Robustes?

Dataframely vous offre les outils pour maîtriser vos données et construire des applications plus fiables. Explorez la documentation pour découvrir toutes les fonctionnalités et commencez à valider vos dataframes Polars dès aujourd'hui!