Expressions régulières en Python

Les expressions régulières (regular expressions), également appelées regex, sont un ensemble de symboles utilisés pour définir un motif de recherche dans des données textuelles. En Python, ces expressions sont prises en charge par le module (fonction) re, et leur syntaxe est similaire à celle d'autres langages de programmation. L'utilisation d'expressions régulières offre aux chercheurs une méthode robuste pour identifier et manipuler des motifs dans le texte. Grâce à cet outil puissant, des mots, des caractères ou des motifs de caractères spécifiques peuvent être recherchés et mis en correspondance. Les applications typiques comprennent l'analyse syntaxique de données, la validation des entrées et l'extraction d'informations ciblées à partir de sources textuelles plus volumineuses. En Python, les cas d'utilisation courants impliquent la détection de divers types de données, comme des dates, des adresses électroniques, des numéros de téléphone et des URL, au sein de fichiers texte volumineux. De plus, les expressions régulières sont précieuses pour des tâches comme le nettoyage de données et le traitement de texte. Malgré leur polyvalence, les expressions régulières peuvent être complexes, permettant des motifs de recherche avancés grâce à des métacaractères tels que *, ? et +. Cependant, travailler avec ces expressions peut présenter des défis, car elles exigent une compréhension approfondie et un débogage minutieux pour garantir une mise en œuvre réussie.

    ## import the regular expression module
    import re
    # create a string with story problem
    story = "Samantha is a sixth-grade student who uses the popular coding language Python to collect and analyze weather data for science project. She creates a program that collects data from an online weather API and stores it in a CSV file for 10 days. With the help of her teacher, she uses Python to visualize the data and discovers patterns in temperature, humidity, and precipitation."
    # create a regex pattern to match a selected word
    pattern = "Python"
    # use the "findall" to search for matching patterns in the data string
    words = re.findall(pattern, story)
    
    # print the number of repeated python
    print ("The word 'python' is repeated", len(words), "times in the story.")
    
    # print the matched patterns
    print(words) # output: ['Python']
  

The word 'python' is repeated 2 times in the story.
['Python', 'Python']

Analyse syntaxique et extraction de données

Le fractionnement et le découpage sont deux méthodes utilisées pour manipuler des chaînes de texte en programmation. Le fractionnement d'une chaîne (splitting a string) consiste à diviser une chaîne de texte en parties plus petites ou sous-chaînes sur la base d'un séparateur spécifié. Le séparateur peut être un caractère, une chaîne ou une expression régulière. Cela peut être utile pour séparer des mots, des expressions ou des valeurs de données au sein d'une chaîne plus grande. Par exemple, la chaîne "Data Science" peut être scindée en deux sous-chaînes "Data" et "Science" en utilisant une espace comme séparateur.

Le découpage d'une chaîne (slicing a string) désigne l'extraction d'une portion ou d'une section d'une chaîne sur la base d'une plage d'indices spécifiée. Un indice correspond à la position d'un caractère dans une chaîne, en commençant à 0 pour le premier caractère. La plage spécifie les indices de début et de fin de la tranche, et la sous-chaîne résultante comprend tous les caractères situés dans cette plage. Par exemple, la chaîne "Data Science" peut être découpée pour extraire "Data" en spécifiant la plage allant de l'indice 0 à 4, ce qui comprend les quatre premiers caractères. Le découpage peut également être utilisé pour manipuler des chaînes en remplaçant, en supprimant ou en insérant un nouveau contenu à des positions précises au sein de la chaîne.

L'analyse syntaxique et l'extraction de données impliquent l'analyse d'un jeu de données ou d'une chaîne donnée afin d'en extraire des éléments d'information spécifiques. Cela est accompli à l'aide de diverses techniques et fonctions, telles que le fractionnement et le découpage de chaînes, qui permettent une récupération structurée des données. Ce processus s'avère particulièrement précieux lors de l'utilisation de jeux de données volumineux et complexes, car il offre un moyen plus efficace de localiser les données recherchées que les méthodes de recherche traditionnelles. Notez que l'analyse syntaxique et l'extraction de données diffèrent de l'utilisation des expressions régulières, car ces dernières constituent un outil spécialisé pour la reconnaissance de motifs et la manipulation de texte. En revanche, l'analyse syntaxique et l'extraction de données offrent une approche globale pour identifier et extraire des données spécifiques au sein d'un jeu de données.

L'analyse syntaxique et l'extraction de données à l'aide de Python consistent à utiliser le langage de programmation pour localiser et extraire des informations spécifiques à partir d'un texte donné. Cela s'effectue en utilisant la bibliothèque re, qui permet d'utiliser des expressions régulières pour identifier et récupérer des données en fonction de motifs définis. Ce processus peut être illustré par l'exemple de l'extraction de données relatives à une personne achetant un iPhone dans un Apple Store.

Le code de l'encadré Python suivant utilise des expressions régulières (regex) pour faire correspondre et extraire des données spécifiques d'une chaîne de caractères. La chaîne est un paragraphe contenant des informations sur une personne achetant un nouveau téléphone dans un Apple Store. L'objectif est d'extraire le nom du produit, le modèle et le prix du téléphone. Tout d'abord, le code commence par importer la bibliothèque nécessaire à l'utilisation des expressions régulières. Ensuite, les données textuelles sont définies sous la forme d'une variable. Puis, les regex sont utilisées pour rechercher des motifs spécifiques dans la chaîne. Le premier motif recherche les mots "product: " et capture tout ce qui suit jusqu'à atteindre une virgule. Le résultat est ensuite stocké dans une variable nommée "product". De même, le deuxième motif recherche les mots "model: " et capture tout ce qui suit jusqu'à atteindre une virgule. Le résultat est enregistré dans une variable nommée "model". Enfin, le troisième motif recherche les mots "price: " et capture toute séquence de chiffres ou de symboles qui suit jusqu'à la fin de la chaîne. Le résultat est enregistré dans une variable nommée "price". Une fois toutes les données extraites, elles sont affichées à l'écran en utilisant la concaténation pour ajouter des étiquettes appropriées devant chaque variable.

Cette application de code Python démontre l'utilisation efficace des regex et de la bibliothèque re pour analyser syntaxiquement et extraire des données précises à partir de données fournies. Grâce à cette méthode, l'information souhaitée peut être facilement localisée et récupérée pour une analyse ou une utilisation ultérieure.

    ## import necessary library
    import re
    # Define data to be parsed
    data = "Samantha went to the Apple store to purchase a new phone. She was specifically looking for the latest and most expensive model available. As she looked at the different options, she came across the product: iPhone 12, the product name caught her attention, as it was the newest version on the market. She then noticed the model: A2172, which confirmed that this was indeed the latest and most expensive model she was looking for. The price made her hesitate for a moment, but she decided that it was worth it price: $799. She purchased the iPhone 12 and was excited to show off her new phone to her friends."
    
    # Use regex to match and extract data based on specific pattern
    product = re.search(r"product: (.+?),", data).group(1)
    model = re.search(r"model: (.+?),", data).group(1)
    price = re.search(r"price: (.+?.+?.+?.+?)", data).group(1)
    
    # Print the extracted data
    print("product: " + product)
    print("model: " + model)
    print("price: " + price)
  

product: iPhone 12 model: A2172 price: $799

Traitement et stockage des données

Une fois les données collectées, elles doivent être traitées et stockées dans un format adapté à une analyse plus approfondie. C'est ici qu'interviennent le traitement et le stockage des données. Le traitement des données (data processing) prend d'abord en charge les données brutes en les nettoyant par la suppression des informations non pertinentes, puis en les transformant en un format structuré. Le processus de nettoyage comprend l'identification et la correction de l'ensemble des erreurs, incohérences et valeurs manquantes d'un jeu de données, et s'avère essentiel pour garantir que les données sont exactes, fiables et exploitables pour l'analyse ou à d'autres fins. Python est souvent employé pour le traitement des données en raison de sa flexibilité et de sa facilité d'utilisation, et il offre un large éventail d'outils et de bibliothèques spécialement conçus à cet effet. Une fois les données traitées, elles doivent être stockées pour une utilisation future. (Nous aborderons le stockage des données dans la section Nettoyage et prétraitement des données.) Python dispose de plusieurs bibliothèques qui permettent un stockage et une manipulation efficaces des données sous la forme de DataFrames.

Une méthode de stockage des données en Python consiste à utiliser la bibliothèque pandas pour créer un DataFrame, puis à utiliser la fonction to_csv() pour enregistrer le DataFrame sous la forme d'un fichier CSV (valeurs séparées par des virgules). Ce fichier peut ensuite être facilement ouvert et consulté en vue d'analyses ou de visualisations ultérieures. Par exemple, le code de l'encadré Python suivant est un script Python qui crée un dictionnaire contenant des données sur les présidents des États-Unis, comprenant leur numéro d'ordre et leur État de naissance. Un dictionnaire de données (data dictionary) est une structure de données qui stocke les données sous forme de paires clé-valeur, permettant une récupération efficace des données à l'aide de leur clé. Il utilise ensuite la bibliothèque CSV (CSV library) intégrée pour créer un fichier CSV et y écrire les données. Ce code est utilisé pour stocker les données sur les présidents américains dans un format structuré pour une utilisation, une analyse ou un affichage futurs.

    import csv
    
    # Create a dictionary to store the data
    presidents = {
        "1": ["George Washington", "Virginia"],
        "2": ["John Adams", "Massachusetts"],
        "3": ["Thomas Jefferson", "Virginia"],
        "4": ["James Madison", "Virginia"],
        "5": ["James Monroe", "Virginia"],
        "6": ["John Quincy Adams", "Massachusetts"],
        "7": ["Andrew Jackson", "South Carolina"],
        "8": ["Martin Van Buren", "New York"],
        "9": ["William Henry Harrison", "Virginia"],
        "10": ["John Tyler", "Virginia"],
        "11": ["James K. Polk", "North Carolina"],
        "12": ["Zachary Taylor", "Virginia"],
        "13": ["Millard Fillmore", "New York"],
        "14": ["Franklin Pierce", "New Hampshire"],
        "15": ["James Buchanan", "Pennsylvania"],
        "16": ["Abraham Lincoln", "Kentucky"],
        "17": ["Andrew Johnson", "North Carolina"],
        "18": ["Ulysses S. Grant", "Ohio"],
        "19": ["Rutherford B. Hayes", "Ohio"],
        "20": ["James A. Garfield", "Ohio"],
        "21": ["Chester A. Arthur", "Vermont"],
        "22": ["Grover Cleveland", "New Jersey"],
        "23": ["Benjamin Harrison", "Ohio"],
        "24": ["Grover Cleveland", "New Jersey"],
        "25": ["William McKinley", "Ohio"],
        "26": ["Theodore Roosevelt", "New York"],
        "27": ["William Howard Taft", "Ohio"],
        "28": ["Woodrow Wilson", "Virginia"],
        "29": ["Warren G. Harding", "Ohio"],
        "30": ["Calvin Coolidge", "Vermont"],
        "31": ["Herbert Hoover", "Iowa"],
        "32": ["Franklin D. Roosevelt", "New York"],
        "33": ["Harry S. Truman", "Missouri"],
        "34": ["Dwight D. Eisenhower", "Texas"],
        "35": ["John F. Kennedy", "Massachusetts"],
        "36": ["Lyndon B. Johnson", "Texas"],
        "37": ["Richard Nixon", "California"],
        "38": ["Gerald Ford", "Nebraska"],
        "39": ["Jimmy Carter", "Georgia"],
        "40": ["Ronald Reagan", "Illinois"],
        "41": ["George H. W. Bush", "Massachusetts"],
        "42": ["Bill Clinton", "Arkansas"],
        "43": ["George W. Bush", "Connecticut"],
        "44": ["Barack Obama", "Hawaii"],
        "45": ["Donald Trump", "New York"],
        "46": ["Joe Biden", "Pennsylvania"]
    }
    
    # Open a new CSV file in write mode
    with open("presidents.csv", "w", newline='') as csv_file:
        # Specify the fieldnames for the columns
        fieldnames = ["Number", "Name", "State of Birth"]
        # Create a writer object
        writer = csv.DictWriter(csv_file, fieldnames=fieldnames)
        # Write the header row
        writer.writeheader()
        # Loop through the presidents dictionary
        for key, value in presidents.items():
            # Write the data for each president to the CSV file
            writer.writerow({
                "Number": key,
                "Name": value[0],
                "State of Birth": value[1]
                })
    # Print a success message
    print("Data successfully stored in CSV file.")
  

Data successfully stored in CSV file.