Accueil    Formations    Informatique    Big Data    Data Engineering    Extraction de données avec Python

Partager cette formation Télécharger au format pdf Ajouter à mes favoris

Objectifs pédagogiques / Compétences visées

  • Réaliser du scraping de données
  • Faire les actions d'ingestion nécessaires pour alimenter un Data Lake.

Niveau requis

Avoir des connaissances de base sur Python et en algorithmique.

Public concerné

Développeurs, intégrateurs, chefs de projets, consultants BI.

Programme

Les bases du langage Python

  • Les caractéristiques du langage Python
  • Pourquoi choisir Python pour l'analyse de données ?
  • Types de bases
  • Les instructions de bases
  • Les procédures et fonctions

L'ingestion avec Python

  • Utiliser la librairie Pandas pour manipuler les données
  • Introduction du concept de DataFrame
  • Les structures :
    • Interrogation
    • Indexation
  • Traitement de "données manquantes"
  • Fusion de DataFrames
  • Manipulation des dates
  • Application de mesures statistiques variées sur les DataFrames
  • Bonne compréhension des problèmes d'échelle de mesure, de normalisation
  • Création de métriques d'analyse

Scraping de données

  • Qu'est-ce que le scraping ?
  • Définition du scraping et de ses différents niveaux de difficulté sur plusieurs supports
    • Depuis le Web
    • Depuis du papier
    • Depuis des PDF
  • Exemples de projets réalisés grâce au scraping
  • L'architecture d'Internet
  • Qu'est-ce qu'un "client" ? Qu'est-ce qu'un "serveur" ? Pourquoi est-ce important ?
  • Comment HTTP et HTML impactent-t-ils nos scrapers ?
  • Qu'est-ce qu'une balise HTML ? Un attribut ?
  • Comment identifier certains éléments avec une "class" ou un "id" ?

Python comme solution ETL

  • Les formats de données structurées : CSV, flux XML et JSON
  • Lecture et écriture de fichiers
  • Exploitation des données de fichiers de différentes sources
  • Fonctions d'accès et de chargement de données en blocs de lignes
  • Outils spécifiquement dédiés au scraping :
    • Beautiful Soup
    • CSS Select

Mise en oeuvre d'un scraper

  • Un scraper simple (requêtes GET, pages séquencées)
  • Identifier la stratégie à adopter pour naviguer sur le site
  • Coder le scraper
  • Un scraper complexe : envoyer des données à un site Internet pour obtenir des résultats plus complexes
  • Qu'est ce qu'une requête POST et une requête GET ?
  • Parcourir un site pour trouver les données
  • Identifier la stratégie à adopter
  • Coder le scraper

Modalités d’évaluation des acquis

  • En cours de formation, par des études de cas ou des travaux pratiques
  • Et, en fin de formation, par un questionnaire d'auto-évaluation ou une certification (M2i ou éditeur)

Partager cette formation Télécharger au format pdf Ajouter à mes favoris

Vous souhaitez suivre cette formation ?

Cette formation est disponible en présentiel ou en classe à distance, avec un programme et une qualité pédagogique identiques.

Choisissez la modalité souhaitée pour vous inscrire :

Votre société a besoin d'une offre personnalisée ? Contactez-nous

Faites-nous part de votre projet de formation, nous sommes là pour vous guider.

Contactez-nous