Accueil    Formations    Informatique    Big Data    Data Engineering    Extraction de données avec Python

Partager cette formation Télécharger au format pdf Ajouter à mes favoris

Objectifs pédagogiques

  • Réaliser du scraping de données
  • Faire les actions d'ingestion nécessaires pour alimenter un Data Lake.

Niveau requis

Avoir des connaissances en algorithmiques.

Public concerné

Développeurs, intégrateurs, chefs de projets, consultants BI.

Programme

Les bases du langage Python

  • Les caractéristiques du langage Python
  • Pourquoi choisir Python pour l'analyse de données ?
  • Types de bases
  • Les instructions de bases
  • Les procédures et fonctions

L'ingestion avec Python

  • Utiliser la librairie Pandas pour manipuler les données
  • Introduction du concept de DataFrame
  • Les structures :
    • Interrogation
    • Indexation
  • Traitement de "données manquantes"
  • Fusion de DataFrames
  • Manipulation des dates
  • Application de mesures statistiques variées sur les DataFrames
  • Bonne compréhension des problèmes d'échelle de mesure, de normalisation
  • Création de métriques d'analyse

Scraping de données

  • Qu'est-ce que le scraping ?
  • Définition du scraping et de ses différents niveaux de difficulté sur plusieurs supports
    • Depuis le Web
    • Depuis du papier
    • Depuis des PDF
  • Exemples de projets réalisés grâce au scraping
  • L'architecture d'Internet
  • Qu'est-ce qu'un "client" ? Qu'est-ce qu'un "serveur" ? Pourquoi est-ce important ?
  • Comment HTTP et HTML impactent-t-ils nos scrapers ?
  • Qu'est-ce qu'une balise HTML ? Un attribut ?
  • Comment identifier certains éléments avec une "class" ou un "id" ?

Python comme solution ETL

  • Les formats de données structurées : CSV, flux XML et JSON
  • Lecture et écriture de fichiers
  • Exploitation des données de fichiers de différentes sources
  • Fonctions d'accès et de chargement de données en blocs de lignes
  • Outils spécifiquement dédiés au scraping :
    • Beautiful Soup
    • CSS Select

Mise en oeuvre d'un scraper

  • Un scraper simple (requêtes GET, pages séquencées)
  • Identifier la stratégie à adopter pour naviguer sur le site
  • Coder le scraper
  • Un scraper complexe : envoyer des données à un site Internet pour obtenir des résultats plus complexes
  • Qu'est ce qu'une requête POST et une requête GET ?
  • Parcourir un site pour trouver les données
  • Identifier la stratégie à adopter
  • Coder le scraper

Partager cette formation Télécharger au format pdf Ajouter à mes favoris

Calendrier des sessions

25/05/2020 Paris La Défense 1 980 € HT Je m'inscris

24/08/2020 Paris La Défense 1 980 € HT Je m'inscris

16/11/2020 Paris La Défense 1 980 € HT Je m'inscris

Modalité Présentiel

25/05/2020 Nancy 1 980 € HT Je m'inscris

25/05/2020 Strasbourg 1 980 € HT Je m'inscris

25/05/2020 Reims 1 980 € HT Je m'inscris

25/05/2020 Metz 1 980 € HT Je m'inscris

25/05/2020 Mulhouse 1 980 € HT Je m'inscris

24/08/2020 Nancy 1 980 € HT Je m'inscris

24/08/2020 Strasbourg 1 980 € HT Je m'inscris

24/08/2020 Reims 1 980 € HT Je m'inscris

24/08/2020 Metz 1 980 € HT Je m'inscris

24/08/2020 Mulhouse 1 980 € HT Je m'inscris

16/11/2020 Nancy 1 980 € HT Je m'inscris

16/11/2020 Strasbourg 1 980 € HT Je m'inscris

16/11/2020 Reims 1 980 € HT Je m'inscris

16/11/2020 Metz 1 980 € HT Je m'inscris

16/11/2020 Mulhouse 1 980 € HT Je m'inscris

Voir plus de sessions

Modalité Présentiel

25/05/2020 Lille 1 980 € HT Je m'inscris

25/05/2020 Rouen 1 980 € HT Je m'inscris

25/05/2020 Nantes 1 980 € HT Je m'inscris

25/05/2020 Caen 1 980 € HT Je m'inscris

25/05/2020 Évreux 1 980 € HT Je m'inscris

25/05/2020 Le Havre 1 980 € HT Je m'inscris

24/08/2020 Lille 1 980 € HT Je m'inscris

24/08/2020 Rouen 1 980 € HT Je m'inscris

24/08/2020 Nantes 1 980 € HT Je m'inscris

24/08/2020 Caen 1 980 € HT Je m'inscris

24/08/2020 Évreux 1 980 € HT Je m'inscris

24/08/2020 Le Havre 1 980 € HT Je m'inscris

16/11/2020 Lille 1 980 € HT Je m'inscris

16/11/2020 Rouen 1 980 € HT Je m'inscris

16/11/2020 Nantes 1 980 € HT Je m'inscris

16/11/2020 Caen 1 980 € HT Je m'inscris

16/11/2020 Évreux 1 980 € HT Je m'inscris

16/11/2020 Le Havre 1 980 € HT Je m'inscris

Voir plus de sessions

Modalité Présentiel

25/05/2020 Lyon Part-Dieu 1 980 € HT Je m'inscris

25/05/2020 Grenoble 1 980 € HT Je m'inscris

24/08/2020 Lyon Part-Dieu 1 980 € HT Je m'inscris

24/08/2020 Grenoble 1 980 € HT Je m'inscris

16/11/2020 Lyon Part-Dieu 1 980 € HT Je m'inscris

16/11/2020 Grenoble 1 980 € HT Je m'inscris

Voir plus de sessions

Modalité Présentiel

25/05/2020 Tours 1 980 € HT Je m'inscris

25/05/2020 Orléans 1 980 € HT Je m'inscris

25/05/2020 Bordeaux 1 980 € HT Je m'inscris

25/05/2020 Blois 1 980 € HT Je m'inscris

25/05/2020 Bourges 1 980 € HT Je m'inscris

25/05/2020 Châteauroux 1 980 € HT Je m'inscris

25/05/2020 Le Mans 1 980 € HT Je m'inscris

25/05/2020 Niort 1 980 € HT Je m'inscris

25/05/2020 Poitiers 1 980 € HT Je m'inscris

24/08/2020 Tours 1 980 € HT Je m'inscris

24/08/2020 Orléans 1 980 € HT Je m'inscris

24/08/2020 Bordeaux 1 980 € HT Je m'inscris

24/08/2020 Blois 1 980 € HT Je m'inscris

24/08/2020 Bourges 1 980 € HT Je m'inscris

24/08/2020 Châteauroux 1 980 € HT Je m'inscris

24/08/2020 Le Mans 1 980 € HT Je m'inscris

24/08/2020 Niort 1 980 € HT Je m'inscris

24/08/2020 Poitiers 1 980 € HT Je m'inscris

16/11/2020 Tours 1 980 € HT Je m'inscris

16/11/2020 Orléans 1 980 € HT Je m'inscris

16/11/2020 Bordeaux 1 980 € HT Je m'inscris

16/11/2020 Blois 1 980 € HT Je m'inscris

16/11/2020 Bourges 1 980 € HT Je m'inscris

16/11/2020 Châteauroux 1 980 € HT Je m'inscris

16/11/2020 Le Mans 1 980 € HT Je m'inscris

16/11/2020 Niort 1 980 € HT Je m'inscris

16/11/2020 Poitiers 1 980 € HT Je m'inscris

Voir plus de sessions

Modalité Présentiel

25/05/2020 Aix-en-Provence 1 980 € HT Je m'inscris

25/05/2020 Montpellier 1 980 € HT Je m'inscris

25/05/2020 Sophia Antipolis 1 980 € HT Je m'inscris

24/08/2020 Aix-en-Provence 1 980 € HT Je m'inscris

24/08/2020 Montpellier 1 980 € HT Je m'inscris

24/08/2020 Sophia Antipolis 1 980 € HT Je m'inscris

16/11/2020 Aix-en-Provence 1 980 € HT Je m'inscris

16/11/2020 Montpellier 1 980 € HT Je m'inscris

16/11/2020 Sophia Antipolis 1 980 € HT Je m'inscris

Voir plus de sessions

Modalité Présentiel

Votre société a besoin d'une offre personnalisée ? Contactez-nous

Faites-nous part de votre projet de formation, nous sommes là pour vous guider.

Contactez-nous