Airflow Documentation Release 1.10.2 Apache Airflow Jan 23, 2019 Contents 1 Princ

Airflow Documentation Release 1.10.2 Apache Airflow Jan 23, 2019 Contents 1 Principles 3 2 Beyond the Horizon 5 3 Content 7 3.1 Project . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 3.1.1 History . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 3.1.2 Committers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 3.1.3 Resources & links . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 3.1.4 Roadmap . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 3.2 License . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 3.3 Quick Start . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 3.3.1 What’s Next? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 3.4 Installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 3.4.1 Getting Airflow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 3.4.2 Extra Packages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 3.4.3 Initiating Airflow Database . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 3.5 Tutorial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 3.5.1 Example Pipeline definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 3.5.2 It’s a DAG definition file . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3.5.3 Importing Modules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3.5.4 Default Arguments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3.5.5 Instantiate a DAG . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 3.5.6 Tasks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 3.5.7 Templating with Jinja . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 3.5.8 Setting up Dependencies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 3.5.9 Recap . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 3.5.10 Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 3.5.10.1 Running the Script . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 3.5.10.2 Command Line Metadata Validation . . . . . . . . . . . . . . . . . . . . . . . . . 19 3.5.10.3 Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 3.5.10.4 Backfill . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 3.5.11 What’s Next? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 3.6 How-to Guides . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 3.6.1 Setting Configuration Options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 3.6.2 Initializing a Database Backend . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 3.6.3 Using Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 i 3.6.3.1 BashOperator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . uploads/Philosophie/ airflow-user-guide.pdf

• Détails
• Publié le Mar 25, 2022
• Catégorie Philosophy / Philo...
• Langue French
• Taille du fichier 2.9328MB