Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

Bulletin technique et d’information Volume 1, numéro 2 Centres de données de re

Bulletin technique et d’information Volume 1, numéro 2 Centres de données de recherche 16 Statistique Canada N° 12-002-XIF Fichiers de commandes Stat/Transfer et transfert efficace des fichiers de données Par James Chowhan Résumé L'utilisation des fichiers de commandes dans Stat/Transfer permet d’accélérer le transfert de plusieurs ensembles de données, de manière efficace et reproductible. La présente note décrit une méthode simple, étape par étape, pour créer des fichiers de commandes et présente un exemple de code. Introduction Dans cette note, nous tentons de faciliter l'utilisation des fichiers de commandes Stat/Transfer par les chercheurs. La plupart de ceux-ci utilisent avec relativement d’aisance l'interface “pointer-cliquer ” de Stat/Transfer. Toutefois, quand les chercheurs doivent transférer de nombreux ensembles de données, la méthode “pointer-cliquer ” peut être répétitive et fastidieuse, car il faut lancer manuellement chaque transfert de fichier. L'utilisation des fichiers de commandes accélère le transfert de nombreux ensembles de données, d'une manière efficace et reproductible. Avec les fichiers de commandes Stat/Transfert, on peut exécuter les mêmes opérations qu’avec la méthode “pointer-cliquer ”, mais en plus le fichier de commandes est un enregistrement réutilisable dont l’exécution génère un journal des résultats. La véritable puissance des fichiers de commandes de Stat/Transfer réside dans l'exécution séquentielle de nombreuses tâches de transfert ou d'analyses syntaxiques. Les chercheurs peuvent en effet lancer un fichier de commandes comportant de nombreuses tâches, et le laisser s'exécuter pendant qu'ils vaquent à d'autres tâches. Tous les exemples présentés dans cette note ont été réalisés avec la version 7.0.02 de Stat/Transfer, mais la méthode devrait fonctionner avec toute version de ce logiciel1. De plus, dans cette note, nous traitons uniquement des fichiers de commandes, mais non de l'utilisation interactive de Stat/Transfer dans un environnement DOS (commandes de type DOS), ni de la méthode “pointer-cliquer ”. Veuillez consulter Keown [2004] pour une présentation de l'interface “pointer-cliquer ”. II. Utilisations de Stat/Transfer Les ensembles de données des Centres de données de recherche (CDR) sont souvent très volumineux en longueur et en largeur. Le logiciel Stat/Transfer permet de réduire le nombre de variables et/ou le nombre d'observations dans un ensemble de données, ce qui le rend plus compact et plus facile à manipuler. Une autre utilisation, encore plus importante, est le transfert 1 Les exemples dans cette note ont été testés avec les versions 6 et 7 de Stat/Transfer. Bulletin technique et d’information Volume 1, numéro 2 Centres de données de recherche 17 Statistique Canada N° 12-002-XIF d'un ensemble de données d’un format à un autre. Par exemple, on peut vouloir convertir un ensemble de données Stat/Transfer en un fichier SPSS ou un fichier Stata. L'utilisation de fichiers de type syntaxe ou commande est très utile pour conserver les fichiers journaux des tâches et des transformations passées et présentes, ou encore pour reproduire des tâches antérieures sur des ensembles de données nouveaux, identiques ou différents. III. Création d'un fichier de commandes Les fichiers de commandes Stat/Transfer sont très similaires à des documents texte (affichables dans Notepad) ou ASCII, car le texte peut être facilement manipulé (copier-coller). Toutefois, les fichiers Stat/Transfer et ASCII ne sont pas identiques, la principale différence étant que Stat/Transfer ne reconnaît que les fichiers de commandes portant une extension “.stc ”. Nous prenons le temps ci-dessous d'expliquer l’importance, quand on crée un fichier de commandes (particulièrement l'étape 1), de lui donner l’extension “.stc ”, que Stat/Transfer reconnaîtra. C'est pourquoi il faut utiliser un éditeur de texte pour créer ce fichier spécial. Un fichier de commandes a habituellement la forme suivante : log using “c:\path\log_name” keep [variable list] where [variable expression relational operator condition] copy “infilename.ex1” “outfilename.ex2” /x1 /x2 ... quit Vous pouvez taper les commandes dans le fichier, et insérer des commentaires en les faisant précéder d'une double barre oblique, “// ”. Tous les noms de lecteur, de chemin d'accès et de fichier doivent être indiqués entre guillemets anglais. Cela permet d’utiliser des espaces et autres symboles non alphanumériques (comme les parenthèses) dans le chemin spécifique. Les sauts de ligne sont indiqués par des “retours à la ligne forcés ” et toutes les lignes de commande se terminent par un “retour à la ligne forcé ”. Par conséquent, chaque commande occupe une seule ligne. Toutes les lignes de commande doivent avoir au plus 80 caractères de longueur. L'ordre des commandes est important pour la bonne exécution du fichier. La commande KEEP vous permet de spécifier les variables qui demeureront dans le nouvel ensemble de données. À l'inverse, la commande DROP vous permet d'indiquer les variables qui seront retirées de l'ensemble de données final. La commande WHERE indique les conditions pour les observations qui seront transférées dans le nouvel ensemble de données. La commande COPY indique le fichier qui sera transféré ou analysé, et le nouveau fichier qui sera généré. De plus, cette commande est suivie d'une seule barre oblique et de toute option requise. Les options (/x1 /x2) peuvent désigner des variables ou des fichiers. Une brève discussion des options figure à la section IV. Pour une même commande COPY, on ne peut pas utiliser plusieurs instructions KEEP, DROP ou WHERE (en effet, si on utilise plusieurs commandes, pour chacune d’entre elles, c'est la dernière qui sera acceptée). En outre, les instructions WHERE sont limitées à une ou deux Bulletin technique et d’information Volume 1, numéro 2 Centres de données de recherche 18 Statistique Canada N° 12-002-XIF expressions/conditions, tout dépendant de la nature de l'instruction. Ainsi, chaque combinaison de commandes KEEP/DROP et WHERE requiert une commande COPY. Pour créer un fichier de commandes, veuillez procéder comme suit2 : 1) Ouvrez votre éditeur de texte préféré (Notepad ou l'éditeur MS-DOS, entre autres). 2) Quand l'éditeur est ouvert, tapez le texte du fichier de commandes (c'est-à-dire le code et les commandes). 3) Enregistrez ce fichier : i. Sélectionnez “file ”, puis “save as ”. ii. Sélectionnez le lecteur et le dossier d'accès (lecteur, dossier, sous-dossier). iii. Entrez “nom_de_fichier.stc ” (c'est l'étape la plus cruciale. L'extension “.stc ” est requise, car sans celle-ci, Stat/Transfer ne pourra pas reconnaître le fichier, car il présume que tous les fichiers de commandes ont cette extension). Sélectionnez ensuite <ok>. Remarque : si vous utilisez un éditeur texte DOS, il se peut qu'il y ait des restrictions pour la longueur du nom du fichier3. iv. Pour fermer le programme, sélectionnez “file ”, puis “exit ”. 4) Pour éditer le fichier, cliquez à droite sur le fichier et sélectionnez “edit ”4. Vous pouvez alors éditer et entrer (en copiant et collant) le texte dans tout éditeur de textes. Conseil : Vous irez plus vite en copiant et collant le chemin d'accès à partir de la ligne d'adresse dans l'Explorateur de Windows. Après ces modifications, vous n'avez qu'à enregistrer le fichier et le fermer. 5) Pour exécuter directement le fichier à partir de l'environnement Windows, double-cliquez sur le fichier “nom_de_fichier.stc ”. 6) Si l'étape 5 ne fonctionne pas, vous devrez peut-être associer les fichiers “.stc ” à Stat/Transfer. Pour ce faire, cliquez à droite sur le fichier, sélectionnez “Open with ”, puis choisissez “st.exe ”. Le fichier “st.exe” est pour le version DOS à Stat/Transfer. Si l'option “st.exe ” n'est pas affichée, sélectionnez “Browse ” pour localiser cette option. Pour trouver cet exécutable, choisissez le lecteur/chemin d'accès/sous-dossier qui mène directement au répertoire Stat/Transfer, et sélectionnez dans ce répertoire le fichier “st.exe ” pour associer les fichiers “.stc ” à Stat/Transfer. Ainsi, vous pourrez exécuter tous les fichiers portant l'extension “.stc ” en double-cliquant sur le nom du fichier. IV. Exemple d'un fichier de commandes Nous présentons ci-dessous un exemple de fichier de commandes utilisant un échantillon transversal tiré de l'Enquête sur la dynamique du travail et du revenu de 1996. Le nombre d'enregistrements dans ce fichier était de 76 055. Il y avait neuf variables que l'on pouvait choisir pour cet exemple (year, personid, ailbwt26, jobid, age26, sex21, clwkr1, totear1, and ttinc42)5. 2 En configurant votre fichier de la façon décrite, vous pourrez le lancer sous forme d'exécutable, c'est-à-dire en double-cliquant sur le nom du fichier. Les commandes seront exécutées une à la suite de l'autre et un fichier journal sera produit. 3 On peut aussi utiliser facilement la fonctionnalité de réaffectation des noms dans Windows pour donner l'extension “.stc ” au fichier. 4 Il faut bien noter que si l'option “edit ” ne s'affiche pas dans la liste des choix quand vous cliquez à droite sur le fichier, c'est parce que votre ordinateur ne reconnaît pas l'extension des fichiers de commandes de Stat/Transfer. Pour corriger ce problème et associer l'extension “.stc ” à Stat/Transfer, reportez-vous à l'étape 6. 5 Les variables sont year — l'année de l'enquête; personid — un identificateur unique des personnes; ailbwt26 — le poids de la transaction; jobid — un identificateur unique d'une catégorie d'emplois; age26 — l’âge de la personne au 31 décembre; sex21 — le sexe du répondant (mâle 1 et femelle 2); clwkr1 — la classe de travailleurs (employé 01, Bulletin technique et d’information Volume 1, numéro 2 Centres de données de recherche 19 Statistique Canada N° 12-002-XIF Cet exemple illustre deux tâches principales, uploads/Industriel/ cours-stat-transfer.pdf