Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

HAL Id: dumas-01143016 https://dumas.ccsd.cnrs.fr/dumas-01143016 Submitted on 1

HAL Id: dumas-01143016 https://dumas.ccsd.cnrs.fr/dumas-01143016 Submitted on 16 Apr 2015 HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers. L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés. Migration des bases de données de Oracle 10g vers Oracle 11g et mise en place d’un système de collecte centralisée des métriques des bases de données Philippe Lefèvre To cite this version: Philippe Lefèvre. Migration des bases de données de Oracle 10g vers Oracle 11g et mise en place d’un système de collecte centralisée des métriques des bases de données. Base de données [cs.DB]. 2014. dumas-01143016 CONSERVATOIRE NATIONAL DES ARTS ET METIERS CENTRE REGIONAL ASSOCIE DE VERSAILLES ___________________ MEMOIRE présenté en vue d'obtenir le DIPLOME D'INGENIEUR CNAM SPECIALITE : Informatique OPTION : Systèmes d'Information par M. Philippe LEFEVRE ___________________ Migration des bases de données de Oracle 10g vers Oracle 11g et mise en place d’un système de collecte centralisée des métriques des bases de données Soutenu le _________________ JURY PRESIDENT : MEMBRES : 2 Remerciements Je tiens tout d'abord à remercier mon épouse et ma fille pour leur patience, leur indulgence, mais aussi leurs encouragements, pendant tout le temps consacré aux cours du CNAM et à la préparation de ce mémoire. Je remercie également M. Xavier Senneville et M. Stephen Le Gall qui m'ont accordé leur confiance et m'ont encouragé à aller de l'avant durant le projet de migration et la rédaction de ce mémoire. Plus généralement, je tiens à remercier l'ensemble des acteurs du projet AceTP, qui ont su me réserver le meilleur accueil lorsque j'ai intégré le projet et m’ont permis de travailler dans les meilleures conditions possibles. Je remercie M. Keryvel, dont les conseils m'ont été très précieux au cours de la rédaction de ce mémoire. Enfin, toute ma gratitude va à l'ensemble du personnel du CNAM de Versailles pour toute l'aide qu'ils m'ont apportée pendant mon parcours. 3 Liste des abréviations AceTP : Above Client Expectation Transaction Processing ANSI : American National Standards Institute ARC : ARChiver AWR : Active Workload Repository BGL : Banque Générale du Luxembourg BNCI : Banque nationale pour le commerce et l'industrie BNL : Banca Nazionale del Lavoro BNP : Banque Nationale de Paris BPPB : Banque de Paris et des Pays Bas BPSS : BNP Paribas Securities Services CKPT : ChecKPoinT CNEP : Comptoir National d’Escompte de Paris DBA : Database Administrator (Administrateur de bases de données) DBWR : DataBase Writer DBUA : Database Upgrade Assistant DDL : Data Definition Language (Langage de Définition des Données) DML : Data Manipulation Language (Langage de Manipulation de Données) EJB : Enterprise JavaBeans FTT : Financial Transaction Tax (Taxe sur les transactions financières) IST : Integration Support et Tests ITP : Informatique Technologies et Processus LGWR : LoG Writer MOA : Maîtrise d'Ouvrage MMON : Manageability MONitor OCI : Oracle Call Interface 4 OCP : Oracle Certified Professional PGA : Program Global Area PL/SQL : Procedural Language / Structured Query Language PMON : Process MONitor RAC : Real Application Cluster SGA : System Global Area SMON : Sytem MONitor SGBDR : Système de Gestion de Bases de Données Relationnelles SQL : Structured Query Language UAT : User Acceptance Tests 5 Glossaire Dictionnaire de données : Ensemble de tables et de vues du système de gestion de bases de données contenant toutes les informations concernant la structure de la base de données (utilisateurs, tables, vues, indexes, contraintes d’intégrité, fichiers de données, etc.). Enterprise JavaBeans (EJB) : Architecture de composants logiciels côté serveur pour la plateforme de développement Java Enterprise Edition. Framework : Ensemble de fonctions destiné à faciliter le développement d’applications. Procedural Language / Structured Query Language (PL/SQL) : Langage propriétaire d’Oracle permettant de combiner des instructions procédurales et des requêtes SQL au sein de la base de données. Sqlplus : Utilitaire, fourni par Oracle, permettant à un utilisateur de se connecter à la base de données afin d’exécuter interactivement des requêtes SQL. User Acceptance Tests (UAT) : Tests réalisés par les utilisateurs de l’application afin de vérifier que celle-ci fonctionne conformément à leurs exigences. 6 Résumé Dans un environnement qui a prouvé sa robustesse et son efficacité, qui fonctionne quotidiennement sans accroc majeur, un changement de technologie représente toujours un saut dans l’inconnu. C’est pourquoi, afin de rassurer toutes les parties prenantes d’un tel système (c’est-à-dire notamment ses utilisateurs), il est nécessaire de s’assurer de la non- régression de ce changement. Lorsque ce changement de technologie concerne le système de gestion de bases de données, la première inquiétude concerne la performance des requêtes qui sont exécutées au quotidien et qui – souvent après un long effort d’optimisation – donnent parfaitement satisfaction. Fort heureusement, les bases de données Oracle nous offrent (de plus en plus, au fil des versions) les métriques nécessaires à l’étude de cette non-régression. Au sein du projet AceTP, chez BNP Paribas Securities Services, j’ai eu l’honneur de conduire un projet de migration de l’ensemble des bases de données, et donc de créer et mettre en œuvre les outils capables de collecter puis d’analyser ces métriques. Une fois la migration terminée, ces outils pourront être utilisés dans une optique de surveillance de la production… jusqu’à la prochaine migration ? In an environment that has proved its robustness and efficiency, which runs daily without any major hitch, a change in technology is always a leap into uncharted waters. Therefore, in order to reassure all stakeholders of such a system (that is to say in particular, its users), it is necessary to ensure the non- regression of the change. When this change of technology relates to the database, the first concern is the performance of queries that are run daily and – often, after a long optimization effort - give perfect satisfaction. Fortunately, Oracle databases offer us (increasingly over the versions) metrics needed to study this regression. Within AceTP project at BNP Paribas Securities Services, I had the honor to lead a project to upgrade all the databases, and thus create and implement tools to collect and to analyze these metrics. Once the migration is complete, these tools will be reused with the aim of monitoring the production ... until the next migration? 7 Table des matières I LE CONTEXTE ............................................................................................................................... 9 I.1 BNP PARIBAS ...................................................................................................................................... 9 I.1.1 Présentation ............................................................................................................................... 9 I.1.1.1 Histoire du groupe ................................................................................................................ 9 I.1.1.2 Organisation ....................................................................................................................... 11 I.2 BNP PARIBAS SECURITIES SERVICES ................................................................................................. 12 I.3 LE PROJET ACETP .............................................................................................................................. 13 I.3.1 Présentation ............................................................................................................................. 13 I.3.2 Organisation ............................................................................................................................ 14 I.3.3 Architecture ............................................................................................................................. 15 I.3.4 Présentation des bases de données .......................................................................................... 18 II LE TRAVAIL DEMANDE ............................................................................................................ 21 II.1 LA NECESSITE D'UNE MONTEE DE VERSION ........................................................................................ 21 II.2 OBJET DU STAGE ................................................................................................................................ 22 II.3 LES CONTRAINTES ET IMPERATIFS...................................................................................................... 22 II.4 LES OUTILS A NOTRE DISPOSITION ..................................................................................................... 22 II.4.1 Récolte des métriques .............................................................................................................. 22 II.4.2 Outils de tests .......................................................................................................................... 23 II.5 LES ACTEURS ..................................................................................................................................... 24 III MISE EN PLACE D'UN SYSTEME DE COLLECTE CENTRALISEE DES INDICATEURS DE PERFORMANCE DE LA BASE DE DONNEES ORACLE.................................................................. 25 III.1 ARCHITECTURE DE LA BASE DE DONNEES ORACLE ....................................................................... 25 III.1.1 Base de données et instance .................................................................................................... 25 III.1.2 L'architecture........................................................................................................................... 25 III.1.2.1 Les composants de l'instance .............................................................................................. 27 III.1.2.2 Les fichiers de la base de données ...................................................................................... 28 III.1.2.3 Les processus serveurs ........................................................................................................ 30 III.2 TRAITEMENT DES REQUETES ET MODELISATION DES ATTENTES ORACLE ...................................... 30 III.2.1 Les attentes Oracle .................................................................................................................. 31 III.2.2 Les mécanismes de verrouillage .............................................................................................. 31 III.2.2.1 Les verrous (locks) .............................................................................................................. 32 III.2.2.2 Les latches .......................................................................................................................... 34 III.2.3 Le cas général .......................................................................................................................... 34 III.2.3.1 L'analyse de la requête ....................................................................................................... 36 III.2.3.2 L'optimiseur statistique et le « row source generator » ..................................................... 37 III.2.4 La sélection des données ......................................................................................................... 39 III.2.5 L’insertion de données ............................................................................................................ 40 III.2.6 La modification et la suppression de données ......................................................................... 42 III.3 PRESENTATION DU REFERENTIEL AWR ........................................................................................ 43 III.3.1 Les principales vues de AWR ................................................................................................... 45 III.3.1.1 Les vues présentant le contexte ........................................................................................... 45 III.3.1.2 Vues permettant l’analyse des ordres SQL : ....................................................................... 46 III.3.1.3 Autres vues .......................................................................................................................... 49 III.4 LE SYSTEME DE COLLECTE CENTRALISEE DES METRIQUES ORACLE .............................................. 50 III.4.1 Les problèmes posés ................................................................................................................ 50 III.4.2 La solution apportée ................................................................................................................ 51 III.4.2.1 L’extracteur de données ...................................................................................................... 54 III.4.2.2 L’aiguilleur ......................................................................................................................... 55 III.4.2.3 L’incorporateur .................................................................................................................. 55 III.4.2.4 Le comparateur ................................................................................................................... 56 8 III.5 CONCLUSION ................................................................................................................................. 66 IV LA MIGRATION ........................................................................................................................... 67 IV.1 LES TESTS DE NON – REGRESSION .................................................................................................. 67 IV.1.1 L’environnement 11g ............................................................................................................... 67 IV.1.2 L’organisation ......................................................................................................................... 68 IV.1.3 Les résultats ............................................................................................................................. 70 IV.1.4 Les actions menées .................................................................................................................. 74 IV.1.4.1 Premières actions ............................................................................................................... 74 IV.1.4.2 Mise en place de l’événement 10949 .................................................................................. 74 IV.1.4.3 Réglage des requêtes en régression .................................................................................... 75 IV.2 LA MIGRATION DES BASES DE DONNEES DISTANTES ..................................................................... 75 IV.2.1 Le périmètre de la migration ................................................................................................... 76 IV.2.2 L’organisation uploads/Finance/ 2014-th18329-philippe-lefevre-pdf.pdf