Solutions HPC Windows

Les solutions Windows HPC Serviware

Expertise et intégration:

• Spécifications matérielles
• Intégration matérielle en atelier
• Déploiement et installations (OS, MPI2, MS-MPI, ordonnanceur, applications, outils complémentaires)
• Intégration dans l’environnement client
• Optimisation (Portail de calcul, Mise en place de politiques de sécurité, Développement spécifique)

Etude de cas: le projet Acergy

Le nouveau portail HPC aux services des études Acergy de conceptions et de construction de systèmes fond-surface pour l’industrie pétrolière et gazière en mer

Marc Levrier et Marc Brouard, Spécialistes HPC Serviware

>> Lire la publication sur le projet Acergy

A propos de HPC Server 2008 de Microsoft

La nouvelle version de l'environnement d’exploitation de Microsoft dédié au calcul intensif:

Windows® HPC Server 2008 combine les fonctionnalités de Windows Server 2008 64 bits et du HPC Pack 2008 (outils de déploiement et de gestion destinés au cluster de calcul) pour proposer une solution robuste, performante et productive pour les besoins de calcul intensif. Des outils de qualité ont été mis en place pour améliorer les performances et l'évolutivité des environnements HPC en production. Les clusters construits sur Windows Server ® 2008 64-bit peuvent tout comme sur d’autres environnements être constitués de quelques à plusieurs milliers de processeurs. Windows HPC Server 2008 supporte les traitements batch classiques (distribués ou parallèles sur la base de MPI) mais aussi de nouvelles applications interactives orientées services (SOA). La modularité et l’ouverture de la solution la rendent flexible, permettant l’intégration dans des environnements mixtes Windows et Linux, assurant l’interopérabilité avec des outils tiers.

L'amélioration de la productivité, l’évolutivité et la facilité d'emploi sont quelques-unes des caractéristiques qui font aujourd'hui de Windows HPC Server 2008 un environnement mature et innovant pouvant séduire de nombreux utilisateurs.  

Architecture:

Figure 1

Un cluster HPC type est constitué d’un serveur maître et de nœuds de calcul. Le serveur maître rassemble plusieurs fonctionnalités (voir figure 1):

• Le contrôle et le pilotage des ressources du cluster
• L’accès aux interfaces de gestion, de déploiement et le paramétrage du job schedulder (ordonnanceur de travaux)
• La prise en charge du basculement (fail-over) grâce aux services haute disponibilité offerts par Windows Server 2008 Edition Enterprise et SQL Server  

Windows HPC Server 2008 s’intègre avec l'annuaire Active Directory ® pour faciliter la gestion des comptes utilisateurs et permettre de mettre en place une politique de sécurité calcul de bout en bout et en phase avec les règles de l’informatique. Sur les aspects supervision, les outils fournis dans le HPC Pack s’intègrent de manière naturelle dans des outils tels que System Center Operations Manager.

Le HPC Pack peut aussi être installé sur n’importe quel poste Windows afin de gérer et d’utiliser le cluster sans avoir besoin de se connecter directement dessus. Pour l’utilisateur le cluster est simplement vue comme une ressource de calcul sur le réseau et pour l’administrateur, il n’est qu’une brique supplémentaire intégrée à son infrastructure informatique.

Les nouvelles fonctionnalités de Windows HPC Server 2008

Surveillance et administration du cluster:

• Une nouvelle console d'administration des grappes basée sur l'interface utilisateur des outils d’administration de Windows Server 2008 (Microsoft Management Console)
• La gestion des nœuds permettant aux administrateurs de définir des groupes et d’effectuer simplement des opérations en masse différenciées
• Une vue simplifiée du cluster qui permet de vérifier son état en un clin d’œil (heatmap)
• L’utilisation de script Power Shell ou de lignes de commandes pour le paramétrage et la gestion du cluster
• L’utilisation des services Windows Server Fail Over Cluster pour la mise en haute disponibilité de la frontale
• La simplification du déploiement des nœuds de calcul avec Windows Deployment Services
• Gestion intégrée de la mise à jour des serveurs du cluster
• Des outils de diagnostic intégrés permettant aux administrateurs d'identifier et de diagnostiquer rapidement des problèmes de type matériel, logiciel ou de réseau, partout dans le cluster
• La disponibilité de rapports pré-définis et paramétrables sur le fonctionnement du cluster
• La possibilité de mettre en place des rapports avancés complémentaires en utilisant des outils tels que SQL Server Analysis Services.

Ordonnancement des travaux:

• Possibilité de spécifier la granularité des ressources de calcul nécessaire (cœur, socket, serveur)
• Gestion de cluster hétérogène au travers des politiques de grupes
• Gestion fine de l’utilisation du cluster par les utilisateurs via les modèles de soumission (job templates)
• La mise en place des nouvelles politiques d’ordonnancement des tâches (« Grow/shrink », préemption, « back filling », … )
• Interopérabilité de l'ordonnanceur via le support du HPC Profile de l’Open Grid Forum
• Utilisation de WCF (Windows Communications Framework) pour permettre de développer plus facilement des applications distribuées en s’appuyant sur des mécanismes de type SOA

Réseau et MPI:

• Utilisation optimale de ressources matérielles pour le trafic MPI :
  • Network Direct (nouvelle interface RDMA) sur des réseaux faibles latence,
  • Mémoire partagée sur un même serveur.
• Simplification des taches de configuration du réseau du cluster
• Intégration de MS-MPI dans Event Tracing for Windows pour permettre d’observer et d’améliorer les échanges de données faites avec MPI

Stockage:

• L'amélioration de Server Message Block v2 (SMB v2)
• Support des principaux systèmes de fichiers parallèles du marché HPC

Développement :

• Utilisation de Visual Studio pour créer des applications depuis n’importe quel poste Windows (XP/Vista, 32 bits/64 bits).
• Support des standards de développement HPC (MPI, OpenMP, …)

Matériel proposé par Serviware pour les clusters Windows:

Pour en savoir plus:

• Pour en savoir plus sur Windows HPC Server 2008, visitez www.microsoft.com/france/hpc
• A propos de la version précédente: Windows Compute Cluster Server 2003