> Tech > Donner du sens aux benchmarks sur le Web

Donner du sens aux benchmarks sur le Web

Tech - Par iTPro.fr - Publié le 24 juin 2010
email

par Pam Jones
En sachant interpréter les données des benchmarks, on arrive à  distinguer les faits des effets de manche Pendant longtemps, les benchmarks standard ont rassuré les acheteurs en les convainquant que le matériel qu'ils achetaient était une bonne affaire, ou, à  tout le moins, que ses performances étaient comparables à  celles des autres. Il est vrai que, bien que fonction des fournisseurs et sujets à  la mauvaise interprétation par les clients, les benchmarks fournissent une base de comparaison, même imparfaite. Or, à  l'ère d'Internet, les benchmarks traditionnels comme TPC-C s'avèrent insuffisants. La soudaine explosion du Web a engendré des charges de travail nouvelles et différentes, hors de portée des moyens de mesure habituels. Les utilisateurs ont du mal à  comparer entre elles les applications des serveurs Web et de e-commerce. Mais voici que, récemment, sont apparus de nouveaux benchmarks Web et Java fort intéressants. Quoique non exhaustifs, ils offrent un point de départ pour évaluer les performances des serveurs AS/400e face aux nouvelles charges de travail du e-commerce. (Pour plus d'informations sur ces benchmarks, reportez-vous à  l'encadré "Benchmarks standard Web et Java").

Les benchmarks fournissent une base de comparaison, même imparfaite

Il existe à  ce jour quatre benchmarks indépendants des fournisseurs, permettant de juger des forces de l'AS/400 en tant que serveur Web. Deux d'entre eux mesurent les services Web directement, les deux autres mesurant les points forts de Java sur une machine. Comme Java a été consacré "langage de l'Internet", et qu'un nombre croissant d'utilisateurs AS/400 utilisent ou envisagent Java pour leurs déploiements Web, ces benchmarks Java sont également utiles pour évaluer le potentiel d'un serveur sur le Web. Outre les quatre benchmarks standard, il existe deux benchmarks internes à  IBM pour le service Java, souvent cités dans la communauté des développeurs sur AS/400.

VolanoMark, de Volano LLC et SPECweb99 de SPEC (Standard Performance Evaluation Corporation), mesurent respectivement les performances des services Java et Web. Ces deux benchmarks, bien qu'instructifs, sont loin de représenter les lourdes charges de travail mixtes et très transactionnelles qui caractérisent de plus en plus l'activité d'un serveur Web. SPECjbb2000 de SPEC et TPC-W du Transaction Processing Council sont les derniers benchmarks qui tentent de reproduire un service transactionnel plus complexe en Java et sur le Web.
Si on analyse ces nouveaux benchmarks Web et Java pour comparer l'AS/400 à  ses concurrents (ou pour l'en défendre), pour de nouvelles applications e-commerce, il est important de comprendre ce que chaque benchmark mesure, et en quoi le cas testé se compare au déploiement concret envisagé. "La meilleure méthode pour un utilisateur, consiste à  mieux comprendre le benchmark, et à  comparer ce modèle… à  son propre environnement applicatif", suggère un document TPC. "S'il y a correspondance approximative, on dispose probablement d'un outil utile et pertinent pour comparer les différents systèmes que l'on envisage d'installer."

Donner du sens aux benchmarks sur le Web

Quoique fréquemment cité, VolanoMark, de Volano LLC, n’est pas très représentatif
des charges de travail du client AS/400 lambda. VolanoMark a été développé spécialement
pour tester les performances des JVM (Java Virtual Machine) avec l’application
« chat-room » (le  » bavardoir » de nos amis canadiens) VolanoChat de la société.
Il met l’accent sur des connexions réseau de longue durée, et sur un nombre de
« threads » élevé. Le test VolanoMark crée 10 groupes de 20 connexions au serveur
pour un total de 200 connexions simultanées. A tour de rôle, chaque client diffuse
des messages à  son groupe, et le score ainsi obtenu est le nombre moyen de messages
par seconde transférés par le serveur.

Bien que l’application de test soit un chat-room, VolanoMark a été l’un des premiers
benchmarks Java disponibles, et les fournisseurs l’utilisent encore pour clamer
leurs performances Java. Le groupe AS/400 ne fait pas exception. En juin, Rochester
a annoncé que la JVM des nouveaux AS/400e haut de gamme à  24 processeurs, modèles
840, absorbait un nombre record de messages VolanoMark, enregistrant 108.153 messages
par seconde avec 200 connexions.
L’AS/400e modèle 840 dodécaprocesseurs se comportait aussi admirablement avec
le VolanoMark, allant de 43.292 messages par seconde avec 400 connexions à  36.125
messages par seconde avec 15.000 connexions. Et le communiqué de presse d’IBM
de clamer que « Ces résultats démontrent le potentiel de l’AS/400e comme serveur
de données pour traiter les gros volumes de transactions Java côté serveur qu’exigent
les e-business ». Mais d’autres à  Rochester, admettent que le test VolanoMark n’est
pas très représentatif de la plupart des charges de travail de l’AS/400 en mode
Web ou Java.

Téléchargez gratuitement cette ressource

*** SMART DSI *** VERSION NUMÉRIQUE

*** SMART DSI *** VERSION NUMÉRIQUE

Découvrez SMART DSI, la nouvelle revue du Décideur IT en version numérique. Analyses et dossiers experts pour les acteurs de la transformation numérique de l'entreprise, Gagnez en compétences et expertise IT Professionnelle avec le contenu éditorial premium de SMART DSI.

Tech - Par iTPro.fr - Publié le 24 juin 2010