Le talon d’Achille des benchmarks

pas. Rappelez-vous IBM affirmant que les résultats de VolanoMark
sur l’AS/400e modèle 840 « démontrent les possibilité de l’AS/400e comme serveur
de transactions de données pour traiter les volumineuses et intensives transactions
Java côté serveur requises par les e-business ». De même, à  la suite des bons résultats
de SPECweb99, le groupe RS/6000 a aussitôt présenté sa machine comme « la meilleure
plate-forme informatique pour des applications serveur Java » (RS/6000 M80 d’IBM)
et « le serveur Web à  4 processeurs le plus rapide » (RS/6000 7044-270 d’IBM). Ignorons
le baratin et voyons de près les configurations et les chiffres réels.

L’entrée de gamme du marché des serveurs Web, où l’AS/400 est en concurrence
avec des serveurs Intel et Unix peu coûteux, souffre encore d’un manque d’informations
comparatives

On peut regretter qu’IBM semble réserver les benchmarks AS/400 aux plus gros modèles.
SPECjbb2000 est une exception à  cette règle, mais Big Blue a quand même choisi
le plus gros des 270 pour tester son entrée de gamme. Les 270 plus coûteux, dont
le tarif est le plus compétitif, n’ont pas été soumis au benchmark. L’entrée de
gamme du marché des serveurs Web, où l’AS/400 est en concurrence avec des serveurs
Intel et Unix peu coûteux, souffre encore d’un manque d’informations comparatives.

Une autre lacune des benchmarks Web actuels est l’absence du facteur prix dans
la plupart d’entre eux. Ni SPECweb99 ni SPECjbb2000 ne demandent aux fournisseurs
de chiffrer leurs configurations, ce qui permettrait aux utilisateurs de comparer
le rapport prix/performances parallèlement aux performances brutes. TPC, en revanche,
inclut l’aspect prix dans tous ses benchmarks, y compris le nouveau TPC-W. Au
fur et à  mesure que les résultats TPC-W arrivent, il sera intéressant de comparer
le rapport prix/performances des principaux serveurs Web sur le marché du milieu
de gamme.

Beaucoup d’utilisateurs AS/400 aimeraient aussi voir IBM fournir des comparaisons
de prix/performances entre ses propres serveurs exécutant Websphere. Dans la rubrique
« Tech Talk » du site NEWS/400 (http://www.as400network.com), en mai dernier, Paul
Conte a écrit « Même en améliorant d’un facteur 3 le rapport prix/performances
qu’affiche le modèle 270 par rapport au 170, IBM doit encore fournir une preuve
convaincante que le 270 fournit une plate-forme Java d’entrée de gamme compétitive
avec l’offre Netfinity et RS/6000. Je ne dis pas que le modèle 270 n’est pas compétitif,
mais simplement qu’IBM ne l’a pas démontré assez clairement. »

Peu encline à  comparer directement ses serveurs, IBM risque fort de ne jamais
fournir de telles informations. Cependant, dès lors qu’il existe de plus en plus
de résultats sur de nouveaux benchmarks de serveurs Web et Java représentatifs,
les utilisateurs pourront plus facilement faire leurs propres comparaisons de
prix. Dans le cas de TPC-W, la mesure du rapport prix/performances accompagnera
les résultats des tests.

Malgré leurs imperfections, les benchmarks fournissent aux utilisateurs ce qui
se rapproche le plus d’une information objective pour comparer les performances
des divers serveurs Web. Les utilisateurs AS/400 devraient demander fermement
à  IBM d’augmenter la quantité de données de benchmarks disponibles pour ses modèles
milieu de gamme, surtout à  l’échelon le plus bas. Face à  la montée en puissance
des applications de serveur Web et de e-commerce, il devient de plus en plus important
de disposer de benchmarks fiables sur les serveurs Web et Java.