> Tech > Trier le fichier pour améliorer les performances

Trier le fichier pour améliorer les performances

Tech - Par Renaud ROSSET - Publié le 24 juin 2010
email

Même avec beaucoup de mémoire disponible et une contention de mémoire basse, l'accès aux enregistrements dans un ordre autre que physique est moins efficace que l'accès dans l'ordre physique. Quand on traite fréquemment un fichier entier dans l'ordre des clés, un tri périodique peut s'avérer bénéfique. J'ai répété les tests

d’accès
séquentiel avec clé (en utilisant le chemin d’accès par clé du fichier) sur une
version triée du fichier Master pour déterminer à  quel point cela pourrait améliorer
le débit.
Pour les tests RPG, l’utilisation d’une commande OvrDbf avec les deux paramètres
NbrRcds et SeqOnly mis à  352 a donné les meilleures performances : 136.600 enregistrements
par minute. Soit deux fois et demi de mieux que les meilleurs résultats pour le
fichier non trié en utilisant les pools de mémoire *Calc et encore mieux que le
meilleur résultat obtenu avec les pools de mémoire *Fixed.

Pour les tests SQL, le meilleur résultat en utilisant un chemin d’accès par clé
et pas de commande OvrDbf a été de 97.250 enregistrements par minute pour un Fetch
multiligne de 1.408 lignes. Le meilleur résultat obtenu pour un ODP trié a été
de 32.220 enregistrements par minute pour une taille de Fetch de 88 lignes. Avec
les deux techniques, il n’y a pas eu beaucoup de différence entre des tailles
de Fetch de plus de 11 lignes. Après avoir installé les nouvelles PTF décrits
ci-dessus, j’ai réexécuté les tests en donnant diverses valeurs à  NbrRcds.

Contrairement aux problèmes rencontrés précédemment en utilisant NbrRcds avec
un fichier non trié, ces tests ont donné des performances constantes et améliorées.
Avec la valeur 352 pour NbrRcds, la méthode d’accès par clé a traité 118.490 enregistrements
par minute.

Il est donc clair que le tri d’un fichier améliore les performances de l’accès
séquentiel avec clé et il faut accéder au fichier en utilisant un chemin d’accès
par clé (plutôt qu’un tri ODP) et une taille de transfert plus grande pour exploiter
cet avantage.

Notons également que les meilleurs résultats pour traiter un fichier non trié
on dépendu d’une mémoire suffisante pour contenir tout le fichier et d’une contention
de mémoire basse, mais le traitement d’un fichier trié (comme on peut le déduire
des tests de tri ODP évoqués précédemment) n’est pas aussi dépendant de la mémoire
parce que les enregistrements sont traités dès leur transfert du disque en mémoire.

Téléchargez cette ressource

Guide de Sécurité IA et IoT

Guide de Sécurité IA et IoT

Compte tenu de l'ampleur des changements que l'IA est susceptible d'entraîner, les organisations doivent élaborer une stratégie pour se préparer à adopter et à sécuriser l'IA. Découvrez dans ce Livre blanc Kaspersky quatre stratégies efficaces pour sécuriser l'IA et l'IoT.

Tech - Par Renaud ROSSET - Publié le 24 juin 2010