LES TESTS
Illustr' Tests 2
Il existe de nombreux tests pour estimer la force des machines dédiées et des programmes. La majorité sont réservés à des machines assez puissantes, leur fiabilité nous semble nettement plus sûre quand les appareils testés se situaient au dessus de 1900 elo.

Tests :

LCT II - CC2175 - CCR - BT4250-2630 - YT 1900

_Pointeur-doigt

Espace-vide-mini
Diode-verte LCT II
Mise au point dans le milieu des années 90 par le français Frédéric Louguet et parus dans la revue La Puce Echiquéenne, cette grille complète se révélait être une véritable référence en plein âge d’or des machines dédiées. En dissociant intelligemment l’attribution des points pour la stratégie (position), la tactique (combinaison) et le jeu en finale, ces tests se sont révélés relativement fiables quand on compare leurs résultats à ceux des classements des meilleurs sites spécialisés comme le Wiki (voir liens rubrique Evaluations et Classements)
Ces tests sont réservés à des machines ou des programmes de plus de 1900 elo.

Grille disponible dans nos pages Téléchargement (LCT II grille)Image 2
Tests disponibles (pour impression) dans nos pages Téléchargements (LCT II _web)Image 2
Tests disponibles format .epd dans nos pages Téléchargements (LCT II.epd)Image 2

Feuille de calcul auto (xls) dans nos pages Téléchargements (LCT II Calculator.xls)Image 2

Mode d’emploi LCT II.
Le temps imparti à chaque position est de 10 minutes maximum.
Lorsque la bonne réponse est trouvée, notez le temps correspondant.
Attention, il arrive que, une fois trouvée la bonne réponse, le programme choisit une autre ligne passé un certain délais. Il est donc conseillé, pour les patients, de poursuivre le test quelques minutes pour être certain de bien enregistrer le bon résultat.
Notez pour chaque position le nombre de points correspondant au temps suivant la grille suivante :Faire le total des points obtenus. Additionner 1900 à ce total pour trouver le nombre de points Elo.

Temps
Points
0 / 10 "
30
10" / 29"
25
30" / 1'29"
20
1'30" / 3' 29"
15
3'30" / 6' 29"
10
6'30" / 10 '
5
> 10'
0

Quelques résultats

Machines

Aktivschach (04/10)

LCT II
Mephisto Berlin 68000
2161
2040
Novag Sapphire (20 Mghz)
2150
2180
Saitek GK 2100
1995
2020
Novag Super Expert C
2013
1995
Mephisto Super Mondial II
1938
2010

Commentaires :
Réputé pour sa fiabilité la grille LCT II est rarement en désaccord profond avec les résultats « sur le terrain ». Seule petite surprise ici, la performance du Super Mondial II, plus à l’aise dans ces tests que face à d’autres machines (Aktivschach)

Espace-vide-mini
Diode-verte CC2175
Ce test n’est pas un classique et il ne figure pas, à ma connaissance, dans aucun des sites spécialisés. Cependant, je puis affirmer qu’il est non seulement fiable, mais permet d’évaluer assez correctement les programmes à des temps de réflexion différents sans avoir à reprendre ces tests à chaque fois.
Il était disponible avec les programmes de Chris Whittington. La version que j’utilise est tiré du Chess Champion 2175 (Oxford Softworks sur Mac OS9, 1991).
Deux solutions sont assez étonnantes ( position 3 et 23 ?!) mais les résultats enregistrés par ces tests étant souvent excellents, nous ne nous avancerons pas plus sur ce terrain .... Tels qu’ils sont, ils fonctionnent, c’est ce qu’on leur demande (voir le tableau résultats plus bas)
Ces tests sont bien adaptés à des machines ou des programmes relativement faibles à partir de 1300 (1000 en théorie). Nous avons constaté qu’au dessus de 2600 elo, il donnait, par comparaison, une bonne indication de la force des programmes mais l’évaluation finale devient nettement moins fiable.
Grille disponible dans nos pages Téléchargement (CC.2175 grille)Image 2
Tests disponibles (pour impression) dans nos pages Téléchargements( CC.2175.pdf)Image 2
Tests disponibles format .epd dans nos pages Téléchargements (CC.2175.epd)Image 2

Feuille de calcul auto (xls) dans nos pages Téléchargements (CC.2175 Calculator.xls)Image 2
Mode d’emploi CC2175
Ce mode d’emploi est celui utilisé pour évaluer l’Elo d’un joueur, il servira par extrapolation à un programme.
Le temps imparti à chaque position est de 8 minutes maximum, mais réparti en 4 essais de 2 minutes maxi chacun.
Lorsque la bonne réponse est trouvée, notez le temps correspondant et le nombre d’essais nécessaires pour la trouver.
Notez pour chaque position le nombre de points correspondant soit au temps soit aux nombres d’essais suivant la grille suivante :Faire le total des points obtenus. Additionner 1000 à ce total pour trouver le nombre de points Elo.




TempsPoints
1" / 2 ' (premier essai)
75
2' 1" / 4 ' (deuxième essai)
35
4' 1" / 6' (troisième essai)
17
6' 1" / 8' (quatrième essai)
9
> 8' (non trouvé en 4 X 2 minutes)
0
NOTE IMPORTANTE :
Dans le fichier à télécharger, Feuille de Calcul au format xcl, on peut constater qu’il est possible de rechercher l’Elo du programme pour des valeurs de réflexions inférieures à 2 minutes par coup.
Comme nous l’avons fait remarquer, les résultats sont relativement fiables et donc intéressants.
Voici comment est fait ce calcul :
Prenons une position à tester sur un temps de 2 secondes (se reporter à la feuille de calcul pour la procédure).
Si le programme a trouvé la bonne réponse en 5 secondes, contrairement à une approche qui paraît logique, il marquera tout de même des points sur cette position !...
En effet, le test au niveau maxi du programme (ou celui du joueur qui le fait) étant fondé sur la méthode : « si vous ne trouvez pas en 2 minutes, vous avez le droit à 3 nouveaux essais de 2 minutes », nous avons appliqué la même méthode pour le calcul d’essais à des temps de réflexion inférieur.
Ainsi, dans le cas ci-dessus, le programme ne trouve pas à son premier essai de 2 secondes, ne trouve toujours pas à son deuxième essai de 2 secondes (4 secondes écoulées) mais trouve durant son troisième essai, (5 secondes) qui allait jusqu’à 6 secondes . Il marque donc le nombre de points correspondants à ce troisième essai, à savoir : 17 points.
Pour ne marquer aucun points sur une position avec une valeur de 2 secondes de réflexion par coup, il faudrait que le programme ne trouve pas en moins de 8 secondes.

Quelques résultats


Machines
Aktivschach
CC2175
x"/coup
Perte pour T/2
Novag Sapphire
2151
2163
1784 (pour 1")
50
Mephisto Berlin 68000
2161
2150
1771 (pour 1")
50
Saitek GK 2100
2020
2010
1631 (pour 1")
50
Novag Super ExpertC
2013
2000
1621 (pour 1")
50
Meph Super Mondial II
1938
2009
1571 (pour 5")
85
Tiger Grenadier
1873
2010
1370 (pour 3")
109
Saitek Adv.Trainer
1870
1850
1150 (pour 2")
106
Mephisto MMII
1773
1745
1470 (pour 1")
51
Fidelity Designer 2000
1760
1843
1375(pour 4")
87
CXG Sphinx Titan
1683
2010
1387 (pour 2")
97
CXG 416 XL
NC
1594
1251 (pour 2")
57
Saitek Team Mate
1510
1692
1260 (pour 4")
80
Mephisto II
1332
1361
1220 (pour 30")
71
Mein erster Mephisto
1298
1560
1347 (pour 30")
85
Mephisto Mirage
1569
1519
1326 (pour 30")
77
Chess Champion Mark V
1352
1630
1287 (pour 30")
172
Mephisto MM I
1543
1696
1534 (pour 30")
65
Mephisto Europa
1709
1700
1370 (pour 2")
51

Commentaires :
La colonne -Perte pour T/2- indique le nombre de points Elo perdus pour une division du temps par deux (voir pages Niveaux de jeu / sous-chapitre : La division par deux).
On note que pour 10 machines sur 18, le résultat du test CC2175 est assez précis, meilleure que ceux effectués avec le LCTII !...
D’autre part, pour 7 machines, la perte de 50 points Elo pour un temps de réflexion divisé par deux est vérifiée, pour trois autres, elle monte à environ 70 points ce qui reste dans la fourchette prévue.
Au niveau des résultats les moins probants la perf’ exceptionnelle du Mein erster est à comparer à celle qu’il réalise avec le test Colditz (1615 ! ) tandis que la perf’ étonnante du Sphinx Titan ne trouve pas d’explication si ce n’est l’exception qui confirme la règle ! Par contre, pour le Chess Champion Mark V, le test CC2175 montre ses limites même si le Mark V, il est vrai, était fort réputé pour ses facultés d’analyse sur les problèmes plus que pour ses confrontations entre machines.
Espace-vide-mini
Diode-verte CCR (Computer Chess Report)
Une série de tests qui date un peu et dont les résultats ne correspondent pas toujours aux références enregistrées sur le Wiki (voir liens rubrique Evaluations et Classements).
Paradoxalement, ils sont très précis sur d’autres machines (voir le tableau ci-dessous) ! Ils permettront d’affiner les résultats obtenus avec d’autres méthodes.
Ils présentent l’avantage d’être adaptés à une palette assez large de machines, des plus faibles (1710 Elo mini) aux plus performantes (env 2600 Elo maxi).
Grille disponible dans nos pages Téléchargement (CCR grille)Image 2
Tests disponibles (pour impression) dans nos pages Téléchargement (CCR_web.pdf)Image 2
Tests disponibles format .epd dans nos pages Téléchargements (CCR.epd)Image 2

Feuille de calcul auto (xls) dans nos pages Téléchargements (CCR Calculator.xls)Image 2
Mode d’emploi CCR.
La bibliothèque des machines (ou des programmes) doit être mise en Off !
Le temps imparti à chaque position est de 2 minutes maxi.
Lorsque la bonne réponse est trouvée, notez le temps correspondant pour chaque position.
Se reporter au tableau ci-dessous pour l’attribution des points sur chaque position.
Faire le total des points puis : Total X 10 + 1700 = Elo

Temps
Points
0 / 15 "
30
16" / 30"
25
31" / 1'
20
1'1" / 2'
15

Quelques résultats
Machines
Aktivschach (05/09)
CCR
Novag Sapphire
2151
2150
Mephisto Berlin 68000
2161
2210
Mephisto Almeria 68000
2085
2060
Saitek GK 2100
2020
2030
Novag Super ExpertC
2013
2120
Saitek Adv.Trainer
1870
1820
Mephisto Europa
1709
1864
Fidelity Designer 2000
1760
1952
Mephisto MMII
1773
1952
CXG Sphinx Titan
1683
1755
Commentaires :
Remarquablement précis pour 3 machines sur les 9, plutôt fiable pour 3 autres, mais totalement à côté de la plaque pour le MMII, le Designer 2000 et l’Europa ! On remarque que dans ces 3 cas, l’estimation CCR est toujours favorable aux programmes.
Espace-vide-mini
Diode-verte BT 2450 et BT 2630
Pas moins de 30 positions avec un maximum de temps de 15 minutes par coup, soit environ 8 heures de manipulation si vous tombez sur un très mauvais programme !... Ces tests furent assez en vogue et leurs résultats plutôt probants puisqu’ils apparaissent toujours dans les pages du Wiki (voir liens rubrique Evaluations et Classements).
Le BT 2450 est réservé aux programmes situés entre 1600 et 2200 Elo. Le BT 2630 est réservé aux programmes situés entre 1750 et 2400 Elo.
Grille BT 2630 disponible dans nos pages Téléchargement (grille BT2630.pdf)Image 2

Tests (+ formats .epd) sur l’excellent site Blitzchess
(Liens BT2450) - (Liens BT2630)
Tests BT 2450 disponibles (pour impression), pages Téléchargements (BT 2450_web.pdf)
Image 2

Feuille de calcul auto BT 2450/2630 (xls) dans nos pages Téléchargements (BT Calculator.xls)Image 2

Mode d’emploi BT 2450 & BT 2630.
Le temps imparti à chaque position est de 15 minutes par position maximum.
Lorsque la bonne position est trouvée, notez le temps en secondes (ex 3mn 24s = 204)
Si une position n’est pas trouvée en 15 minutes, compter 900.
Sur Tests BT2630 : Faire la soustraction : 2630 - Total des temps en secondes de toutes les positions / 30 = points Elo
Sur Tests BT2540 : Faire la soustraction : 2540 - Total des temps en secondes de toutes les positions / 30 = points Elo
Espace-vide-mini
Diode-verte YT 1900 (Yano Test 1900)
Tests récents mis au point par un français passionné et principalement tournés vers les machines de 1250 Elo mini à 1900 Elo maxi.

Toutes les infos et téléchargements sur le site du créateur (voir lien ci-joint) : Site YN 1900 & NeoChess

Quelques résultats.
Machines
Aktivschach (05/09)
YT 1900
Mephisto MMII
1773
1780
CXG Sphinx Titan
1683
1750
Mephisto Europa
1709
1450
Novag Super Sensor IV
1166
1350
Chess Champion Mark V
1352
1430
Commentaires :
Sur le site du concepteur ( Site YN 1900 & NeoChess), d’autres résultats doivent aussi être pris en compte.
Nous voyons que pour pas mal de machines, surtout si l’on tient compte du fait que le SSIV est tout de même légèrement sous-estimé sur Aktischach, ce test est assez probant. Par contre, pour l’Europa, c’est la cata !



Organiser des tournois entre les logiciels, trouver le bon niveau pour disputer une partie avec la machine, comparer les styles.... tout un programme !