Les Zeros (2)

[Yann]

Les premiers résultats sur un parser spécialisés dans les suites de zéros viennent de tomber, et ils sont assez encourageants.
En effet, ces suites de zeros sont fréquentes dans les fichiers binaires, et font énormément ralentir la recherche de séquences. En employant un traceur de segments, on arrive assez rapidement à des améliorations de vitesse très importantes. C'est donc très intéressant.

Le diable est dans les détails. S'il a été possible de concevoir ce traceur de segments assez rapidement, il a été nettement plus compliqué de l'intégrer parfaitement au mécanisme de recherche normal pour toutes les autres chaines. Ainsi, il manquait souvent quelques positions, aboutissant à un moindre choix et donc un taux de compression un peu inférieur. L'objectif toutefois de cette amélioration était l'intégration parfaite, sans la moindre contre-performance sur le taux de compression. Ca a donc pris un peu de temps, mais ça semble désormais au point.

La vitesse moyenne semble améliorée d'un facteur 6 sur l'ensemble du corpus "compression ratings", avec toutefois une pointe très importante sur "OS1", amélioré d'un facteur presque 30. Bien entendu, à l'autre extrémité, il y a les fichiers textes, qui ne sont pas du tout affectés par ce nouvel algorithme de recherche, puisqu'ils ne comportent aucun zéro binaire.

La seule contre-performance provient du fichier "game1", qui semble comporter un très grand nombre de petites séquences de zéros. C'est un cas limite défavorable au nouvel algorithme. Dans ce cas, la vitesse est en fait diminuée, d'environ 20%.
Compte tenu des améliorations énormes sur tous les autres fichiers, cela peut sembler un compromis suffisant.
J'aimerais toutefois trouver un mécanisme permettant de mélanger fluidement les chaînes de segments avec MMC, au lieu de deux traitements séparés. Cela permettrait d'obtenir le meilleur des deux mondes simultanément, résolvant ce cas limite.