Mise en ligne d’une première version

Pour qu’on ne vienne pas me dire que je bloggue sur du vent en parlant d’un projet qui n’existe pas et qui ne vera jamais le jour, j’ai décidé de mettre en ligne dès aujourd’hui une première version du moteur binaires qui ne comporte pour l’instant qu’un seul groupe (tout petit et sans grand intérêt) : alt.binaries.cartoons.french.reposts
. J’en ajouterais sans doute 2 ou 3 supplémentaires.

J’ai désactivé pour le moment la fonction recherche car ça n’a pas d’intérêt avec si peu de fichiers dans la base.

La génération de nzb fonctionne : vous pouvez tester, c’est fait pour.

Comme vous pourrez le voir (même avec si peu de fichiers) les regroupements et détection de types de fichiers ne fonctionnent malheureusement pas toujours parfaitement.

A noter (pour ceux que ça intéresse et pour les “spécialistes”) que cette version test de binaires.com est pour l’instant hébergé sur un simple petit hébergement mutualisé. (On ne crie pas, ça me fait mal à la tête !). Ca ne tiendra évidemment pas en production et il n’est pas impossible que même pour de simples tests ça se révèle insuffisant.

Changement de plateforme du blog

Après presque 2 mois pendant lesquels le projet n’a pas avancé, je viens de trouver le temps de m’y remettre.

Première “nouveauté”, l’externalisation du blog sur la plateforme wordpress.com (pour des raisons de sécurité et de performance, je ne souhaite héberger aucun script open source sur le serveur qui hébergera le moteur binaires).

Maintenant quelques nouvelles concernant l’avancement du projet.

Mise à jour de la liste des groupes qui seront gérés :

alt.binaries.bd.french
alt.binaries.cartoons.french
alt.binaries.cartoons.french.animes-fansub
alt.binaries.cartoons.french.reposts
alt.binaries.cd.image
alt.binaries.cd.image.french
alt.binaries.divx.french
alt.binaries.documentaries.french
alt.binaries.ebook.french
alt.binaries.echange-web
alt.binaries.erotica
alt.binaries.erotica.divx
alt.binaries.french-tv
alt.binaries.gougouland
alt.binaries.ijsklontje
alt.binaries.movies.divx
alt.binaries.movies.divx.france
alt.binaries.movies.divx.french
alt.binaries.movies.divx.french.old
alt.binaries.movies.divx.french.reposts
alt.binaries.movies.divx.french.vost
alt.binaries.movies.divx.horror.french
alt.binaries.movies.divx.scifi.french
alt.binaries.movies.french
alt.binaries.movies.french.xxx
alt.binaries.multimedia
alt.binaries.ng4you.french
alt.binaries.series.tv.divx.french
alt.binaries.series.tv.divx.french.reposts
alt.binaries.series.tv.french
alt.binaries.series.tv.stargate.french
alt.binaries.sounds.mp3
alt.binaries.sounds.mp3.complete_cd
alt.binaries.sounds.mp3.french
alt.binaries.spectacles.divx.french
alt.binaries.superman
alt.binaries.tv
alt.binaries.warez.quebec-hackers

+alt.binaries.boneless (pas sûr car ce groupe étant énorme, il me pause beaucoup de problèmes pour l’instant)

Le listing du contenu d’un groupe fonctionne bien, ainsi que la recherche par mot-clé.

La génération de .nzb fonctionne également correctement.

Mais le regroupement des fichiers en collections continue à me poser quelques problèmes : beaucoup d’exceptions (fichiers mal nommés par les posteurs, par exemple) m’oblige à me prendre la tête pendant des heures à essayer de perfectionner mes fonctions.

Les updates sont extrêmement lents et sollicite beaucoup trop le serveur pour l’instant. La première version du moteur ne bénéficiera sans doute pas de mise à jour régulière. (mise à jour des groupes une fois par semaine, je pense).

En conclusion, si j’arrive à regrouper correctement tous les fichiers d’un même post et à identifier leur type (par2, rar, etc…) sans trop d’erreur, je pense lancer rapidement une première version beta qui ne sera remis à jours qu’une fois par semaine et qui ne listera que le contenu de 3 ou 4 groupes (rétention 200 jours)

Nouvelle charte graphique pour binaires.com ?

En avançant dans la création du moteur binaires.com, je me rend compte qu’il y a une grosse incohérence entre le header et le logo en vert, noir et jaune qui sont déjà visible sur la page “en construction” et le contenu en préparation (liste des groupes, liste de fichiers) qui j’ai choisi de présenter sous forme de tableaux aux tons gris et bleus clairs. Même si j’aime bien mon petit logo actuel, je crois que je vais être obligé de le modifier.

Quant au moteur en lui-même, ça avance bien. Je bosse actuellement sur le regroupement des fichiers en collections : Le_Super_Post.rar + Le_Super_Post.r02 + Le_Super_Post.r01+ Le_Super_Post.nfo + Le_Super_Post.par2, etc… doivent évidemment être regroupés dans un même .nzb pour qu’un moteur binaire ait un intérêt.

La pagination (navigation page : précédente, 1, 2, 3 …, 52, 53, suivante ) que j’ai mis en place me semble pas mal du tout. Ainsi que la présentation des résultats des recherches. D’ici quelques jours, je mettrai en ligne quelques captures d’écran.

En revanche, je bloque toujours un peu sur les updates. Si je pouvais me contenter de remplir la base de données une seule fois (le moteur serait vite obsolète si le plus récent des fichiers indexés datait de plus d’un mois…) ça serait facile. Cela dit, même dans ces conditions, ça ne serait pas une partie de plaisir d’indexer 5000 groupes si je voulais être aussi exhaustif que binsearch.

Cette partie là reste donc à concevoir totalement si je veux que je le site soit viable. Mais ça ne m’empêchera sans doute pas de lancer une première version non viable(sans mise à jour, comme je l’ai expliqué dans le paragraphe précédent) pour un premier test en grandeur nature.

Restez à l’écoute. La suite bientôt.

Tables ‘groupes’, ‘fichiers’ et ‘headers’ remplies

Ce n’est toujours qu’en local donc ça ne vous apporte rien de le savoir mais je le dis quand même.

J’ai sélectionné les groupes qui seront présents sur le moteur binaires. Il s’agira dans un premier temps des 27 newsgroups suivants :

alt.binaries.boneless
alt.binaries.cartoons.french
alt.binaries.cartoons.french.animes-fansub
alt.binaries.cartoons.french.reposts
alt.binaries.cd.image.french
alt.binaries.documentaries.french
alt.binaries.ebook.french
alt.binaries.echange-web
alt.binaries.erotica
alt.binaries.erotica.divx
alt.binaries.french-tv
alt.binaries.gougouland
alt.binaries.ijsklontje
alt.binaries.movies.divx
alt.binaries.movies.divx.france
alt.binaries.movies.divx.french
alt.binaries.movies.divx.french.old
alt.binaries.movies.divx.french.vost
alt.binaries.movies.french.xxx
alt.binaries.multimedia
alt.binaries.series.tv.divx.french
alt.binaries.series.tv.divx.french.reposts
alt.binaries.sounds.mp3
alt.binaries.sounds.mp3.complete_cd
alt.binaries.superman
alt.binaries.tv
alt.binaries.warez.quebec-hackers

Ca me semble bien suffisant pour un moteur binaires francophone en lancement.

Pour chacun de ces groupes(sauf a.b.boneless qui est le plus gros) j’ai dès à présent téléchargés les headers (rétention de 80 à 100jours environ) et j’ai rempli la base de données avec une partie de ses données (tables ‘fichiers’ et ‘headers’).

Les problèmes, à ce stade, sont essentiellement liés aux performances car une base de données aussi grosse devra vraiment être super optimisée avant d’être mis sur un serveur en production.

Je devrais également améliorer ma gestion des updates car ça met beaucoup trop de temps. A tel point que dans un premier temps, je pense mettre à jour les headers qu’une seule fois par semaine. Ce n’est évidemment pas ainsi que je ferais de l’ombre à binsearch et à newzleech qui, eux, sont mis à jour quasiment en temps réel.

Il y a également d’autres choses (très) importantes qu’il me reste à faire. Mais j’en parlerais un autre jour en espérant que d’ici là la construction de binaires.com aura avancé un peu.

Je me lance enfin !

Après avoir repoussé ce projet pendant des mois, je me décide enfin à créer mon propre moteur de recherche pour newsgroups binaires.

Je renvoie ceux qui ignorent de quoi il s’agit vers Google (cherchez “newsgroups binaires”, “usenet”, “nzb”, “grab it”). Plus concrètement, étant donné que Binaires.com ne sera pas le premier site du genre, vous pouvez également jeter un coup d’oeil à www.binsearch.info, www.newzleech.com et www.iliatou.com. Binaires.com proposera les même services que ces sites-là.

Comme vous pouvez le voir, la minable petite page “en construction” a laissé la place à ce blog dans lequel j’essayerais de vous tenir régulièrement informés de l’évolution du projet. Binaires.com a déjà son logo, son favicon et une ébauche d’identité graphique en vert, jaune et noir.

Le reste commence à se mettre en place, mais uniquement en local sur mon ordinateur perso pour l’instant. C’est encore de l’ordre du bidouillage mais tout fonctionne déjà : listing des groupes, listing du contenu d’un groupe, génération de nzb pour les fichiers listés, téléchargement, recherche par mots-clés.

Il va me falloir maintenant optimiser tout ça pour ne pas que le serveur explose au bout de quelques heures. Je ne peux donc pas encore donner une date pour le lancement officiel de binaires.com.

Je vous tiens au courant. Restez à l’écoute.