Re: [ssfr] Un grand classique : les doublons

[Yves Rutschle <ssfr@xxxxxxxxxxxx>]

On Thu, Nov 26, 2009 at 08:31:12AM +0100, steve wrote:
> J'ai 1.5 To de données à traiter.

<disclaimer>
Ça va prendre du temps :-)

> J'aimerai trouver tous les n-plons, déplacer les (n-1)-plons dans un
> nouveau répertoire 'duplicates' en gardant la même arborescence que
> l'original (important ça). J'aimerai donc avoir à la fin
> 
> - répertoire original nettoyé
> - répertoire duplicates contenant les (n-1)-plons
> 
> 
> Pour cela il va falloir :
> 
> ° une méthode pour trouver les n-plons (md5, date, taille, .. ?)
> ° une méthode pour choisir quels fichiers déplacer

Pour trouver, c'est facile:

find / ­type f -print0 | xargs -0 md5sum > all_files.md5
sort all_files.md5 | uniq -d > duplicates

Pour choisir, je vois pas de solution simple, il faut
commencer par décider ce que tu veux faire.

Y.