11 meneos
110 clics
DwarFS, un sistema de archivos diseñado para reducir los datos redundantes
Marcus Holland-Moritz (un inginerio de software de Facebook) dio a conocer mediante una publicacion las primeras versiones de DwarFS, un sistema de archivos de solo lectura diseñado para maximizar la compresión y reducir los datos redundantes. Este sistema de archivos usa el mecanismo FUSE y se ejecuta en el espacio del usuario, el código está escrito en C++ y se distribuye bajo la licencia GPLv3. DwarFS se asemeja a los sistemas de archivos como SquashFS, cramfs y CromFS en sus tareas , y se puede usar para crear imágenes en vivo y reducir el tamaño de archivos con una gran cantidad de duplicados y datos duplicados (por ejemplo, almacenamiento de imágenes de máquinas virtuales).
|
comentarios cerrados
Esto es de hace mas de una década.
Hay utilidades no para guardar, sino para descargar lo minimo necesario y no descargar lo que ya tienes. Por ejemplo, jigdo que me parece buen concepto, pero no ha triunfado.
Tambien hay el Zsinc, que es como un rsync sobre http:/
en.wikipedia.org/wiki/Jigdo
zsync.moria.org.uk/
Hace tiempo lei sobre archivadores especializados en bloques grandes. No recuerdo el o los nombres. Por ejemplo, reconocia un fichero entero y si encontraba otro igual no lo duplicaba. Los zip normales utilizan bloques mas pequeños.
No se hasta que punto hay similitudes y diferencias entre archivadores y sistemas de ficheros. Un archivador que necesita leer todo el fichero como el ARJ, no valdria como sistema de ficheros.
El problemas de los archivadores de bloque grandes es que necesita mucho proceso para encontrar lo fragmentos repetidos. Tal vez seria una ayuda separar la deteccion de firmas de la compresion. Si es una imagen de disco, sabria encontrar los inicios de archivo que son el punto de partida de datos posiblemente iguales.
Para generar los archivos jigdo que necesitaban mucho proceso, habia una alternativa que generaba la ISO de CD/DVD y los jigdo y templates, a la vez y es mucho mas rapido. Tal vez se podria apreder de esa tecnica.
www.einval.com/~steve/software/JTE/