]> Cypherpunks.ru repositories - nncp.git/commitdiff
Note about ZFS deduplication for chunked files
authorSergey Matveev <stargrave@stargrave.org>
Fri, 16 Feb 2018 09:43:15 +0000 (12:43 +0300)
committerSergey Matveev <stargrave@stargrave.org>
Fri, 16 Feb 2018 09:43:15 +0000 (12:43 +0300)
doc/chunked.texi
doc/cmds.texi

index 1682cc35ad83a50c576630f621d039fd177fb4d4..4ac50b7a139889e422cce0b9fc68220f2fd73125 100644 (file)
@@ -43,3 +43,13 @@ size and their hash checksums. This is
     variable length array of 32 byte fixed length opaque data @tab
     BLAKE2b-256 checksum of each chunk
 @end multitable
+
+@anchor{ChunkedZFS}
+It is strongly advisable to reassemble incoming chunked files on
+@url{https://en.wikipedia.org/wiki/ZFS, ZFS} dataset with deduplication
+feature enabled. It could be more CPU and memory hungry, but will save
+your disk's IO and free space from pollution (although temporary). But
+pay attention that you chunks must be either equal to, or divisible by
+dataset's @option{recordsize} value for deduplication workability.
+Default ZFS's @option{recordsize} is 128 KiBs, so it is advisable to
+chunk your files on 128, 256, 384, 512, etc KiB blocks.
index 2b1d37f851f0b1c19ac8e97b51d2a044c7d737f3..ce0855a972db3c43334c86f44e7422a0f864de53 100644 (file)
@@ -263,7 +263,8 @@ If @option{-chunked} is specified, then source file will be split
 @ref{Chunked, on chunks}. @option{INT} is the desired chunk size in
 KiBs. This mode is more CPU hungry. Pay attention that chunk is saved in
 spool directory immediately and it is not deleted if any error occurs.
-@option{-minsize} option is applied per each chunk.
+@option{-minsize} option is applied per each chunk. Do not forget about
+@ref{ChunkedZFS, possible} ZFS deduplication issues.
 
 If @ref{CfgNotify, notification} is enabled on the remote side for
 file transmissions, then it will sent simple letter after successful
@@ -402,6 +403,8 @@ Checksums:
     3: 0e9e229501bf0ca42d4aa07393d19406d40b179f3922a3986ef12b41019b45a3
 @end verbatim
 
+ Do not forget about @ref{ChunkedZFS, possible} ZFS deduplication issues.
+
 @node nncp-rm
 @section nncp-rm