]> Cypherpunks.ru repositories - nncp.git/blobdiff - doc/news.texi
Remove hdr/ files during ACK tossing
[nncp.git] / doc / news.texi
index 5bcd32c18c89fd1f6acee0b80a750a8b334013be..4ed60a086029d425bc633b44d1fa7b5af30a503f 100644 (file)
@@ -1,9 +1,438 @@
 @node News
+@cindex news
 @unnumbered News
 
 See also this page @ref{Новости, on russian}.
 
-@node Release 6.5.0
+@node Release 8_7_0
+@section Release 8.7.0
+@itemize
+
+@item
+@command{nncp-ack} previously did not remove corresponding @file{hdr/} files.
+
+@end itemize
+
+@node Release 8_6_0
+@section Release 8.6.0
+@itemize
+
+@item
+@command{nncp-xfer} checks if locally copied packet's checksum differs
+from the source's one.
+
+@item
+@command{nncp-call} has bad return code if its queues contain unfinished jobs.
+
+@item
+@command{nncp-ack} command appeared, that sends explicit packet receipt
+acknowledgement (ACK packet). That acknowledgement deletes referenced
+packet from the outbound spool.
+
+@item
+Ability to turn @code{fsync} operation off using @env{$NNCPNOSYNC=1}
+environment variable.
+
+@item
+Added various indices in documentation, that should help searching in it.
+
+@end itemize
+
+@node Release 8_5_0
+@section Release 8.5.0
+@itemize
+
+@item
+Fixed @command{nncp-bundle} workability.
+
+@item
+Mistakenly @option{-mcd-wait} option was enabled by default in
+@command{nncp-call}.
+
+@item
+Ability to override internal default timeout for online protocol through
+@env{$NNCPDEADLINE} environment variable. Can be useful for very high
+delay links.
+
+@item
+NNCP builds on OpenBSD.
+
+@end itemize
+
+@node Release 8_4_0
+@section Release 8.4.0
+@itemize
+
+@item
+Multicast related interface names (@code{mcd-listen} and @code{mcd-send}
+configuration options) are now regular expressions. By default
+@command{nncp-cfgnew} uncomments them now with @code{.*} interface name.
+
+@item
+@command{nncp-call} command has @option{-mcd-wait} option to wait for
+multicast packet about node's address.
+
+@item
+@command{nncp-file} command skips everything that is neither regular
+file nor directory during pax-archive creation.
+
+@end itemize
+
+@node Release 8_3_0
+@section Release 8.3.0
+@itemize
+
+@item
+Fixed building issues on 32-bit systems.
+
+@end itemize
+
+@node Release 8_2_0
+@section Release 8.2.0
+@itemize
+
+@item
+Yggdrasil uses pure-Go IPv6+TCP network stack, instead of naked μTP
+transport protocol, making it able to work as an ordinary TCP server
+inside overlay network.
+
+@item
+Yggdrasil's @code{prv;bind1,bind2;pub@dots{}}-like configuration strings are
+replaced with URL-like ones (@code{yggdrasils://PRV?bind=BIND1&bind=BIND2&pub=PUB}).
+
+@item
+Ability to pass multicast-related parameters to Yggdrasil configuration.
+
+@item
+@command{nncp-daemon} is able to listen on both TCP and Yggdrasil-driven
+sockets simultaneously.
+
+@item
+@command{nncp-daemon}'s listening on peering endpoint socket is optional
+-- you can be reached through the peers.
+
+@end itemize
+
+@node Release 8_1_0
+@section Release 8.1.0
+@itemize
+
+@item
+@command{nncp-cfgdir} does not require @code{self} section existence in
+configuration file.
+
+@item
+Ability to act as Yggdrasil network client, using online protocol on top of it.
+
+@end itemize
+
+@node Release 8_0_2
+@section Release 8.0.2
+@itemize
+
+@item
+Fixed sending ability to areas.
+
+@end itemize
+
+@node Release 8_0_1
+@section Release 8.0.1
+@itemize
+
+@item
+Fixed incorrect @code{freq.chunked} value calculation. If it was missed,
+then chunked transfer mode was forcefully turned on anyway.
+
+@item
+Fixed incorrect full file's size calculation in @file{.nncp.meta}.
+
+@end itemize
+
+@node Release 8_0_0
+@section Release 8.0.0
+@itemize
+
+@item
+@strong{Incompatible} encrypted packet format change: payload and pad
+sizes are sent in-bound in the encrypted stream. That gives ability to
+streamingly create encrypted packets, without knowing sizes in advance,
+without creating temporary file or buffer data in memory.
+
+@item
+Proper encrypted packet padding verification is done now. This is not
+critical issue, but previously neither padding value, nor its size were
+authenticated, giving ability to iteratively strip trailing bytes and
+determine payload's size by observing the reaction of the encrypted
+packet processing.
+
+@item
+@command{nncp-exec} loses its @option{-use-tmp} option, because of
+streaming-compatible encrypted packets format.
+
+@item
+@command{nncp-file} and @command{nncp-exec} commands have
+@option{-maxsize} option, limiting maximal resulting encrypted packet's
+maximal size (returning error if it is exceeded). Could be useful,
+because no payload size could be known in advance.
+
+@end itemize
+
+@node Release 7_7_0
+@section Release 7.7.0
+@itemize
+
+@item
+Experimental @code{kqueue} and @code{inotify} based notifications
+support about spool directory changes, for reducing their often reading
+overhead.
+
+@item
+@file{.seen} and @file{.hdr} files moved to @file{seen/} and @file{hdr/}
+subdirectories, for faster scanning of spool directories.
+Current files migration required:
+
+@example
+$ find $NNCPSPOOL -type f -name "*.hdr" -exec rm @{@} +
+
+$ find $NNCPSPOOL -type d -name rx | while read rx ; do
+    cd $rx
+    mkdir -p seen
+    find . -type f -name "*.seen" | while read fn ; do
+        mv $fn seen/$@{fn%.seen@}
+    done
+done
+
+$ find $NNCPSPOOL -type d -name area | while read area ; do
+    find $area -type f -name "*.seen" | while read fn ; do
+        mv $fn $@{fn%.seen@}
+    done
+done
+@end example
+
+@end itemize
+
+@node Release 7_6_0
+@section Release 7.6.0
+@itemize
+
+@item
+Logging may be done to specified opened file descriptor
+(@env{$NNCPLOG=FD:5} for example).
+That is friendly to use under @command{daemontools}.
+
+@item
+Added additional checks of public keys existence in configuration file,
+preventing some commands from failing.
+
+@end itemize
+
+@node Release 7_5_1
+@section Release 7.5.1
+@itemize
+
+@item
+NNCP builds on NetBSD.
+
+@end itemize
+
+@node Release 7_5_0
+@section Release 7.5.0
+@itemize
+
+@item
+@command{nncp-daemon} is compatible with UCSPI-TCP interface, so log
+will contain remote side's address (when running under appropriate
+utility). @option{-ucspi} option should be used instead of @option{-inetd}.
+
+@item
+@command{nncp-call} can be UCSPI-TCP client, using @option{-ucspi} option.
+
+@item
+Do not exit if some of MCD network interfaces can not be listened --
+only warn about that.
+
+@end itemize
+
+@node Release 7_4_0
+@section Release 7.4.0
+@itemize
+
+@item
+Fixed simultaneous @command{nncp-daemon} and @command{nncp-caller} MCD work.
+
+@end itemize
+
+@node Release 7_3_2
+@section Release 7.3.2
+@itemize
+
+@item
+@command{hjson-cli} utility builds in vendor-mode now.
+
+@end itemize
+
+@node Release 7_3_1
+@section Release 7.3.1
+@itemize
+
+@item
+Fixed possibly left opened file descriptor in online commands.
+
+@item
+Severely decreased memory usage of MTH hashing.
+
+@end itemize
+
+@node Release 7_3_0
+@section Release 7.3.0
+@itemize
+
+@item
+Fixed some workability problems on 32-bit systems with big files.
+
+@item
+Ability to use directory with a bunch of files as a configuration.
+@command{nncp-cfgdir} command appeared.
+
+@end itemize
+
+@node Release 7_2_1
+@section Release 7.2.1
+@itemize
+
+@item
+Small optimizations in online commands.
+
+@end itemize
+
+@node Release 7_2_0
+@section Release 7.2.0
+@itemize
+
+@item
+@command{nncp-trns} command appeared for manual transition packets creation.
+
+@item
+If destination node of transitional packet has non empty @option{via}
+route, then do not ignore, but use it.
+
+@item
+Do not relay multicast packet to area message's originator, that
+obviously has seen its own packet.
+
+@item
+Much less memory usage during MTH hashing when offset is zero: when
+packet is not resumed, but for example checked with @command{nncp-check}
+command.
+
+@end itemize
+
+@node Release 7_1_1
+@section Release 7.1.1
+@itemize
+
+@item
+Fixed failing directories @code{fsync} after @file{.seen} file creation.
+
+@end itemize
+
+@node Release 7_1_0
+@section Release 7.1.0
+@itemize
+
+@item
+Multicasting areas feature appeared. Implemented merely by an additional
+plain packet type with @command{nncp-toss}, @command{nncp-file} and
+@command{nncp-exec} commands modification.
+
+@item
+Fixed workability of @command{nncp-file} and @command{nncp-exec}
+commands, that use temporary file (@code{stdin} and @option{-use-tmp}).
+
+@item
+Fixed disappearing bad return code in @command{nncp-exec} command.
+
+@item
+Fixed invalid @file{.hdr} generation when transitional packets are used.
+
+@item
+@option{-all} option appeared in @command{nncp-rm} command, applying to
+all the nodes at once.
+
+@item
+@option{-cycle} option appeared in @command{nncp-check} command, looping
+the check in infinite cycle.
+
+@item
+@command{nncp-rm} command can take node alias name.
+
+@item
+@command{nncp-pkt} can parse @file{.hdr} files.
+
+@end itemize
+
+@node Release 7_0_0
+@section Release 7.0.0
+@itemize
+
+@item
+Minimal required Go version 1.13.
+
+@item
+Merkle Tree-based Hashing with BLAKE3 (MTH) is used instead of BLAKE2b.
+Because of that, there are backward @strong{incompatible} changes of
+encrypted files (everything laying in the spool directory) and
+@file{.meta} files of chunked transfer.
+
+Current implementation is far from being optimal: it lacks
+parallelizable calculations and has higher memory consumption: nearly
+512 KiB for each 1 GiB of file's data. Future performance and memory
+size optimizations should not lead to packet's format change. But it is
+still several times faster than BLAKE2b.
+
+@item
+Resumed online downloads, because of MTH, require reading only of the
+preceding part of file, not the whole one as was before.
+
+@item
+@command{nncp-hash} utility appeared for calculating file's MTH hash.
+
+@item
+BLAKE2 KDF and XOF functions are replaced with BLAKE3 in encrypted
+packets. Lowering number of used primitives. Also, its encrypted
+packet's header is used as an associated data during encryption.
+
+@item
+MultiCast Discovery uses
+@verb{|ff02::4e4e:4350|} address instead of @verb{|ff02::1|}.
+
+@item
+@command{nncp-cfgenc} mistakenly asked passphrase three times during encryption.
+
+@item
+@command{nncp-stat} reports about partly downloaded packets.
+
+@item
+Updated dependencies.
+
+@end itemize
+
+@node Release 6_6_0
+@section Release 6.6.0
+@itemize
+
+@item
+@command{nncp-daemon}, @command{nncp-call} and @command{nncp-caller}
+commands wait for all background checksummers completion after
+connection is finished.
+
+@item
+Added possibility of address determining through multicast announcement
+in local area network, so called MCD (MultiCast Discovery).
+
+@end itemize
+
+@node Release 6_5_0
 @section Release 6.5.0
 @itemize
 
@@ -13,9 +442,17 @@ Fixed segfault in @command{nncp-daemon} when SP handshake did not succeed.
 @item
 Fixed possible bad return code ignoring in automatic tosser.
 
+@item
+Fixed race during file descriptors closing when online protocol call is
+finished, that could lead to write error of received packet fragment.
+
+@item
+Kill all packet transmission progress bars in @command{nncp-daemon},
+@command{nncp-call} and @command{nncp-caller} when call is finished.
+
 @end itemize
 
-@node Release 6.4.0
+@node Release 6_4_0
 @section Release 6.4.0
 @itemize
 
@@ -24,7 +461,7 @@ Fixed possible race in online protocol, that lead to panic.
 
 @end itemize
 
-@node Release 6.3.0
+@node Release 6_3_0
 @section Release 6.3.0
 @itemize
 
@@ -33,7 +470,7 @@ Fixed possible panic while showing progress during online protocol.
 
 @end itemize
 
-@node Release 6.2.1
+@node Release 6_2_1
 @section Release 6.2.1
 @itemize
 
@@ -42,7 +479,7 @@ Three places in logs contained excess @code{%s}.
 
 @end itemize
 
-@node Release 6.2.0
+@node Release 6_2_0
 @section Release 6.2.0
 @itemize
 
@@ -55,7 +492,7 @@ Should be no visible differences to the end user.
 
 @end itemize
 
-@node Release 6.1.0
+@node Release 6_1_0
 @section Release 6.1.0
 @itemize
 
@@ -84,7 +521,7 @@ listing on filesystems with big block's size.
 
 @end itemize
 
-@node Release 6.0.0
+@node Release 6_0_0
 @section Release 6.0.0
 @itemize
 
@@ -109,7 +546,7 @@ expectations of specified cron expression.
 
 @end itemize
 
-@node Release 5.6.0
+@node Release 5_6_0
 @section Release 5.6.0
 @itemize
 
@@ -125,23 +562,23 @@ second while it is active.
 automatic tosser options.
 
 @item
-Use vendoring, instead of @env{GOPATH} overriding during tarball
+Use vendoring, instead of @env{$GOPATH} overriding during tarball
 installation, because current minimal Go's version is 1.12 and it
 supports modules.
 
 @end itemize
 
-@node Release 5.5.1
+@node Release 5_5_1
 @section Release 5.5.1
 @itemize
 
 @item
-Respect for @env{BINDIR}, @env{INFODIR} and @env{DOCDIR} environment
+Respect for @env{$BINDIR}, @env{$INFODIR} and @env{$DOCDIR} environment
 variables in @file{config} during installation.
 
 @end itemize
 
-@node Release 5.5.0
+@node Release 5_5_0
 @section Release 5.5.0
 @itemize
 
@@ -166,7 +603,7 @@ Updated dependencies. Minimal required Go version is 1.12.
 
 @end itemize
 
-@node Release 5.4.1
+@node Release 5_4_1
 @section Release 5.4.1
 @itemize
 
@@ -175,7 +612,7 @@ Fixed @code{SENDMAIL} variable usage during the build.
 
 @end itemize
 
-@node Release 5.4.0
+@node Release 5_4_0
 @section Release 5.4.0
 @itemize
 
@@ -189,7 +626,7 @@ implementation is included in tarball.
 
 @end itemize
 
-@node Release 5.3.3
+@node Release 5_3_3
 @section Release 5.3.3
 @itemize
 
@@ -201,7 +638,7 @@ Updated dependencies.
 
 @end itemize
 
-@node Release 5.3.2
+@node Release 5_3_2
 @section Release 5.3.2
 @itemize
 
@@ -212,7 +649,7 @@ forcefully disconnect.
 
 @end itemize
 
-@node Release 5.3.1
+@node Release 5_3_1
 @section Release 5.3.1
 @itemize
 
@@ -226,7 +663,7 @@ about each packet in the spool.
 
 @end itemize
 
-@node Release 5.3.0
+@node Release 5_3_0
 @section Release 5.3.0
 @itemize
 
@@ -256,7 +693,7 @@ SP-connection. That allows faster determining of connection unworkability.
 
 @end itemize
 
-@node Release 5.2.1
+@node Release 5_2_1
 @section Release 5.2.1
 @itemize
 
@@ -265,7 +702,7 @@ Fixed SP protocol error handling, sometimes causing program panic.
 
 @end itemize
 
-@node Release 5.2.0
+@node Release 5_2_0
 @section Release 5.2.0
 @itemize
 
@@ -283,7 +720,7 @@ Free disk space check during @command{nncp-bundle -rx} call.
 
 @end itemize
 
-@node Release 5.1.2
+@node Release 5_1_2
 @section Release 5.1.2
 @itemize
 
@@ -297,11 +734,11 @@ Bugfix: private and public Noise keys were swapped in newly created
 configuration files, that lead to inability to authenticate online peers.
 
 @item
-Explicit directories fsync-ing for guaranteed files renaming.
+Explicit directories @code{fsync}-ing for guaranteed files renaming.
 
 @end itemize
 
-@node Release 5.1.1
+@node Release 5_1_1
 @section Release 5.1.1
 @itemize
 
@@ -310,7 +747,7 @@ Fixed workability of @command{nncp-file} with @option{-chunked 0} option.
 
 @end itemize
 
-@node Release 5.1.0
+@node Release 5_1_0
 @section Release 5.1.0
 @itemize
 
@@ -324,7 +761,7 @@ Free disk space is checked during outbound packets creation.
 @item
 @option{freq}, @option{freqminsize}, @option{freqchunked} configuration
 file options replaced with the structure:
-@option{freq: @{path: ..., minsize: ..., chunked: ...@}}.
+@option{freq: @{path: @dots{}, minsize: @dots{}, chunked: @dots{}@}}.
 
 @item
 Added @option{freq.maxsize} configuration file option, forbidding of
@@ -336,7 +773,7 @@ Ability to notify about successfully executed commands (exec) with
 
 @end itemize
 
-@node Release 5.0.0
+@node Release 5_0_0
 @section Release 5.0.0
 @itemize
 
@@ -384,13 +821,13 @@ Forbid any later GNU GPL version autousage
 
 @end itemize
 
-@node Release 4.1
+@node Release 4_1
 @section Release 4.1
 @itemize
 @item Workability on GNU/Linux systems and Go 1.10 is fixed.
 @end itemize
 
-@node Release 4.0
+@node Release 4_0
 @section Release 4.0
 @itemize
 
@@ -426,13 +863,13 @@ Begin using of @code{go.mod} subsystem.
 
 @end itemize
 
-@node Release 3.4
+@node Release 3_4
 @section Release 3.4
 @itemize
 @item @command{nncp-daemon} can be run as @command{inetd}-service.
 @end itemize
 
-@node Release 3.3
+@node Release 3_3
 @section Release 3.3
 @itemize
 
@@ -462,7 +899,7 @@ for @command{nncp-file} from 196 to 224.
 
 @end itemize
 
-@node Release 3.2
+@node Release 3_2
 @section Release 3.2
 @itemize
 @item
@@ -474,14 +911,14 @@ inside. NNCP accidentally was dependant on that bug. Explicit adding of
 archives.
 @end itemize
 
-@node Release 3.1
+@node Release 3_1
 @section Release 3.1
 @itemize
 @item
 Ability to disable relaying at all using @verb{|-via -|} command line option.
 @end itemize
 
-@node Release 3.0
+@node Release 3_0
 @section Release 3.0
 @itemize
 
@@ -499,8 +936,8 @@ option in configuration file and using @command{nncp-exec} command:
     you must use @verb{|nncp-exec NODE sendmail RECIPIENT|}.
     @item
     @option{sendmail} configuration file option is replaced with
-    @option{exec}. @verb{|sendmail: [...]|} must be replaced with
-    @verb{|exec: sendmail: [...]|}.
+    @option{exec}. @code{sendmail: [@dots{}]} must be replaced with
+    @code{exec: sendmail: [@dots{}]}.
     @end itemize
 
 @item
@@ -513,8 +950,8 @@ Chunked files, having size less than specified chunk size, will be sent
 as an ordinary single file.
 
 @item
-Exec commands are invoked with additional @env{NNCP_NICE} and
-@env{NNCP_SELF} environment variables.
+Exec commands are invoked with additional @env{$NNCP_NICE} and
+@env{$NNCP_SELF} environment variables.
 
 @item
 Files, that are sent as a reply to freq, have niceness level taken from
@@ -534,7 +971,7 @@ off by specifying zero value.
 
 @end itemize
 
-@node Release 2.0
+@node Release 2_0
 @section Release 2.0
 @itemize
 
@@ -553,7 +990,7 @@ identical to BLAKE2).
 
 @end itemize
 
-@node Release 1.0
+@node Release 1_0
 @section Release 1.0
 @itemize
 
@@ -587,19 +1024,19 @@ command line argument, or environment variable.
 
 @end itemize
 
-@node Release 0.12
+@node Release 0_12
 @section Release 0.12
 @itemize
-@item Sendmail command is called with @env{NNCP_SENDER} environment variable.
+@item Sendmail command is called with @env{$NNCP_SENDER} environment variable.
 @end itemize
 
-@node Release 0.11
+@node Release 0_11
 @section Release 0.11
 @itemize
 @item @command{nncp-stat}'s command output is sorted by node name.
 @end itemize
 
-@node Release 0.10
+@node Release 0_10
 @section Release 0.10
 @itemize
 @item
@@ -607,7 +1044,7 @@ command line argument, or environment variable.
 @file{SRC} path's element will be used by default.
 @end itemize
 
-@node Release 0.9
+@node Release 0_9
 @section Release 0.9
 @itemize
 @item
@@ -615,7 +1052,7 @@ Fix @option{-rx}/@option{-tx} arguments processing in
 @command{nncp-call} command. They were ignored.
 @end itemize
 
-@node Release 0.8
+@node Release 0_8
 @section Release 0.8
 @itemize
 @item
@@ -623,7 +1060,7 @@ Little bugfix in @command{nncp-file} command, where @option{-minsize}
 option for unchunked transfer was not in KiBs, but in bytes.
 @end itemize
 
-@node Release 0.7
+@node Release 0_7
 @section Release 0.7
 @itemize
 
@@ -663,14 +1100,14 @@ Cryptographic libraries (dependencies) are updated.
 
 @end itemize
 
-@node Release 0.6
+@node Release 0_6
 @section Release 0.6
 @itemize
 @item Small @command{nncp-rm} command appeared.
 @item Cryptographic libraries (dependencies) are updated.
 @end itemize
 
-@node Release 0.5
+@node Release 0_5
 @section Release 0.5
 @itemize
 @item
@@ -678,7 +1115,7 @@ Trivial small fix in default niceness level of @command{nncp-file}
 and @command{nncp-freq} commands.
 @end itemize
 
-@node Release 0.4
+@node Release 0_4
 @section Release 0.4
 @itemize
 
@@ -698,13 +1135,13 @@ is useful during @command{nncp-xfer} usage.
 
 @end itemize
 
-@node Release 0.3
+@node Release 0_3
 @section Release 0.3
 @itemize
 @item Fixed compatibility with Go 1.6.
 @end itemize
 
-@node Release 0.2
+@node Release 0_2
 @section Release 0.2
 @itemize