doc/warcer.sh

   1 #!/bin/sh -ex
   2
   3 name="$1"-$(date '+%Y%M%d%H%m%S')
   4 read cmdline
   5
   6 tmp=$(mktemp -d)
   7 cd $tmp
   8 wget \
   9     --page-requisites \
  10     --convert-links \
  11     --adjust-extension \
  12     --restrict-file-names=ascii \
  13     --span-hosts \
  14     --random-wait \
  15     --execute robots=off \
  16     --reject '*.woff*,*.ttf,*.eot,*.js' \
  17     --tries 10 \
  18     --warc-file "$name" \
  19     --no-warc-compression \
  20     --no-warc-keep-log \
  21     $cmdline || :
  22 zstd --rm "$name".warc
  23 nncp-file -nice $NNCP_NICE "$name".warc.zst $NNCP_SENDER:
  24 rm -r $tmp