contrib/pyshop2packages.sh

   1 #!/bin/sh -e
   2 # WARNING: it may fail if ~/.sqliterc exists!
   3 # Convert Pyshop working directory to GoCheese friendly one.
   4 # Script expects to be run in packages repository (a/, b/, ...)
   5 # with pyshop.db database file. It will create packages/ directory
   6 # with all Pyshop-downloaded/uploaded files, SHA256 checksums,
   7 # private package marks. Also it will call GoCheese's /simple/ API
   8 # for forcing metainformation update (necessary for storing SHA256
   9 # checksums missing in Pyshop).
  10
  11 pkgname() {
  12     perl -ne "s/[-_.]+/-/g ; print lc"
  13 }
  14
  15 ########################################################################
  16 # Copy all already existing files
  17 ########################################################################
  18 ctr=0
  19 echo "
  20 SELECT package.name, release_file.filename
  21 FROM release_file
  22 JOIN release ON release.id = release_file.release_id
  23 JOIN package ON release.package_id = package.id
  24 ORDER BY package.name
  25 " | sqlite3 -separator "        " pyshop.db | while read pkginfo ; do
  26     ctr=$(( $ctr + 1 ))
  27     [ $(( $ctr % 100 )) -ne 0 ] || echo $ctr $pkginfo
  28     pkg=$(echo "$pkginfo" | cut -f1 | pkgname)
  29     filename=$(echo "$pkginfo" | cut -f2)
  30     [ -n "$pkg" ]
  31     [ -n "$filename" ]
  32     src=$(echo $pkg | cut -c1)/$filename
  33     dst=packages/$pkg/$filename
  34     [ -r $src ] || continue
  35     [ -r $dst ] && continue || :
  36     mkdir -p packages/$pkg
  37     ln $src $dst
  38 done
  39
  40 ########################################################################
  41 # Mark all private packages
  42 ########################################################################
  43 for pkg in $(echo "SELECT name FROM package WHERE local = true" | sqlite3 pyshop.db); do
  44     cd packages/$(echo $pkg | pkgname)
  45     for f in * ; do sha256 < $f | xxd -r -p > $f.sha256 ; done
  46     touch .internal
  47     cd ../..
  48 done
  49
  50 ########################################################################
  51 # Force all metainformation update from upstream
  52 ########################################################################
  53 cd packages
  54 for pkg in * ; do
  55     # Assume running:
  56     # GOCHEESE_NO_SYNC=1 gocheese -bind "[::1]:8080" -gpgupdate /gpgupdate/
  57     curl http://localhost:8080/gpgupdate/$pkg/ > /dev/null
  58 done
  59
  60 ########################################################################
  61 # Assure ckecksums are good
  62 ########################################################################
  63 gocheese -fsck