dep.go

   1 /*
   2 goredo -- djb's redo implementation on pure Go
   3 Copyright (C) 2020-2023 Sergey Matveev <stargrave@stargrave.org>
   4
   5 This program is free software: you can redistribute it and/or modify
   6 it under the terms of the GNU General Public License as published by
   7 the Free Software Foundation, version 3 of the License.
   8
   9 This program is distributed in the hope that it will be useful,
  10 but WITHOUT ANY WARRANTY; without even the implied warranty of
  11 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12 GNU General Public License for more details.
  13
  14 You should have received a copy of the GNU General Public License
  15 along with this program.  If not, see <http://www.gnu.org/licenses/>.
  16 */
  17
  18 // Dependencies saver
  19
  20 package main
  21
  22 import (
  23         "bufio"
  24         "bytes"
  25         "encoding/hex"
  26         "errors"
  27         "io"
  28         "log"
  29         "os"
  30         "path"
  31
  32         "go.cypherpunks.ru/recfile"
  33         "lukechampine.com/blake3"
  34 )
  35
  36 var (
  37         DirPrefix string
  38         DepCwd    string
  39
  40         ErrBadRecFormat = errors.New("invalid format of .rec")
  41 )
  42
  43 func recfileWrite(fdDep io.StringWriter, fields ...recfile.Field) error {
  44         w := recfile.NewWriter(fdDep)
  45         if _, err := w.RecordStart(); err != nil {
  46                 return err
  47         }
  48         if _, err := w.WriteFields(fields...); err != nil {
  49                 return err
  50         }
  51         return nil
  52 }
  53
  54 func ifcreate(fdDep *os.File, tgt string) error {
  55         tracef(CDebug, "ifcreate: %s <- %s", fdDep.Name(), tgt)
  56         return recfileWrite(
  57                 fdDep,
  58                 recfile.Field{Name: "Type", Value: DepTypeIfcreate},
  59                 recfile.Field{Name: "Target", Value: tgt},
  60         )
  61 }
  62
  63 func always(fdDep *os.File) error {
  64         tracef(CDebug, "always: %s", fdDep.Name())
  65         return recfileWrite(fdDep, recfile.Field{Name: "Type", Value: DepTypeAlways})
  66 }
  67
  68 func stamp(fdDep, src *os.File) error {
  69         hsh, err := fileHash(src)
  70         if err != nil {
  71                 return err
  72         }
  73         tracef(CDebug, "stamp: %s <- %s", fdDep.Name(), hex.EncodeToString(hsh))
  74         return recfileWrite(
  75                 fdDep,
  76                 recfile.Field{Name: "Type", Value: DepTypeStamp},
  77                 recfile.Field{Name: "Hash", Value: hex.EncodeToString(hsh)},
  78         )
  79 }
  80
  81 func fileHash(fd *os.File) ([]byte, error) {
  82         h := blake3.New(32, nil)
  83         if _, err := io.Copy(h, bufio.NewReader(fd)); err != nil {
  84                 return nil, err
  85         }
  86         return h.Sum(nil), nil
  87 }
  88
  89 func depWrite(fdDep *os.File, cwd, tgt string, hsh []byte) error {
  90         tracef(CDebug, "ifchange: %s <- %s", fdDep.Name(), tgt)
  91         fd, err := os.Open(path.Join(cwd, tgt))
  92         if err != nil {
  93                 return ErrLine(err)
  94         }
  95         defer fd.Close()
  96         inode, isDir, err := inodeFromFileByFd(fd)
  97         if err != nil {
  98                 return ErrLine(err)
  99         }
 100         if isDir {
 101                 return nil
 102         }
 103         if hsh == nil {
 104                 hsh, err = fileHash(fd)
 105                 if err != nil {
 106                         return ErrLine(err)
 107                 }
 108         }
 109         fields := []recfile.Field{
 110                 {Name: "Type", Value: DepTypeIfchange},
 111                 {Name: "Target", Value: tgt},
 112                 {Name: "Hash", Value: hex.EncodeToString(hsh)},
 113         }
 114         fields = append(fields, inode.RecfileFields()...)
 115         return recfileWrite(fdDep, fields...)
 116 }
 117
 118 func depsWrite(fdDep *os.File, tgts []string) error {
 119         if fdDep == nil {
 120                 tracef(CDebug, "no opened fdDep: %s", tgts)
 121                 return nil
 122         }
 123         var err error
 124         for _, tgt := range tgts {
 125                 tgtAbs := mustAbs(tgt)
 126                 cwd := Cwd
 127                 if DepCwd != "" && Cwd != DepCwd {
 128                         cwd = DepCwd
 129                 }
 130                 tgtDir := path.Join(cwd, DirPrefix)
 131                 tgtRel := mustRel(tgtDir, tgtAbs)
 132                 if _, errStat := os.Stat(tgt); errStat == nil {
 133                         err = ErrLine(depWrite(fdDep, tgtDir, tgtRel, nil))
 134                 } else {
 135                         tracef(CDebug, "ifchange: %s <- %s (non-existing)", fdDep.Name(), tgtRel)
 136                         fields := []recfile.Field{
 137                                 {Name: "Type", Value: DepTypeIfchange},
 138                                 {Name: "Target", Value: tgtRel},
 139                         }
 140                         inodeDummy := Inode{}
 141                         fields = append(fields, inodeDummy.RecfileFields()...)
 142                         err = ErrLine(recfileWrite(fdDep, fields...))
 143                 }
 144                 if err != nil {
 145                         return err
 146                 }
 147         }
 148         return nil
 149 }
 150
 151 type DepInfoIfchange struct {
 152         tgt   string
 153         inode *Inode
 154         hash  []byte
 155 }
 156
 157 type DepInfo struct {
 158         build     string
 159         always    bool
 160         stamp     []byte
 161         ifcreates []string
 162         ifchanges []DepInfoIfchange
 163 }
 164
 165 func mustHexDecode(s string) []byte {
 166         b, err := hex.DecodeString(s)
 167         if err != nil {
 168                 log.Fatal(err)
 169         }
 170         return b
 171 }
 172
 173 var missingBuild = errors.New(".rec missing Build:")
 174
 175 func depRead(pth string) (*DepInfo, error) {
 176         data, err := os.ReadFile(pth)
 177         if err != nil {
 178                 return nil, err
 179         }
 180         r := recfile.NewReader(bytes.NewReader(data))
 181         m, err := r.NextMap()
 182         if err != nil {
 183                 return nil, err
 184         }
 185         depInfo := DepInfo{}
 186         b := m["Build"]
 187         if b == "" {
 188                 return nil, missingBuild
 189         }
 190         depInfo.build = b
 191         for {
 192                 m, err := r.NextMap()
 193                 if err != nil {
 194                         if errors.Is(err, io.EOF) {
 195                                 break
 196                         }
 197                         return nil, err
 198                 }
 199                 switch m["Type"] {
 200                 case DepTypeAlways:
 201                         depInfo.always = true
 202                 case DepTypeIfcreate:
 203                         dep := m["Target"]
 204                         if dep == "" {
 205                                 return nil, ErrBadRecFormat
 206                         }
 207                         depInfo.ifcreates = append(depInfo.ifcreates, dep)
 208                 case DepTypeIfchange:
 209                         dep := m["Target"]
 210                         if dep == "" {
 211                                 return nil, ErrBadRecFormat
 212                         }
 213                         inode, err := inodeFromRec(m)
 214                         if err != nil {
 215                                 log.Print(err)
 216                                 return nil, ErrBadRecFormat
 217                         }
 218                         hsh := mustHexDecode(m["Hash"])
 219                         depInfo.ifchanges = append(depInfo.ifchanges, DepInfoIfchange{
 220                                 tgt: dep, inode: inode, hash: hsh,
 221                         })
 222                 case DepTypeStamp:
 223                         hsh := m["Hash"]
 224                         if hsh == "" {
 225                                 return nil, ErrBadRecFormat
 226                         }
 227                         depInfo.stamp = mustHexDecode(hsh)
 228                 default:
 229                         return nil, ErrBadRecFormat
 230                 }
 231         }
 232         return &depInfo, nil
 233 }
 234
 235 func depReadBuild(pth string) (string, error) {
 236         fd, err := os.Open(pth)
 237         if err != nil {
 238                 return "", err
 239         }
 240         r := recfile.NewReader(fd)
 241         m, err := r.NextMap()
 242         fd.Close()
 243         if err != nil {
 244                 return "", err
 245         }
 246         build := m["Build"]
 247         if build == "" {
 248                 err = missingBuild
 249         }
 250         return build, err
 251 }