dep.go

   1 /*
   2 goredo -- djb's redo implementation on pure Go
   3 Copyright (C) 2020-2023 Sergey Matveev <stargrave@stargrave.org>
   4
   5 This program is free software: you can redistribute it and/or modify
   6 it under the terms of the GNU General Public License as published by
   7 the Free Software Foundation, version 3 of the License.
   8
   9 This program is distributed in the hope that it will be useful,
  10 but WITHOUT ANY WARRANTY; without even the implied warranty of
  11 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12 GNU General Public License for more details.
  13
  14 You should have received a copy of the GNU General Public License
  15 along with this program.  If not, see <http://www.gnu.org/licenses/>.
  16 */
  17
  18 // Dependencies saver
  19
  20 package main
  21
  22 import (
  23         "bufio"
  24         "bytes"
  25         "encoding/hex"
  26         "errors"
  27         "io"
  28         "log"
  29         "os"
  30         "path"
  31
  32         "go.cypherpunks.ru/recfile"
  33         "lukechampine.com/blake3"
  34 )
  35
  36 var (
  37         DirPrefix string
  38         DepCwd    string
  39
  40         ErrBadRecFormat = errors.New("invalid format of .rec")
  41 )
  42
  43 func recfileWrite(fdDep io.StringWriter, fields ...recfile.Field) error {
  44         w := recfile.NewWriter(fdDep)
  45         if _, err := w.RecordStart(); err != nil {
  46                 return err
  47         }
  48         if _, err := w.WriteFields(fields...); err != nil {
  49                 return err
  50         }
  51         return nil
  52 }
  53
  54 func ifcreate(fdDep *os.File, tgt string) error {
  55         tracef(CDebug, "ifcreate: %s <- %s", fdDep.Name(), tgt)
  56         return recfileWrite(
  57                 fdDep,
  58                 recfile.Field{Name: "Type", Value: DepTypeIfcreate},
  59                 recfile.Field{Name: "Target", Value: tgt},
  60         )
  61 }
  62
  63 func always(fdDep *os.File) error {
  64         tracef(CDebug, "always: %s", fdDep.Name())
  65         return recfileWrite(fdDep, recfile.Field{Name: "Type", Value: DepTypeAlways})
  66 }
  67
  68 func stamp(fdDep, src *os.File) error {
  69         hsh, err := fileHash(src)
  70         if err != nil {
  71                 return err
  72         }
  73         tracef(CDebug, "stamp: %s <- %s", fdDep.Name(), hex.EncodeToString(hsh))
  74         return recfileWrite(
  75                 fdDep,
  76                 recfile.Field{Name: "Type", Value: DepTypeStamp},
  77                 recfile.Field{Name: "Hash", Value: hex.EncodeToString(hsh)},
  78         )
  79 }
  80
  81 func fileHash(fd *os.File) ([]byte, error) {
  82         h := blake3.New(32, nil)
  83         if _, err := io.Copy(h, bufio.NewReader(fd)); err != nil {
  84                 return nil, err
  85         }
  86         return h.Sum(nil), nil
  87 }
  88
  89 func depWrite(fdDep *os.File, cwd string, tgt *Tgt, hsh []byte) error {
  90         tracef(CDebug, "ifchange: %s <- %s", fdDep.Name(), tgt)
  91         fd, err := os.Open(tgt.a)
  92         if err != nil {
  93                 return ErrLine(err)
  94         }
  95         defer fd.Close()
  96         inode, isDir, err := inodeFromFileByFd(fd)
  97         if err != nil {
  98                 return ErrLine(err)
  99         }
 100         if isDir {
 101                 return nil
 102         }
 103         if hsh == nil {
 104                 hsh, err = fileHash(fd)
 105                 if err != nil {
 106                         return ErrLine(err)
 107                 }
 108         }
 109         fields := []recfile.Field{
 110                 {Name: "Type", Value: DepTypeIfchange},
 111                 {Name: "Target", Value: tgt.RelTo(cwd)},
 112                 {Name: "Hash", Value: hex.EncodeToString(hsh)},
 113         }
 114         fields = append(fields, inode.RecfileFields()...)
 115         return recfileWrite(fdDep, fields...)
 116 }
 117
 118 func depsWrite(fdDep *os.File, tgts []*Tgt) error {
 119         if fdDep == nil {
 120                 tracef(CDebug, "no opened fdDep: %s", tgts)
 121                 return nil
 122         }
 123         var err error
 124         var cwd string
 125         for _, tgt := range tgts {
 126                 cwd = Cwd
 127                 if DepCwd != "" && Cwd != DepCwd {
 128                         cwd = DepCwd
 129                 }
 130                 tgtDir := path.Join(cwd, DirPrefix)
 131                 if _, errStat := os.Stat(tgt.a); errStat == nil {
 132                         err = ErrLine(depWrite(fdDep, tgtDir, tgt, nil))
 133                 } else {
 134                         tgtRel := tgt.RelTo(tgtDir)
 135                         tracef(CDebug, "ifchange: %s <- %s (non-existing)", fdDep.Name(), tgtRel)
 136                         fields := []recfile.Field{
 137                                 {Name: "Type", Value: DepTypeIfchange},
 138                                 {Name: "Target", Value: tgtRel},
 139                         }
 140                         inodeDummy := Inode{}
 141                         fields = append(fields, inodeDummy.RecfileFields()...)
 142                         err = ErrLine(recfileWrite(fdDep, fields...))
 143                 }
 144                 if err != nil {
 145                         return err
 146                 }
 147         }
 148         return nil
 149 }
 150
 151 type DepInfoIfchange struct {
 152         tgt   *Tgt
 153         inode *Inode
 154         hash  []byte
 155 }
 156
 157 type DepInfo struct {
 158         build     string
 159         always    bool
 160         stamp     []byte
 161         ifcreates []*Tgt
 162         ifchanges []DepInfoIfchange
 163 }
 164
 165 func mustHexDecode(s string) []byte {
 166         b, err := hex.DecodeString(s)
 167         if err != nil {
 168                 log.Fatal(err)
 169         }
 170         return b
 171 }
 172
 173 var missingBuild = errors.New(".rec missing Build:")
 174
 175 func depRead(tgt *Tgt) (*DepInfo, error) {
 176         data, err := os.ReadFile(tgt.Dep())
 177         if err != nil {
 178                 return nil, err
 179         }
 180         r := recfile.NewReader(bytes.NewReader(data))
 181         m, err := r.NextMap()
 182         if err != nil {
 183                 return nil, err
 184         }
 185         depInfo := DepInfo{}
 186         b := m["Build"]
 187         if b == "" {
 188                 return nil, missingBuild
 189         }
 190         depInfo.build = b
 191         for {
 192                 m, err := r.NextMap()
 193                 if err != nil {
 194                         if errors.Is(err, io.EOF) {
 195                                 break
 196                         }
 197                         return nil, err
 198                 }
 199                 switch m["Type"] {
 200                 case DepTypeAlways:
 201                         depInfo.always = true
 202                 case DepTypeIfcreate:
 203                         dep := m["Target"]
 204                         if dep == "" {
 205                                 return nil, ErrBadRecFormat
 206                         }
 207                         depInfo.ifcreates = append(depInfo.ifcreates,
 208                                 NewTgt(path.Join(tgt.h, dep)))
 209                 case DepTypeIfchange:
 210                         dep := m["Target"]
 211                         if dep == "" {
 212                                 return nil, ErrBadRecFormat
 213                         }
 214                         inode, err := inodeFromRec(m)
 215                         if err != nil {
 216                                 log.Print(err)
 217                                 return nil, ErrBadRecFormat
 218                         }
 219                         hsh := mustHexDecode(m["Hash"])
 220                         depInfo.ifchanges = append(depInfo.ifchanges, DepInfoIfchange{
 221                                 tgt: NewTgt(path.Join(tgt.h, dep)), inode: inode, hash: hsh,
 222                         })
 223                 case DepTypeStamp:
 224                         hsh := m["Hash"]
 225                         if hsh == "" {
 226                                 return nil, ErrBadRecFormat
 227                         }
 228                         depInfo.stamp = mustHexDecode(hsh)
 229                 default:
 230                         return nil, ErrBadRecFormat
 231                 }
 232         }
 233         return &depInfo, nil
 234 }
 235
 236 func depReadOnlyIfchanges(pth string) (ifchanges []string, err error) {
 237         data, err := os.ReadFile(pth)
 238         if err != nil {
 239                 return
 240         }
 241         r := recfile.NewReader(bytes.NewReader(data))
 242         var m map[string]string
 243         for {
 244                 m, err = r.NextMap()
 245                 if err != nil {
 246                         if errors.Is(err, io.EOF) {
 247                                 err = nil
 248                                 break
 249                         }
 250                         return
 251                 }
 252                 if m["Type"] == DepTypeIfchange {
 253                         ifchanges = append(ifchanges, m["Target"])
 254                 }
 255         }
 256         return
 257 }
 258
 259 func depReadBuild(pth string) (string, error) {
 260         fd, err := os.Open(pth)
 261         if err != nil {
 262                 return "", err
 263         }
 264         r := recfile.NewReader(fd)
 265         m, err := r.NextMap()
 266         fd.Close()
 267         if err != nil {
 268                 return "", err
 269         }
 270         build := m["Build"]
 271         if build == "" {
 272                 err = missingBuild
 273         }
 274         return build, err
 275 }