ood.go

   1 /*
   2 goredo -- redo implementation on pure Go
   3 Copyright (C) 2020 Sergey Matveev <stargrave@stargrave.org>
   4
   5 This program is free software: you can redistribute it and/or modify
   6 it under the terms of the GNU General Public License as published by
   7 the Free Software Foundation, version 3 of the License.
   8
   9 This program is distributed in the hope that it will be useful,
  10 but WITHOUT ANY WARRANTY; without even the implied warranty of
  11 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12 GNU General Public License for more details.
  13
  14 You should have received a copy of the GNU General Public License
  15 along with this program.  If not, see <http://www.gnu.org/licenses/>.
  16 */
  17
  18 // Out-of-date determination
  19
  20 package main
  21
  22 import (
  23         "errors"
  24         "fmt"
  25         "io"
  26         "os"
  27         "path"
  28         "path/filepath"
  29         "strings"
  30
  31         "go.cypherpunks.ru/recfile"
  32 )
  33
  34 const (
  35         DepTypeIfcreate = "ifcreate"
  36         DepTypeIfchange = "ifchange"
  37         DepTypeAlways   = "always"
  38         DepTypeStamp    = "stamp"
  39 )
  40
  41 type TgtErr struct {
  42         Tgt string
  43         Err error
  44 }
  45
  46 func (e TgtErr) Unwrap() error { return e.Err }
  47
  48 func (e TgtErr) Error() string {
  49         return fmt.Sprintf("%s: %s", e.Tgt, e.Err)
  50 }
  51
  52 func cwdMustRel(paths ...string) string {
  53         rel, err := filepath.Rel(Cwd, path.Join(paths...))
  54         if err != nil {
  55                 panic(err)
  56         }
  57         return rel
  58 }
  59
  60 func cwdAndTgt(tgt string) (string, string) {
  61         cwd, tgt := path.Split(tgt)
  62         cwd, err := filepath.Abs(cwd)
  63         if err != nil {
  64                 panic(err)
  65         }
  66         return cwd, tgt
  67 }
  68
  69 func isSrc(cwd, tgt string) bool {
  70         d, f := path.Split(path.Join(cwd, tgt))
  71         if _, err := os.Stat(path.Join(d, f)); err != nil {
  72                 return false
  73         }
  74         if _, err := os.Stat(path.Join(d, RedoDir, f+DepSuffix)); err == nil {
  75                 return false
  76         }
  77         return true
  78 }
  79
  80 type DepInfo struct {
  81         build     string
  82         always    bool
  83         stamp     string
  84         stampSame bool
  85         ifcreates []string
  86         ifchanges []map[string]string
  87 }
  88
  89 func depRead(fdDep *os.File) (*DepInfo, error) {
  90         r := recfile.NewReader(fdDep)
  91         m, err := r.NextMap()
  92         if err != nil {
  93                 return nil, err
  94         }
  95         depInfo := DepInfo{}
  96         if b := m["Build"]; b == "" {
  97                 return nil, errors.New(".dep missing Build:")
  98         } else {
  99                 depInfo.build = b
 100         }
 101         for {
 102                 m, err := r.NextMap()
 103                 if err != nil {
 104                         if err == io.EOF {
 105                                 break
 106                         }
 107                         return nil, err
 108                 }
 109                 switch m["Type"] {
 110                 case DepTypeAlways:
 111                         depInfo.always = true
 112                 case DepTypeIfcreate:
 113                         dep := m["Target"]
 114                         if dep == "" {
 115                                 return nil, errors.New("invalid format of .dep")
 116                         }
 117                         depInfo.ifcreates = append(depInfo.ifcreates, dep)
 118                 case DepTypeIfchange:
 119                         delete(m, "Type")
 120                         depInfo.ifchanges = append(depInfo.ifchanges, m)
 121                 case DepTypeStamp:
 122                         hsh := m["Hash"]
 123                         if hsh == "" {
 124                                 return nil, errors.New("invalid format of .dep")
 125                         }
 126                         depInfo.stamp = hsh
 127                         depInfo.stampSame = m["Same"] == "true"
 128                 default:
 129                         return nil, errors.New("invalid format of .dep")
 130                 }
 131         }
 132         return &depInfo, nil
 133 }
 134
 135 func rebuildStamped(cwd, tgt, depPath, stampPrev string) (bool, error) {
 136         relTgt := cwdMustRel(cwd, tgt)
 137         errs := make(chan error, 1)
 138         if err := runScript(relTgt, errs, stampPrev); err != nil {
 139                 return false, err
 140         }
 141         if err := <-errs; !isOkRun(err) {
 142                 return false, errors.New("build failed")
 143         }
 144         fdDep, err := os.Open(depPath)
 145         if err != nil {
 146                 return false, err
 147         }
 148         defer fdDep.Close()
 149         depInfo, err := depRead(fdDep)
 150         if err != nil {
 151                 return false, err
 152         }
 153         if depInfo.build != BuildUUID {
 154                 return false, errors.New("is not built")
 155         }
 156         return depInfo.stampSame, nil
 157 }
 158
 159 func formDepPath(cwd, tgt string) string {
 160         cwd, tgt = cwdAndTgt(path.Join(cwd, tgt))
 161         return path.Join(cwd, RedoDir, tgt+DepSuffix)
 162 }
 163
 164 func isOOD(cwd, tgtOrig string, level int, depInfo *DepInfo) (bool, error) {
 165         indent := strings.Repeat(". ", level)
 166         trace(CDebug, "ood: %s%s checking", indent, tgtOrig)
 167         cwd, tgt := cwdAndTgt(path.Join(cwd, tgtOrig))
 168         depPath := formDepPath(cwd, tgt)
 169         if depInfo == nil {
 170                 fdDep, err := os.Open(depPath)
 171                 if err != nil {
 172                         trace(CDebug, "ood: %s%s -> no dep: %s", indent, tgtOrig, depPath)
 173                         return true, nil
 174                 }
 175                 defer fdDep.Close()
 176                 depInfo, err = depRead(fdDep)
 177                 if err != nil {
 178                         return true, TgtErr{tgtOrig, err}
 179                 }
 180         }
 181
 182         if depInfo.build == BuildUUID {
 183                 trace(CDebug, "ood: %s%s -> already built", indent, tgtOrig)
 184                 return false, nil
 185         }
 186         ood := depInfo.always
 187         if ood {
 188                 goto StampCheck
 189         }
 190
 191         for _, dep := range depInfo.ifcreates {
 192                 if _, err := os.Stat(path.Join(cwd, dep)); err == nil {
 193                         trace(CDebug, "ood: %s%s -> %s created", indent, tgtOrig, dep)
 194                         ood = true
 195                         goto StampCheck
 196                 }
 197         }
 198
 199         for _, m := range depInfo.ifchanges {
 200                 dep := m["Target"]
 201                 theirTs := m["Ctime"]
 202                 theirHsh := m["Hash"]
 203                 if dep == "" || theirTs == "" {
 204                         return ood, TgtErr{tgtOrig, errors.New("invalid format of .dep")}
 205                 }
 206                 trace(CDebug, "ood: %s%s -> %s: checking", indent, tgtOrig, dep)
 207
 208                 fd, err := os.Open(path.Join(cwd, dep))
 209                 if err != nil {
 210                         if os.IsNotExist(err) {
 211                                 trace(CDebug, "ood: %s%s -> %s: not exists", indent, tgtOrig, dep)
 212                                 ood = true
 213                                 goto StampCheck
 214                         }
 215                         return ood, TgtErr{tgtOrig, err}
 216                 }
 217                 defer fd.Close()
 218
 219                 var depDepInfo *DepInfo
 220                 if !(dep == tgt || isSrc(cwd, dep)) {
 221                         trace(CDebug, "ood: %s%s -> %s: prereading .dep", indent, tgtOrig, dep)
 222                         depFdDep, err := os.Open(formDepPath(cwd, dep))
 223                         if err != nil {
 224                                 return ood, TgtErr{path.Join(tgtOrig, dep), err}
 225                         }
 226                         defer depFdDep.Close()
 227                         depDepInfo, err = depRead(depFdDep)
 228                         if err != nil {
 229                                 return ood, TgtErr{path.Join(tgtOrig, dep), err}
 230                         }
 231                 }
 232
 233                 if depDepInfo != nil && depDepInfo.build == BuildUUID {
 234                         trace(
 235                                 CDebug, "ood: %s%s -> %s: .dep says build is same",
 236                                 indent, tgtOrig, dep,
 237                         )
 238                         if !depDepInfo.stampSame {
 239                                 trace(
 240                                         CDebug, "ood: %s%s -> %s: .dep says stamp is not same",
 241                                         indent, tgtOrig, dep,
 242                                 )
 243                                 ood = true
 244                                 return ood, nil
 245                         }
 246                         trace(
 247                                 CDebug, "ood: %s%s -> %s: .dep says stamp is same",
 248                                 indent, tgtOrig, dep,
 249                         )
 250                         continue
 251                 }
 252
 253                 if depDepInfo == nil || !depDepInfo.always && depDepInfo.stamp == "" {
 254                         ts, err := fileCtime(fd)
 255                         if err != nil {
 256                                 return ood, TgtErr{tgtOrig, err}
 257                         }
 258                         if theirTs == ts {
 259                                 trace(CDebug, "ood: %s%s -> %s: same ctime", indent, tgtOrig, dep)
 260                         } else if NoHash || theirHsh == "" {
 261                                 trace(CDebug, "ood: %s%s -> %s: ctime differs", indent, tgtOrig, dep)
 262                                 ood = true
 263                                 goto StampCheck
 264                         } else {
 265                                 hsh, err := fileHash(fd)
 266                                 if err != nil {
 267                                         return ood, TgtErr{tgtOrig, err}
 268                                 }
 269                                 if theirHsh != hsh {
 270                                         trace(CDebug, "ood: %s%s -> %s: hash differs", indent, tgtOrig, dep)
 271                                         ood = true
 272                                         goto StampCheck
 273                                 }
 274                                 trace(CDebug, "ood: %s%s -> %s: same hash", indent, tgtOrig, dep)
 275                         }
 276                 }
 277
 278                 if dep == tgt {
 279                         trace(CDebug, "ood: %s%s -> %s: same target", indent, tgtOrig, dep)
 280                         continue
 281                 }
 282                 if isSrc(cwd, dep) {
 283                         trace(CDebug, "ood: %s%s -> %s: is source", indent, tgtOrig, dep)
 284                         continue
 285                 }
 286
 287                 depOod, err := isOOD(cwd, dep, level+1, depDepInfo)
 288                 if err != nil {
 289                         return ood, TgtErr{tgtOrig, err}
 290                 }
 291                 if depOod {
 292                         trace(CDebug, "ood: %s%s -> %s: ood", indent, tgtOrig, dep)
 293                         ood = true
 294                         goto StampCheck
 295                 }
 296                 trace(CDebug, "ood: %s%s -> %s: !ood", indent, tgtOrig, dep)
 297         }
 298
 299 StampCheck:
 300         if ood && depInfo.stamp != "" {
 301                 trace(CDebug, "ood: %s%s run, because stamped", indent, tgtOrig)
 302                 stampSame, err := rebuildStamped(cwd, tgt, depPath, depInfo.stamp)
 303                 if err != nil {
 304                         return true, TgtErr{tgtOrig, err}
 305                 }
 306                 trace(CDebug, "ood: %s%s -> stamp: same: %v", indent, tgtOrig, stampSame)
 307                 ood = !stampSame
 308         }
 309         trace(CDebug, "ood: %s%s: %v", indent, tgtOrig, ood)
 310         return ood, nil
 311 }