]> Cypherpunks.ru repositories - goredo.git/blob - dep.go
Optimise reading of only Build metainformation
[goredo.git] / dep.go
1 /*
2 goredo -- djb's redo implementation on pure Go
3 Copyright (C) 2020-2023 Sergey Matveev <stargrave@stargrave.org>
4
5 This program is free software: you can redistribute it and/or modify
6 it under the terms of the GNU General Public License as published by
7 the Free Software Foundation, version 3 of the License.
8
9 This program is distributed in the hope that it will be useful,
10 but WITHOUT ANY WARRANTY; without even the implied warranty of
11 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12 GNU General Public License for more details.
13
14 You should have received a copy of the GNU General Public License
15 along with this program.  If not, see <http://www.gnu.org/licenses/>.
16 */
17
18 // Dependencies saver
19
20 package main
21
22 import (
23         "bufio"
24         "encoding/hex"
25         "errors"
26         "io"
27         "os"
28         "path"
29
30         "go.cypherpunks.ru/recfile"
31         "lukechampine.com/blake3"
32 )
33
34 var (
35         DirPrefix string
36         DepCwd    string
37
38         ErrBadRecFormat = errors.New("invalid format of .rec")
39 )
40
41 func recfileWrite(fdDep io.StringWriter, fields ...recfile.Field) error {
42         w := recfile.NewWriter(fdDep)
43         if _, err := w.RecordStart(); err != nil {
44                 return err
45         }
46         if _, err := w.WriteFields(fields...); err != nil {
47                 return err
48         }
49         return nil
50 }
51
52 func ifcreate(fdDep *os.File, tgt string) error {
53         tracef(CDebug, "ifcreate: %s <- %s", fdDep.Name(), tgt)
54         return recfileWrite(
55                 fdDep,
56                 recfile.Field{Name: "Type", Value: DepTypeIfcreate},
57                 recfile.Field{Name: "Target", Value: tgt},
58         )
59 }
60
61 func always(fdDep *os.File) error {
62         tracef(CDebug, "always: %s", fdDep.Name())
63         return recfileWrite(fdDep, recfile.Field{Name: "Type", Value: DepTypeAlways})
64 }
65
66 func stamp(fdDep, src *os.File) error {
67         var hsh string
68         hsh, err := fileHash(src)
69         if err != nil {
70                 return err
71         }
72         tracef(CDebug, "stamp: %s <- %s", fdDep.Name(), hsh)
73         return recfileWrite(
74                 fdDep,
75                 recfile.Field{Name: "Type", Value: DepTypeStamp},
76                 recfile.Field{Name: "Hash", Value: hsh},
77         )
78 }
79
80 func fileHash(fd *os.File) (string, error) {
81         h := blake3.New(32, nil)
82         if _, err := io.Copy(h, bufio.NewReader(fd)); err != nil {
83                 return "", err
84         }
85         return hex.EncodeToString(h.Sum(nil)), nil
86 }
87
88 func depWrite(fdDep *os.File, cwd, tgt, hsh string) error {
89         tracef(CDebug, "ifchange: %s <- %s", fdDep.Name(), tgt)
90         fd, err := os.Open(path.Join(cwd, tgt))
91         if err != nil {
92                 return ErrLine(err)
93         }
94         defer fd.Close()
95         inode, isDir, err := inodeFromFileByFd(fd)
96         if err != nil {
97                 return ErrLine(err)
98         }
99         if isDir {
100                 return nil
101         }
102         if hsh == "" {
103                 hsh, err = fileHash(fd)
104                 if err != nil {
105                         return ErrLine(err)
106                 }
107         }
108         fields := []recfile.Field{
109                 {Name: "Type", Value: DepTypeIfchange},
110                 {Name: "Target", Value: tgt},
111                 {Name: "Hash", Value: hsh},
112         }
113         fields = append(fields, inode.RecfileFields()...)
114         return recfileWrite(fdDep, fields...)
115 }
116
117 func depsWrite(fdDep *os.File, tgts []string) error {
118         if fdDep == nil {
119                 tracef(CDebug, "no opened fdDep: %s", tgts)
120                 return nil
121         }
122         var err error
123         for _, tgt := range tgts {
124                 tgtAbs := mustAbs(tgt)
125                 cwd := Cwd
126                 if DepCwd != "" && Cwd != DepCwd {
127                         cwd = DepCwd
128                 }
129                 tgtDir := path.Join(cwd, DirPrefix)
130                 tgtRel := mustRel(tgtDir, tgtAbs)
131                 if _, errStat := os.Stat(tgt); errStat == nil {
132                         err = ErrLine(depWrite(fdDep, tgtDir, tgtRel, ""))
133                 } else {
134                         tracef(CDebug, "ifchange: %s <- %s (non-existing)", fdDep.Name(), tgtRel)
135                         fields := []recfile.Field{
136                                 {Name: "Type", Value: DepTypeIfchange},
137                                 {Name: "Target", Value: tgtRel},
138                         }
139                         inodeDummy := Inode{}
140                         fields = append(fields, inodeDummy.RecfileFields()...)
141                         err = ErrLine(recfileWrite(fdDep, fields...))
142                 }
143                 if err != nil {
144                         return err
145                 }
146         }
147         return nil
148 }
149
150 type DepInfo struct {
151         build     string
152         always    bool
153         stamp     string
154         ifcreates []string
155         ifchanges []map[string]string
156 }
157
158 var missingBuild = errors.New(".rec missing Build:")
159
160 func depRead(fdDep io.Reader) (*DepInfo, error) {
161         r := recfile.NewReader(fdDep)
162         m, err := r.NextMap()
163         if err != nil {
164                 return nil, err
165         }
166         depInfo := DepInfo{}
167         b := m["Build"]
168         if b == "" {
169                 return nil, missingBuild
170         }
171         depInfo.build = b
172         for {
173                 m, err := r.NextMap()
174                 if err != nil {
175                         if errors.Is(err, io.EOF) {
176                                 break
177                         }
178                         return nil, err
179                 }
180                 switch m["Type"] {
181                 case DepTypeAlways:
182                         depInfo.always = true
183                 case DepTypeIfcreate:
184                         dep := m["Target"]
185                         if dep == "" {
186                                 return nil, ErrBadRecFormat
187                         }
188                         depInfo.ifcreates = append(depInfo.ifcreates, dep)
189                 case DepTypeIfchange:
190                         delete(m, "Type")
191                         depInfo.ifchanges = append(depInfo.ifchanges, m)
192                 case DepTypeStamp:
193                         hsh := m["Hash"]
194                         if hsh == "" {
195                                 return nil, ErrBadRecFormat
196                         }
197                         depInfo.stamp = hsh
198                 default:
199                         return nil, ErrBadRecFormat
200                 }
201         }
202         return &depInfo, nil
203 }
204
205 func depReadBuild(pth string) (string, error) {
206         fd, err := os.Open(pth)
207         if err != nil {
208                 return "", err
209         }
210         r := recfile.NewReader(fd)
211         m, err := r.NextMap()
212         fd.Close()
213         if err != nil {
214                 return "", err
215         }
216         build := m["Build"]
217         if build == "" {
218                 err = missingBuild
219         }
220         return build, err
221 }