]> Cypherpunks.ru repositories - gostls13.git/blob - src/go/types/resolver.go
[dev.typeparams] merge: merge branch 'dev.regabi' into 'dev.typeparams'
[gostls13.git] / src / go / types / resolver.go
1 // Copyright 2013 The Go Authors. All rights reserved.
2 // Use of this source code is governed by a BSD-style
3 // license that can be found in the LICENSE file.
4
5 package types
6
7 import (
8         "fmt"
9         "go/ast"
10         "go/constant"
11         "go/token"
12         "sort"
13         "strconv"
14         "strings"
15         "unicode"
16 )
17
18 // A declInfo describes a package-level const, type, var, or func declaration.
19 type declInfo struct {
20         file      *Scope        // scope of file containing this declaration
21         lhs       []*Var        // lhs of n:1 variable declarations, or nil
22         typ       ast.Expr      // type, or nil
23         init      ast.Expr      // init/orig expression, or nil
24         inherited bool          // if set, the init expression is inherited from a previous constant declaration
25         fdecl     *ast.FuncDecl // func declaration, or nil
26         alias     bool          // type alias declaration
27
28         // The deps field tracks initialization expression dependencies.
29         deps map[Object]bool // lazily initialized
30 }
31
32 // hasInitializer reports whether the declared object has an initialization
33 // expression or function body.
34 func (d *declInfo) hasInitializer() bool {
35         return d.init != nil || d.fdecl != nil && d.fdecl.Body != nil
36 }
37
38 // addDep adds obj to the set of objects d's init expression depends on.
39 func (d *declInfo) addDep(obj Object) {
40         m := d.deps
41         if m == nil {
42                 m = make(map[Object]bool)
43                 d.deps = m
44         }
45         m[obj] = true
46 }
47
48 // arityMatch checks that the lhs and rhs of a const or var decl
49 // have the appropriate number of names and init exprs. For const
50 // decls, init is the value spec providing the init exprs; for
51 // var decls, init is nil (the init exprs are in s in this case).
52 func (check *Checker) arityMatch(s, init *ast.ValueSpec) {
53         l := len(s.Names)
54         r := len(s.Values)
55         if init != nil {
56                 r = len(init.Values)
57         }
58
59         const code = _WrongAssignCount
60         switch {
61         case init == nil && r == 0:
62                 // var decl w/o init expr
63                 if s.Type == nil {
64                         check.errorf(s, code, "missing type or init expr")
65                 }
66         case l < r:
67                 if l < len(s.Values) {
68                         // init exprs from s
69                         n := s.Values[l]
70                         check.errorf(n, code, "extra init expr %s", n)
71                         // TODO(gri) avoid declared but not used error here
72                 } else {
73                         // init exprs "inherited"
74                         check.errorf(s, code, "extra init expr at %s", check.fset.Position(init.Pos()))
75                         // TODO(gri) avoid declared but not used error here
76                 }
77         case l > r && (init != nil || r != 1):
78                 n := s.Names[r]
79                 check.errorf(n, code, "missing init expr for %s", n)
80         }
81 }
82
83 func validatedImportPath(path string) (string, error) {
84         s, err := strconv.Unquote(path)
85         if err != nil {
86                 return "", err
87         }
88         if s == "" {
89                 return "", fmt.Errorf("empty string")
90         }
91         const illegalChars = `!"#$%&'()*,:;<=>?[\]^{|}` + "`\uFFFD"
92         for _, r := range s {
93                 if !unicode.IsGraphic(r) || unicode.IsSpace(r) || strings.ContainsRune(illegalChars, r) {
94                         return s, fmt.Errorf("invalid character %#U", r)
95                 }
96         }
97         return s, nil
98 }
99
100 // declarePkgObj declares obj in the package scope, records its ident -> obj mapping,
101 // and updates check.objMap. The object must not be a function or method.
102 func (check *Checker) declarePkgObj(ident *ast.Ident, obj Object, d *declInfo) {
103         assert(ident.Name == obj.Name())
104
105         // spec: "A package-scope or file-scope identifier with name init
106         // may only be declared to be a function with this (func()) signature."
107         if ident.Name == "init" {
108                 check.errorf(ident, _InvalidInitDecl, "cannot declare init - must be func")
109                 return
110         }
111
112         // spec: "The main package must have package name main and declare
113         // a function main that takes no arguments and returns no value."
114         if ident.Name == "main" && check.pkg.name == "main" {
115                 check.errorf(ident, _InvalidMainDecl, "cannot declare main - must be func")
116                 return
117         }
118
119         check.declare(check.pkg.scope, ident, obj, token.NoPos)
120         check.objMap[obj] = d
121         obj.setOrder(uint32(len(check.objMap)))
122 }
123
124 // filename returns a filename suitable for debugging output.
125 func (check *Checker) filename(fileNo int) string {
126         file := check.files[fileNo]
127         if pos := file.Pos(); pos.IsValid() {
128                 return check.fset.File(pos).Name()
129         }
130         return fmt.Sprintf("file[%d]", fileNo)
131 }
132
133 func (check *Checker) importPackage(pos token.Pos, path, dir string) *Package {
134         // If we already have a package for the given (path, dir)
135         // pair, use it instead of doing a full import.
136         // Checker.impMap only caches packages that are marked Complete
137         // or fake (dummy packages for failed imports). Incomplete but
138         // non-fake packages do require an import to complete them.
139         key := importKey{path, dir}
140         imp := check.impMap[key]
141         if imp != nil {
142                 return imp
143         }
144
145         // no package yet => import it
146         if path == "C" && (check.conf.FakeImportC || check.conf.go115UsesCgo) {
147                 imp = NewPackage("C", "C")
148                 imp.fake = true // package scope is not populated
149                 imp.cgo = check.conf.go115UsesCgo
150         } else {
151                 // ordinary import
152                 var err error
153                 if importer := check.conf.Importer; importer == nil {
154                         err = fmt.Errorf("Config.Importer not installed")
155                 } else if importerFrom, ok := importer.(ImporterFrom); ok {
156                         imp, err = importerFrom.ImportFrom(path, dir, 0)
157                         if imp == nil && err == nil {
158                                 err = fmt.Errorf("Config.Importer.ImportFrom(%s, %s, 0) returned nil but no error", path, dir)
159                         }
160                 } else {
161                         imp, err = importer.Import(path)
162                         if imp == nil && err == nil {
163                                 err = fmt.Errorf("Config.Importer.Import(%s) returned nil but no error", path)
164                         }
165                 }
166                 // make sure we have a valid package name
167                 // (errors here can only happen through manipulation of packages after creation)
168                 if err == nil && imp != nil && (imp.name == "_" || imp.name == "") {
169                         err = fmt.Errorf("invalid package name: %q", imp.name)
170                         imp = nil // create fake package below
171                 }
172                 if err != nil {
173                         check.errorf(atPos(pos), _BrokenImport, "could not import %s (%s)", path, err)
174                         if imp == nil {
175                                 // create a new fake package
176                                 // come up with a sensible package name (heuristic)
177                                 name := path
178                                 if i := len(name); i > 0 && name[i-1] == '/' {
179                                         name = name[:i-1]
180                                 }
181                                 if i := strings.LastIndex(name, "/"); i >= 0 {
182                                         name = name[i+1:]
183                                 }
184                                 imp = NewPackage(path, name)
185                         }
186                         // continue to use the package as best as we can
187                         imp.fake = true // avoid follow-up lookup failures
188                 }
189         }
190
191         // package should be complete or marked fake, but be cautious
192         if imp.complete || imp.fake {
193                 check.impMap[key] = imp
194                 check.pkgCnt[imp.name]++
195                 return imp
196         }
197
198         // something went wrong (importer may have returned incomplete package without error)
199         return nil
200 }
201
202 // collectObjects collects all file and package objects and inserts them
203 // into their respective scopes. It also performs imports and associates
204 // methods with receiver base type names.
205 func (check *Checker) collectObjects() {
206         pkg := check.pkg
207
208         // pkgImports is the set of packages already imported by any package file seen
209         // so far. Used to avoid duplicate entries in pkg.imports. Allocate and populate
210         // it (pkg.imports may not be empty if we are checking test files incrementally).
211         // Note that pkgImports is keyed by package (and thus package path), not by an
212         // importKey value. Two different importKey values may map to the same package
213         // which is why we cannot use the check.impMap here.
214         var pkgImports = make(map[*Package]bool)
215         for _, imp := range pkg.imports {
216                 pkgImports[imp] = true
217         }
218
219         var methods []*Func // list of methods with non-blank _ names
220         for fileNo, file := range check.files {
221                 // The package identifier denotes the current package,
222                 // but there is no corresponding package object.
223                 check.recordDef(file.Name, nil)
224
225                 // Use the actual source file extent rather than *ast.File extent since the
226                 // latter doesn't include comments which appear at the start or end of the file.
227                 // Be conservative and use the *ast.File extent if we don't have a *token.File.
228                 pos, end := file.Pos(), file.End()
229                 if f := check.fset.File(file.Pos()); f != nil {
230                         pos, end = token.Pos(f.Base()), token.Pos(f.Base()+f.Size())
231                 }
232                 fileScope := NewScope(check.pkg.scope, pos, end, check.filename(fileNo))
233                 check.recordScope(file, fileScope)
234
235                 // determine file directory, necessary to resolve imports
236                 // FileName may be "" (typically for tests) in which case
237                 // we get "." as the directory which is what we would want.
238                 fileDir := dir(check.fset.Position(file.Name.Pos()).Filename)
239
240                 check.walkDecls(file.Decls, func(d decl) {
241                         switch d := d.(type) {
242                         case importDecl:
243                                 // import package
244                                 path, err := validatedImportPath(d.spec.Path.Value)
245                                 if err != nil {
246                                         check.errorf(d.spec.Path, _BadImportPath, "invalid import path (%s)", err)
247                                         return
248                                 }
249
250                                 imp := check.importPackage(d.spec.Path.Pos(), path, fileDir)
251                                 if imp == nil {
252                                         return
253                                 }
254
255                                 // add package to list of explicit imports
256                                 // (this functionality is provided as a convenience
257                                 // for clients; it is not needed for type-checking)
258                                 if !pkgImports[imp] {
259                                         pkgImports[imp] = true
260                                         pkg.imports = append(pkg.imports, imp)
261                                 }
262
263                                 // local name overrides imported package name
264                                 name := imp.name
265                                 if d.spec.Name != nil {
266                                         name = d.spec.Name.Name
267                                         if path == "C" {
268                                                 // match cmd/compile (not prescribed by spec)
269                                                 check.errorf(d.spec.Name, _ImportCRenamed, `cannot rename import "C"`)
270                                                 return
271                                         }
272                                         if name == "init" {
273                                                 check.errorf(d.spec.Name, _InvalidInitDecl, "cannot declare init - must be func")
274                                                 return
275                                         }
276                                 }
277
278                                 obj := NewPkgName(d.spec.Pos(), pkg, name, imp)
279                                 if d.spec.Name != nil {
280                                         // in a dot-import, the dot represents the package
281                                         check.recordDef(d.spec.Name, obj)
282                                 } else {
283                                         check.recordImplicit(d.spec, obj)
284                                 }
285
286                                 if path == "C" {
287                                         // match cmd/compile (not prescribed by spec)
288                                         obj.used = true
289                                 }
290
291                                 // add import to file scope
292                                 if name == "." {
293                                         // merge imported scope with file scope
294                                         for _, obj := range imp.scope.elems {
295                                                 // A package scope may contain non-exported objects,
296                                                 // do not import them!
297                                                 if obj.Exported() {
298                                                         // declare dot-imported object
299                                                         // (Do not use check.declare because it modifies the object
300                                                         // via Object.setScopePos, which leads to a race condition;
301                                                         // the object may be imported into more than one file scope
302                                                         // concurrently. See issue #32154.)
303                                                         if alt := fileScope.Insert(obj); alt != nil {
304                                                                 check.errorf(d.spec.Name, _DuplicateDecl, "%s redeclared in this block", obj.Name())
305                                                                 check.reportAltDecl(alt)
306                                                         }
307                                                 }
308                                         }
309                                         // add position to set of dot-import positions for this file
310                                         // (this is only needed for "imported but not used" errors)
311                                         check.addUnusedDotImport(fileScope, imp, d.spec)
312                                 } else {
313                                         // declare imported package object in file scope
314                                         // (no need to provide s.Name since we called check.recordDef earlier)
315                                         check.declare(fileScope, nil, obj, token.NoPos)
316                                 }
317                         case constDecl:
318                                 // declare all constants
319                                 for i, name := range d.spec.Names {
320                                         obj := NewConst(name.Pos(), pkg, name.Name, nil, constant.MakeInt64(int64(d.iota)))
321
322                                         var init ast.Expr
323                                         if i < len(d.init) {
324                                                 init = d.init[i]
325                                         }
326
327                                         d := &declInfo{file: fileScope, typ: d.typ, init: init, inherited: d.inherited}
328                                         check.declarePkgObj(name, obj, d)
329                                 }
330
331                         case varDecl:
332                                 lhs := make([]*Var, len(d.spec.Names))
333                                 // If there's exactly one rhs initializer, use
334                                 // the same declInfo d1 for all lhs variables
335                                 // so that each lhs variable depends on the same
336                                 // rhs initializer (n:1 var declaration).
337                                 var d1 *declInfo
338                                 if len(d.spec.Values) == 1 {
339                                         // The lhs elements are only set up after the for loop below,
340                                         // but that's ok because declareVar only collects the declInfo
341                                         // for a later phase.
342                                         d1 = &declInfo{file: fileScope, lhs: lhs, typ: d.spec.Type, init: d.spec.Values[0]}
343                                 }
344
345                                 // declare all variables
346                                 for i, name := range d.spec.Names {
347                                         obj := NewVar(name.Pos(), pkg, name.Name, nil)
348                                         lhs[i] = obj
349
350                                         di := d1
351                                         if di == nil {
352                                                 // individual assignments
353                                                 var init ast.Expr
354                                                 if i < len(d.spec.Values) {
355                                                         init = d.spec.Values[i]
356                                                 }
357                                                 di = &declInfo{file: fileScope, typ: d.spec.Type, init: init}
358                                         }
359
360                                         check.declarePkgObj(name, obj, di)
361                                 }
362                         case typeDecl:
363                                 obj := NewTypeName(d.spec.Name.Pos(), pkg, d.spec.Name.Name, nil)
364                                 check.declarePkgObj(d.spec.Name, obj, &declInfo{file: fileScope, typ: d.spec.Type, alias: d.spec.Assign.IsValid()})
365                         case funcDecl:
366                                 info := &declInfo{file: fileScope, fdecl: d.decl}
367                                 name := d.decl.Name.Name
368                                 obj := NewFunc(d.decl.Name.Pos(), pkg, name, nil)
369                                 if d.decl.Recv == nil {
370                                         // regular function
371                                         if name == "init" {
372                                                 // don't declare init functions in the package scope - they are invisible
373                                                 obj.parent = pkg.scope
374                                                 check.recordDef(d.decl.Name, obj)
375                                                 // init functions must have a body
376                                                 if d.decl.Body == nil {
377                                                         check.softErrorf(obj, _MissingInitBody, "missing function body")
378                                                 }
379                                         } else {
380                                                 check.declare(pkg.scope, d.decl.Name, obj, token.NoPos)
381                                         }
382                                 } else {
383                                         // method
384                                         // (Methods with blank _ names are never found; no need to collect
385                                         // them for later type association. They will still be type-checked
386                                         // with all the other functions.)
387                                         if name != "_" {
388                                                 methods = append(methods, obj)
389                                         }
390                                         check.recordDef(d.decl.Name, obj)
391                                 }
392                                 // Methods are not package-level objects but we still track them in the
393                                 // object map so that we can handle them like regular functions (if the
394                                 // receiver is invalid); also we need their fdecl info when associating
395                                 // them with their receiver base type, below.
396                                 check.objMap[obj] = info
397                                 obj.setOrder(uint32(len(check.objMap)))
398                         }
399                 })
400         }
401
402         // verify that objects in package and file scopes have different names
403         for _, scope := range check.pkg.scope.children /* file scopes */ {
404                 for _, obj := range scope.elems {
405                         if alt := pkg.scope.Lookup(obj.Name()); alt != nil {
406                                 if pkg, ok := obj.(*PkgName); ok {
407                                         check.errorf(alt, _DuplicateDecl, "%s already declared through import of %s", alt.Name(), pkg.Imported())
408                                         check.reportAltDecl(pkg)
409                                 } else {
410                                         check.errorf(alt, _DuplicateDecl, "%s already declared through dot-import of %s", alt.Name(), obj.Pkg())
411                                         // TODO(gri) dot-imported objects don't have a position; reportAltDecl won't print anything
412                                         check.reportAltDecl(obj)
413                                 }
414                         }
415                 }
416         }
417
418         // Now that we have all package scope objects and all methods,
419         // associate methods with receiver base type name where possible.
420         // Ignore methods that have an invalid receiver. They will be
421         // type-checked later, with regular functions.
422         if methods == nil {
423                 return // nothing to do
424         }
425         check.methods = make(map[*TypeName][]*Func)
426         for _, f := range methods {
427                 fdecl := check.objMap[f].fdecl
428                 if list := fdecl.Recv.List; len(list) > 0 {
429                         // f is a method.
430                         // Determine the receiver base type and associate f with it.
431                         ptr, base := check.resolveBaseTypeName(list[0].Type)
432                         if base != nil {
433                                 f.hasPtrRecv = ptr
434                                 check.methods[base] = append(check.methods[base], f)
435                         }
436                 }
437         }
438 }
439
440 // resolveBaseTypeName returns the non-alias base type name for typ, and whether
441 // there was a pointer indirection to get to it. The base type name must be declared
442 // in package scope, and there can be at most one pointer indirection. If no such type
443 // name exists, the returned base is nil.
444 func (check *Checker) resolveBaseTypeName(typ ast.Expr) (ptr bool, base *TypeName) {
445         // Algorithm: Starting from a type expression, which may be a name,
446         // we follow that type through alias declarations until we reach a
447         // non-alias type name. If we encounter anything but pointer types or
448         // parentheses we're done. If we encounter more than one pointer type
449         // we're done.
450         var seen map[*TypeName]bool
451         for {
452                 typ = unparen(typ)
453
454                 // check if we have a pointer type
455                 if pexpr, _ := typ.(*ast.StarExpr); pexpr != nil {
456                         // if we've already seen a pointer, we're done
457                         if ptr {
458                                 return false, nil
459                         }
460                         ptr = true
461                         typ = unparen(pexpr.X) // continue with pointer base type
462                 }
463
464                 // typ must be a name
465                 name, _ := typ.(*ast.Ident)
466                 if name == nil {
467                         return false, nil
468                 }
469
470                 // name must denote an object found in the current package scope
471                 // (note that dot-imported objects are not in the package scope!)
472                 obj := check.pkg.scope.Lookup(name.Name)
473                 if obj == nil {
474                         return false, nil
475                 }
476
477                 // the object must be a type name...
478                 tname, _ := obj.(*TypeName)
479                 if tname == nil {
480                         return false, nil
481                 }
482
483                 // ... which we have not seen before
484                 if seen[tname] {
485                         return false, nil
486                 }
487
488                 // we're done if tdecl defined tname as a new type
489                 // (rather than an alias)
490                 tdecl := check.objMap[tname] // must exist for objects in package scope
491                 if !tdecl.alias {
492                         return ptr, tname
493                 }
494
495                 // otherwise, continue resolving
496                 typ = tdecl.typ
497                 if seen == nil {
498                         seen = make(map[*TypeName]bool)
499                 }
500                 seen[tname] = true
501         }
502 }
503
504 // packageObjects typechecks all package objects, but not function bodies.
505 func (check *Checker) packageObjects() {
506         // process package objects in source order for reproducible results
507         objList := make([]Object, len(check.objMap))
508         i := 0
509         for obj := range check.objMap {
510                 objList[i] = obj
511                 i++
512         }
513         sort.Sort(inSourceOrder(objList))
514
515         // add new methods to already type-checked types (from a prior Checker.Files call)
516         for _, obj := range objList {
517                 if obj, _ := obj.(*TypeName); obj != nil && obj.typ != nil {
518                         check.addMethodDecls(obj)
519                 }
520         }
521
522         // We process non-alias declarations first, in order to avoid situations where
523         // the type of an alias declaration is needed before it is available. In general
524         // this is still not enough, as it is possible to create sufficiently convoluted
525         // recursive type definitions that will cause a type alias to be needed before it
526         // is available (see issue #25838 for examples).
527         // As an aside, the cmd/compiler suffers from the same problem (#25838).
528         var aliasList []*TypeName
529         // phase 1
530         for _, obj := range objList {
531                 // If we have a type alias, collect it for the 2nd phase.
532                 if tname, _ := obj.(*TypeName); tname != nil && check.objMap[tname].alias {
533                         aliasList = append(aliasList, tname)
534                         continue
535                 }
536
537                 check.objDecl(obj, nil)
538         }
539         // phase 2
540         for _, obj := range aliasList {
541                 check.objDecl(obj, nil)
542         }
543
544         // At this point we may have a non-empty check.methods map; this means that not all
545         // entries were deleted at the end of typeDecl because the respective receiver base
546         // types were not found. In that case, an error was reported when declaring those
547         // methods. We can now safely discard this map.
548         check.methods = nil
549 }
550
551 // inSourceOrder implements the sort.Sort interface.
552 type inSourceOrder []Object
553
554 func (a inSourceOrder) Len() int           { return len(a) }
555 func (a inSourceOrder) Less(i, j int) bool { return a[i].order() < a[j].order() }
556 func (a inSourceOrder) Swap(i, j int)      { a[i], a[j] = a[j], a[i] }
557
558 // unusedImports checks for unused imports.
559 func (check *Checker) unusedImports() {
560         // if function bodies are not checked, packages' uses are likely missing - don't check
561         if check.conf.IgnoreFuncBodies {
562                 return
563         }
564
565         // spec: "It is illegal (...) to directly import a package without referring to
566         // any of its exported identifiers. To import a package solely for its side-effects
567         // (initialization), use the blank identifier as explicit package name."
568
569         // check use of regular imported packages
570         for _, scope := range check.pkg.scope.children /* file scopes */ {
571                 for _, obj := range scope.elems {
572                         if obj, ok := obj.(*PkgName); ok {
573                                 // Unused "blank imports" are automatically ignored
574                                 // since _ identifiers are not entered into scopes.
575                                 if !obj.used {
576                                         path := obj.imported.path
577                                         base := pkgName(path)
578                                         if obj.name == base {
579                                                 check.softErrorf(obj, _UnusedImport, "%q imported but not used", path)
580                                         } else {
581                                                 check.softErrorf(obj, _UnusedImport, "%q imported but not used as %s", path, obj.name)
582                                         }
583                                 }
584                         }
585                 }
586         }
587
588         // check use of dot-imported packages
589         for _, unusedDotImports := range check.unusedDotImports {
590                 for pkg, pos := range unusedDotImports {
591                         check.softErrorf(pos, _UnusedImport, "%q imported but not used", pkg.path)
592                 }
593         }
594 }
595
596 // pkgName returns the package name (last element) of an import path.
597 func pkgName(path string) string {
598         if i := strings.LastIndex(path, "/"); i >= 0 {
599                 path = path[i+1:]
600         }
601         return path
602 }
603
604 // dir makes a good-faith attempt to return the directory
605 // portion of path. If path is empty, the result is ".".
606 // (Per the go/build package dependency tests, we cannot import
607 // path/filepath and simply use filepath.Dir.)
608 func dir(path string) string {
609         if i := strings.LastIndexAny(path, `/\`); i > 0 {
610                 return path[:i]
611         }
612         // i <= 0
613         return "."
614 }