src/go/types/resolver.go

   1 // Copyright 2013 The Go Authors. All rights reserved.
   2 // Use of this source code is governed by a BSD-style
   3 // license that can be found in the LICENSE file.
   4
   5 package types
   6
   7 import (
   8         "fmt"
   9         "go/ast"
  10         "go/constant"
  11         "go/token"
  12         "sort"
  13         "strconv"
  14         "strings"
  15         "unicode"
  16 )
  17
  18 // A declInfo describes a package-level const, type, var, or func declaration.
  19 type declInfo struct {
  20         file      *Scope        // scope of file containing this declaration
  21         lhs       []*Var        // lhs of n:1 variable declarations, or nil
  22         typ       ast.Expr      // type, or nil
  23         init      ast.Expr      // init/orig expression, or nil
  24         inherited bool          // if set, the init expression is inherited from a previous constant declaration
  25         fdecl     *ast.FuncDecl // func declaration, or nil
  26         alias     bool          // type alias declaration
  27
  28         // The deps field tracks initialization expression dependencies.
  29         deps map[Object]bool // lazily initialized
  30 }
  31
  32 // hasInitializer reports whether the declared object has an initialization
  33 // expression or function body.
  34 func (d *declInfo) hasInitializer() bool {
  35         return d.init != nil || d.fdecl != nil && d.fdecl.Body != nil
  36 }
  37
  38 // addDep adds obj to the set of objects d's init expression depends on.
  39 func (d *declInfo) addDep(obj Object) {
  40         m := d.deps
  41         if m == nil {
  42                 m = make(map[Object]bool)
  43                 d.deps = m
  44         }
  45         m[obj] = true
  46 }
  47
  48 // arityMatch checks that the lhs and rhs of a const or var decl
  49 // have the appropriate number of names and init exprs. For const
  50 // decls, init is the value spec providing the init exprs; for
  51 // var decls, init is nil (the init exprs are in s in this case).
  52 func (check *Checker) arityMatch(s, init *ast.ValueSpec) {
  53         l := len(s.Names)
  54         r := len(s.Values)
  55         if init != nil {
  56                 r = len(init.Values)
  57         }
  58
  59         const code = _WrongAssignCount
  60         switch {
  61         case init == nil && r == 0:
  62                 // var decl w/o init expr
  63                 if s.Type == nil {
  64                         check.errorf(s, code, "missing type or init expr")
  65                 }
  66         case l < r:
  67                 if l < len(s.Values) {
  68                         // init exprs from s
  69                         n := s.Values[l]
  70                         check.errorf(n, code, "extra init expr %s", n)
  71                         // TODO(gri) avoid declared but not used error here
  72                 } else {
  73                         // init exprs "inherited"
  74                         check.errorf(s, code, "extra init expr at %s", check.fset.Position(init.Pos()))
  75                         // TODO(gri) avoid declared but not used error here
  76                 }
  77         case l > r && (init != nil || r != 1):
  78                 n := s.Names[r]
  79                 check.errorf(n, code, "missing init expr for %s", n)
  80         }
  81 }
  82
  83 func validatedImportPath(path string) (string, error) {
  84         s, err := strconv.Unquote(path)
  85         if err != nil {
  86                 return "", err
  87         }
  88         if s == "" {
  89                 return "", fmt.Errorf("empty string")
  90         }
  91         const illegalChars = `!"#$%&'()*,:;<=>?[\]^{|}` + "`\uFFFD"
  92         for _, r := range s {
  93                 if !unicode.IsGraphic(r) || unicode.IsSpace(r) || strings.ContainsRune(illegalChars, r) {
  94                         return s, fmt.Errorf("invalid character %#U", r)
  95                 }
  96         }
  97         return s, nil
  98 }
  99
 100 // declarePkgObj declares obj in the package scope, records its ident -> obj mapping,
 101 // and updates check.objMap. The object must not be a function or method.
 102 func (check *Checker) declarePkgObj(ident *ast.Ident, obj Object, d *declInfo) {
 103         assert(ident.Name == obj.Name())
 104
 105         // spec: "A package-scope or file-scope identifier with name init
 106         // may only be declared to be a function with this (func()) signature."
 107         if ident.Name == "init" {
 108                 check.errorf(ident, _InvalidInitDecl, "cannot declare init - must be func")
 109                 return
 110         }
 111
 112         // spec: "The main package must have package name main and declare
 113         // a function main that takes no arguments and returns no value."
 114         if ident.Name == "main" && check.pkg.name == "main" {
 115                 check.errorf(ident, _InvalidMainDecl, "cannot declare main - must be func")
 116                 return
 117         }
 118
 119         check.declare(check.pkg.scope, ident, obj, token.NoPos)
 120         check.objMap[obj] = d
 121         obj.setOrder(uint32(len(check.objMap)))
 122 }
 123
 124 // filename returns a filename suitable for debugging output.
 125 func (check *Checker) filename(fileNo int) string {
 126         file := check.files[fileNo]
 127         if pos := file.Pos(); pos.IsValid() {
 128                 return check.fset.File(pos).Name()
 129         }
 130         return fmt.Sprintf("file[%d]", fileNo)
 131 }
 132
 133 func (check *Checker) importPackage(pos token.Pos, path, dir string) *Package {
 134         // If we already have a package for the given (path, dir)
 135         // pair, use it instead of doing a full import.
 136         // Checker.impMap only caches packages that are marked Complete
 137         // or fake (dummy packages for failed imports). Incomplete but
 138         // non-fake packages do require an import to complete them.
 139         key := importKey{path, dir}
 140         imp := check.impMap[key]
 141         if imp != nil {
 142                 return imp
 143         }
 144
 145         // no package yet => import it
 146         if path == "C" && (check.conf.FakeImportC || check.conf.go115UsesCgo) {
 147                 imp = NewPackage("C", "C")
 148                 imp.fake = true // package scope is not populated
 149                 imp.cgo = check.conf.go115UsesCgo
 150         } else {
 151                 // ordinary import
 152                 var err error
 153                 if importer := check.conf.Importer; importer == nil {
 154                         err = fmt.Errorf("Config.Importer not installed")
 155                 } else if importerFrom, ok := importer.(ImporterFrom); ok {
 156                         imp, err = importerFrom.ImportFrom(path, dir, 0)
 157                         if imp == nil && err == nil {
 158                                 err = fmt.Errorf("Config.Importer.ImportFrom(%s, %s, 0) returned nil but no error", path, dir)
 159                         }
 160                 } else {
 161                         imp, err = importer.Import(path)
 162                         if imp == nil && err == nil {
 163                                 err = fmt.Errorf("Config.Importer.Import(%s) returned nil but no error", path)
 164                         }
 165                 }
 166                 // make sure we have a valid package name
 167                 // (errors here can only happen through manipulation of packages after creation)
 168                 if err == nil && imp != nil && (imp.name == "_" || imp.name == "") {
 169                         err = fmt.Errorf("invalid package name: %q", imp.name)
 170                         imp = nil // create fake package below
 171                 }
 172                 if err != nil {
 173                         check.errorf(atPos(pos), _BrokenImport, "could not import %s (%s)", path, err)
 174                         if imp == nil {
 175                                 // create a new fake package
 176                                 // come up with a sensible package name (heuristic)
 177                                 name := path
 178                                 if i := len(name); i > 0 && name[i-1] == '/' {
 179                                         name = name[:i-1]
 180                                 }
 181                                 if i := strings.LastIndex(name, "/"); i >= 0 {
 182                                         name = name[i+1:]
 183                                 }
 184                                 imp = NewPackage(path, name)
 185                         }
 186                         // continue to use the package as best as we can
 187                         imp.fake = true // avoid follow-up lookup failures
 188                 }
 189         }
 190
 191         // package should be complete or marked fake, but be cautious
 192         if imp.complete || imp.fake {
 193                 check.impMap[key] = imp
 194                 check.pkgCnt[imp.name]++
 195                 return imp
 196         }
 197
 198         // something went wrong (importer may have returned incomplete package without error)
 199         return nil
 200 }
 201
 202 // collectObjects collects all file and package objects and inserts them
 203 // into their respective scopes. It also performs imports and associates
 204 // methods with receiver base type names.
 205 func (check *Checker) collectObjects() {
 206         pkg := check.pkg
 207
 208         // pkgImports is the set of packages already imported by any package file seen
 209         // so far. Used to avoid duplicate entries in pkg.imports. Allocate and populate
 210         // it (pkg.imports may not be empty if we are checking test files incrementally).
 211         // Note that pkgImports is keyed by package (and thus package path), not by an
 212         // importKey value. Two different importKey values may map to the same package
 213         // which is why we cannot use the check.impMap here.
 214         var pkgImports = make(map[*Package]bool)
 215         for _, imp := range pkg.imports {
 216                 pkgImports[imp] = true
 217         }
 218
 219         var methods []*Func // list of methods with non-blank _ names
 220         for fileNo, file := range check.files {
 221                 // The package identifier denotes the current package,
 222                 // but there is no corresponding package object.
 223                 check.recordDef(file.Name, nil)
 224
 225                 // Use the actual source file extent rather than *ast.File extent since the
 226                 // latter doesn't include comments which appear at the start or end of the file.
 227                 // Be conservative and use the *ast.File extent if we don't have a *token.File.
 228                 pos, end := file.Pos(), file.End()
 229                 if f := check.fset.File(file.Pos()); f != nil {
 230                         pos, end = token.Pos(f.Base()), token.Pos(f.Base()+f.Size())
 231                 }
 232                 fileScope := NewScope(check.pkg.scope, pos, end, check.filename(fileNo))
 233                 check.recordScope(file, fileScope)
 234
 235                 // determine file directory, necessary to resolve imports
 236                 // FileName may be "" (typically for tests) in which case
 237                 // we get "." as the directory which is what we would want.
 238                 fileDir := dir(check.fset.Position(file.Name.Pos()).Filename)
 239
 240                 check.walkDecls(file.Decls, func(d decl) {
 241                         switch d := d.(type) {
 242                         case importDecl:
 243                                 // import package
 244                                 path, err := validatedImportPath(d.spec.Path.Value)
 245                                 if err != nil {
 246                                         check.errorf(d.spec.Path, _BadImportPath, "invalid import path (%s)", err)
 247                                         return
 248                                 }
 249
 250                                 imp := check.importPackage(d.spec.Path.Pos(), path, fileDir)
 251                                 if imp == nil {
 252                                         return
 253                                 }
 254
 255                                 // add package to list of explicit imports
 256                                 // (this functionality is provided as a convenience
 257                                 // for clients; it is not needed for type-checking)
 258                                 if !pkgImports[imp] {
 259                                         pkgImports[imp] = true
 260                                         pkg.imports = append(pkg.imports, imp)
 261                                 }
 262
 263                                 // local name overrides imported package name
 264                                 name := imp.name
 265                                 if d.spec.Name != nil {
 266                                         name = d.spec.Name.Name
 267                                         if path == "C" {
 268                                                 // match cmd/compile (not prescribed by spec)
 269                                                 check.errorf(d.spec.Name, _ImportCRenamed, `cannot rename import "C"`)
 270                                                 return
 271                                         }
 272                                         if name == "init" {
 273                                                 check.errorf(d.spec.Name, _InvalidInitDecl, "cannot declare init - must be func")
 274                                                 return
 275                                         }
 276                                 }
 277
 278                                 pkgName := NewPkgName(d.spec.Pos(), pkg, name, imp)
 279                                 if d.spec.Name != nil {
 280                                         // in a dot-import, the dot represents the package
 281                                         check.recordDef(d.spec.Name, pkgName)
 282                                 } else {
 283                                         check.recordImplicit(d.spec, pkgName)
 284                                 }
 285
 286                                 if path == "C" {
 287                                         // match cmd/compile (not prescribed by spec)
 288                                         pkgName.used = true
 289                                 }
 290
 291                                 // add import to file scope
 292                                 check.imports = append(check.imports, pkgName)
 293                                 if name == "." {
 294                                         // dot-import
 295                                         if check.dotImportMap == nil {
 296                                                 check.dotImportMap = make(map[dotImportKey]*PkgName)
 297                                         }
 298                                         // merge imported scope with file scope
 299                                         for _, obj := range imp.scope.elems {
 300                                                 // A package scope may contain non-exported objects,
 301                                                 // do not import them!
 302                                                 if obj.Exported() {
 303                                                         // declare dot-imported object
 304                                                         // (Do not use check.declare because it modifies the object
 305                                                         // via Object.setScopePos, which leads to a race condition;
 306                                                         // the object may be imported into more than one file scope
 307                                                         // concurrently. See issue #32154.)
 308                                                         if alt := fileScope.Insert(obj); alt != nil {
 309                                                                 check.errorf(d.spec.Name, _DuplicateDecl, "%s redeclared in this block", obj.Name())
 310                                                                 check.reportAltDecl(alt)
 311                                                         } else {
 312                                                                 check.dotImportMap[dotImportKey{fileScope, obj}] = pkgName
 313                                                         }
 314                                                 }
 315                                         }
 316                                 } else {
 317                                         // declare imported package object in file scope
 318                                         // (no need to provide s.Name since we called check.recordDef earlier)
 319                                         check.declare(fileScope, nil, pkgName, token.NoPos)
 320                                 }
 321                         case constDecl:
 322                                 // declare all constants
 323                                 for i, name := range d.spec.Names {
 324                                         obj := NewConst(name.Pos(), pkg, name.Name, nil, constant.MakeInt64(int64(d.iota)))
 325
 326                                         var init ast.Expr
 327                                         if i < len(d.init) {
 328                                                 init = d.init[i]
 329                                         }
 330
 331                                         d := &declInfo{file: fileScope, typ: d.typ, init: init, inherited: d.inherited}
 332                                         check.declarePkgObj(name, obj, d)
 333                                 }
 334
 335                         case varDecl:
 336                                 lhs := make([]*Var, len(d.spec.Names))
 337                                 // If there's exactly one rhs initializer, use
 338                                 // the same declInfo d1 for all lhs variables
 339                                 // so that each lhs variable depends on the same
 340                                 // rhs initializer (n:1 var declaration).
 341                                 var d1 *declInfo
 342                                 if len(d.spec.Values) == 1 {
 343                                         // The lhs elements are only set up after the for loop below,
 344                                         // but that's ok because declareVar only collects the declInfo
 345                                         // for a later phase.
 346                                         d1 = &declInfo{file: fileScope, lhs: lhs, typ: d.spec.Type, init: d.spec.Values[0]}
 347                                 }
 348
 349                                 // declare all variables
 350                                 for i, name := range d.spec.Names {
 351                                         obj := NewVar(name.Pos(), pkg, name.Name, nil)
 352                                         lhs[i] = obj
 353
 354                                         di := d1
 355                                         if di == nil {
 356                                                 // individual assignments
 357                                                 var init ast.Expr
 358                                                 if i < len(d.spec.Values) {
 359                                                         init = d.spec.Values[i]
 360                                                 }
 361                                                 di = &declInfo{file: fileScope, typ: d.spec.Type, init: init}
 362                                         }
 363
 364                                         check.declarePkgObj(name, obj, di)
 365                                 }
 366                         case typeDecl:
 367                                 obj := NewTypeName(d.spec.Name.Pos(), pkg, d.spec.Name.Name, nil)
 368                                 check.declarePkgObj(d.spec.Name, obj, &declInfo{file: fileScope, typ: d.spec.Type, alias: d.spec.Assign.IsValid()})
 369                         case funcDecl:
 370                                 info := &declInfo{file: fileScope, fdecl: d.decl}
 371                                 name := d.decl.Name.Name
 372                                 obj := NewFunc(d.decl.Name.Pos(), pkg, name, nil)
 373                                 if d.decl.Recv == nil {
 374                                         // regular function
 375                                         if name == "init" {
 376                                                 // don't declare init functions in the package scope - they are invisible
 377                                                 obj.parent = pkg.scope
 378                                                 check.recordDef(d.decl.Name, obj)
 379                                                 // init functions must have a body
 380                                                 if d.decl.Body == nil {
 381                                                         check.softErrorf(obj, _MissingInitBody, "missing function body")
 382                                                 }
 383                                         } else {
 384                                                 check.declare(pkg.scope, d.decl.Name, obj, token.NoPos)
 385                                         }
 386                                 } else {
 387                                         // method
 388                                         // (Methods with blank _ names are never found; no need to collect
 389                                         // them for later type association. They will still be type-checked
 390                                         // with all the other functions.)
 391                                         if name != "_" {
 392                                                 methods = append(methods, obj)
 393                                         }
 394                                         check.recordDef(d.decl.Name, obj)
 395                                 }
 396                                 // Methods are not package-level objects but we still track them in the
 397                                 // object map so that we can handle them like regular functions (if the
 398                                 // receiver is invalid); also we need their fdecl info when associating
 399                                 // them with their receiver base type, below.
 400                                 check.objMap[obj] = info
 401                                 obj.setOrder(uint32(len(check.objMap)))
 402                         }
 403                 })
 404         }
 405
 406         // verify that objects in package and file scopes have different names
 407         for _, scope := range check.pkg.scope.children /* file scopes */ {
 408                 for _, obj := range scope.elems {
 409                         if alt := pkg.scope.Lookup(obj.Name()); alt != nil {
 410                                 if pkg, ok := obj.(*PkgName); ok {
 411                                         check.errorf(alt, _DuplicateDecl, "%s already declared through import of %s", alt.Name(), pkg.Imported())
 412                                         check.reportAltDecl(pkg)
 413                                 } else {
 414                                         check.errorf(alt, _DuplicateDecl, "%s already declared through dot-import of %s", alt.Name(), obj.Pkg())
 415                                         // TODO(gri) dot-imported objects don't have a position; reportAltDecl won't print anything
 416                                         check.reportAltDecl(obj)
 417                                 }
 418                         }
 419                 }
 420         }
 421
 422         // Now that we have all package scope objects and all methods,
 423         // associate methods with receiver base type name where possible.
 424         // Ignore methods that have an invalid receiver. They will be
 425         // type-checked later, with regular functions.
 426         if methods == nil {
 427                 return // nothing to do
 428         }
 429         check.methods = make(map[*TypeName][]*Func)
 430         for _, f := range methods {
 431                 fdecl := check.objMap[f].fdecl
 432                 if list := fdecl.Recv.List; len(list) > 0 {
 433                         // f is a method.
 434                         // Determine the receiver base type and associate f with it.
 435                         ptr, base := check.resolveBaseTypeName(list[0].Type)
 436                         if base != nil {
 437                                 f.hasPtrRecv = ptr
 438                                 check.methods[base] = append(check.methods[base], f)
 439                         }
 440                 }
 441         }
 442 }
 443
 444 // resolveBaseTypeName returns the non-alias base type name for typ, and whether
 445 // there was a pointer indirection to get to it. The base type name must be declared
 446 // in package scope, and there can be at most one pointer indirection. If no such type
 447 // name exists, the returned base is nil.
 448 func (check *Checker) resolveBaseTypeName(typ ast.Expr) (ptr bool, base *TypeName) {
 449         // Algorithm: Starting from a type expression, which may be a name,
 450         // we follow that type through alias declarations until we reach a
 451         // non-alias type name. If we encounter anything but pointer types or
 452         // parentheses we're done. If we encounter more than one pointer type
 453         // we're done.
 454         var seen map[*TypeName]bool
 455         for {
 456                 typ = unparen(typ)
 457
 458                 // check if we have a pointer type
 459                 if pexpr, _ := typ.(*ast.StarExpr); pexpr != nil {
 460                         // if we've already seen a pointer, we're done
 461                         if ptr {
 462                                 return false, nil
 463                         }
 464                         ptr = true
 465                         typ = unparen(pexpr.X) // continue with pointer base type
 466                 }
 467
 468                 // typ must be a name
 469                 name, _ := typ.(*ast.Ident)
 470                 if name == nil {
 471                         return false, nil
 472                 }
 473
 474                 // name must denote an object found in the current package scope
 475                 // (note that dot-imported objects are not in the package scope!)
 476                 obj := check.pkg.scope.Lookup(name.Name)
 477                 if obj == nil {
 478                         return false, nil
 479                 }
 480
 481                 // the object must be a type name...
 482                 tname, _ := obj.(*TypeName)
 483                 if tname == nil {
 484                         return false, nil
 485                 }
 486
 487                 // ... which we have not seen before
 488                 if seen[tname] {
 489                         return false, nil
 490                 }
 491
 492                 // we're done if tdecl defined tname as a new type
 493                 // (rather than an alias)
 494                 tdecl := check.objMap[tname] // must exist for objects in package scope
 495                 if !tdecl.alias {
 496                         return ptr, tname
 497                 }
 498
 499                 // otherwise, continue resolving
 500                 typ = tdecl.typ
 501                 if seen == nil {
 502                         seen = make(map[*TypeName]bool)
 503                 }
 504                 seen[tname] = true
 505         }
 506 }
 507
 508 // packageObjects typechecks all package objects, but not function bodies.
 509 func (check *Checker) packageObjects() {
 510         // process package objects in source order for reproducible results
 511         objList := make([]Object, len(check.objMap))
 512         i := 0
 513         for obj := range check.objMap {
 514                 objList[i] = obj
 515                 i++
 516         }
 517         sort.Sort(inSourceOrder(objList))
 518
 519         // add new methods to already type-checked types (from a prior Checker.Files call)
 520         for _, obj := range objList {
 521                 if obj, _ := obj.(*TypeName); obj != nil && obj.typ != nil {
 522                         check.addMethodDecls(obj)
 523                 }
 524         }
 525
 526         // We process non-alias declarations first, in order to avoid situations where
 527         // the type of an alias declaration is needed before it is available. In general
 528         // this is still not enough, as it is possible to create sufficiently convoluted
 529         // recursive type definitions that will cause a type alias to be needed before it
 530         // is available (see issue #25838 for examples).
 531         // As an aside, the cmd/compiler suffers from the same problem (#25838).
 532         var aliasList []*TypeName
 533         // phase 1
 534         for _, obj := range objList {
 535                 // If we have a type alias, collect it for the 2nd phase.
 536                 if tname, _ := obj.(*TypeName); tname != nil && check.objMap[tname].alias {
 537                         aliasList = append(aliasList, tname)
 538                         continue
 539                 }
 540
 541                 check.objDecl(obj, nil)
 542         }
 543         // phase 2
 544         for _, obj := range aliasList {
 545                 check.objDecl(obj, nil)
 546         }
 547
 548         // At this point we may have a non-empty check.methods map; this means that not all
 549         // entries were deleted at the end of typeDecl because the respective receiver base
 550         // types were not found. In that case, an error was reported when declaring those
 551         // methods. We can now safely discard this map.
 552         check.methods = nil
 553 }
 554
 555 // inSourceOrder implements the sort.Sort interface.
 556 type inSourceOrder []Object
 557
 558 func (a inSourceOrder) Len() int           { return len(a) }
 559 func (a inSourceOrder) Less(i, j int) bool { return a[i].order() < a[j].order() }
 560 func (a inSourceOrder) Swap(i, j int)      { a[i], a[j] = a[j], a[i] }
 561
 562 // unusedImports checks for unused imports.
 563 func (check *Checker) unusedImports() {
 564         // if function bodies are not checked, packages' uses are likely missing - don't check
 565         if check.conf.IgnoreFuncBodies {
 566                 return
 567         }
 568
 569         // spec: "It is illegal (...) to directly import a package without referring to
 570         // any of its exported identifiers. To import a package solely for its side-effects
 571         // (initialization), use the blank identifier as explicit package name."
 572
 573         for _, obj := range check.imports {
 574                 if !obj.used && obj.name != "_" {
 575                         check.errorUnusedPkg(obj)
 576                 }
 577         }
 578 }
 579
 580 func (check *Checker) errorUnusedPkg(obj *PkgName) {
 581         // If the package was imported with a name other than the final
 582         // import path element, show it explicitly in the error message.
 583         // Note that this handles both renamed imports and imports of
 584         // packages containing unconventional package declarations.
 585         // Note that this uses / always, even on Windows, because Go import
 586         // paths always use forward slashes.
 587         path := obj.imported.path
 588         elem := path
 589         if i := strings.LastIndex(elem, "/"); i >= 0 {
 590                 elem = elem[i+1:]
 591         }
 592         if obj.name == "" || obj.name == "." || obj.name == elem {
 593                 check.softErrorf(obj, _UnusedImport, "%q imported but not used", path)
 594         } else {
 595                 check.softErrorf(obj, _UnusedImport, "%q imported but not used as %s", path, obj.name)
 596         }
 597 }
 598
 599 // dir makes a good-faith attempt to return the directory
 600 // portion of path. If path is empty, the result is ".".
 601 // (Per the go/build package dependency tests, we cannot import
 602 // path/filepath and simply use filepath.Dir.)
 603 func dir(path string) string {
 604         if i := strings.LastIndexAny(path, `/\`); i > 0 {
 605                 return path[:i]
 606         }
 607         // i <= 0
 608         return "."
 609 }