]> Cypherpunks.ru repositories - gostls13.git/blobdiff - src/runtime/extern.go
runtime: add execution tracer v2 behind GOEXPERIMENT=exectracer2
[gostls13.git] / src / runtime / extern.go
index 7316503ed2a4c12cb56f6bc8b916e57da9fb477d..f8db296e6ba67f73290b0cd69be39f68247f4d86 100644 (file)
@@ -5,10 +5,10 @@
 /*
 Package runtime contains operations that interact with Go's runtime system,
 such as functions to control goroutines. It also includes the low-level type information
-used by the reflect package; see reflect's documentation for the programmable
+used by the reflect package; see [reflect]'s documentation for the programmable
 interface to the run-time type system.
 
-Environment Variables
+Environment Variables
 
 The following environment variables ($name or %name%, depending on the host
 operating system) control the run-time behavior of Go programs. The meanings
@@ -18,8 +18,19 @@ The GOGC variable sets the initial garbage collection target percentage.
 A collection is triggered when the ratio of freshly allocated data to live data
 remaining after the previous collection reaches this percentage. The default
 is GOGC=100. Setting GOGC=off disables the garbage collector entirely.
-The runtime/debug package's SetGCPercent function allows changing this
-percentage at run time. See https://golang.org/pkg/runtime/debug/#SetGCPercent.
+[runtime/debug.SetGCPercent] allows changing this percentage at run time.
+
+The GOMEMLIMIT variable sets a soft memory limit for the runtime. This memory limit
+includes the Go heap and all other memory managed by the runtime, and excludes
+external memory sources such as mappings of the binary itself, memory managed in
+other languages, and memory held by the operating system on behalf of the Go
+program. GOMEMLIMIT is a numeric value in bytes with an optional unit suffix.
+The supported suffixes include B, KiB, MiB, GiB, and TiB. These suffixes
+represent quantities of bytes as defined by the IEC 80000-13 standard. That is,
+they are based on powers of two: KiB means 2^10 bytes, MiB means 2^20 bytes,
+and so on. The default setting is math.MaxInt64, which effectively disables the
+memory limit. [runtime/debug.SetMemoryLimit] allows changing this limit at run
+time.
 
 The GODEBUG variable controls debugging variables within the runtime.
 It is a comma-separated list of name=val pairs setting these named variables:
@@ -31,12 +42,28 @@ It is a comma-separated list of name=val pairs setting these named variables:
        clobber the memory content of an object with bad content when it frees
        the object.
 
+       cpu.*: cpu.all=off disables the use of all optional instruction set extensions.
+       cpu.extension=off disables use of instructions from the specified instruction set extension.
+       extension is the lower case name for the instruction set extension such as sse41 or avx
+       as listed in internal/cpu package. As an example cpu.avx=off disables runtime detection
+       and thereby use of AVX instructions.
+
        cgocheck: setting cgocheck=0 disables all checks for packages
        using cgo to incorrectly pass Go pointers to non-Go code.
        Setting cgocheck=1 (the default) enables relatively cheap
-       checks that may miss some errors.  Setting cgocheck=2 enables
-       expensive checks that should not miss any errors, but will
-       cause your program to run slower.
+       checks that may miss some errors. A more complete, but slow,
+       cgocheck mode can be enabled using GOEXPERIMENT (which
+       requires a rebuild), see https://pkg.go.dev/internal/goexperiment for details.
+
+       dontfreezetheworld: by default, the start of a fatal panic or throw
+       "freezes the world", preempting all threads to stop all running
+       goroutines, which makes it possible to traceback all goroutines, and
+       keeps their state close to the point of panic. Setting
+       dontfreezetheworld=1 disables this preemption, allowing goroutines to
+       continue executing during panic processing. Note that goroutines that
+       naturally enter the scheduler will still stop. This can be useful when
+       debugging the runtime scheduler, as freezetheworld perturbs scheduler
+       state and thus may hide problems.
 
        efence: setting efence=1 causes the allocator to run in a mode
        where each object is allocated on a unique page and addresses are
@@ -60,17 +87,20 @@ It is a comma-separated list of name=val pairs setting these named variables:
 
        gctrace: setting gctrace=1 causes the garbage collector to emit a single line to standard
        error at each collection, summarizing the amount of memory collected and the
-       length of the pause. The format of this line is subject to change.
+       length of the pause. The format of this line is subject to change. Included in
+       the explanation below is also the relevant runtime/metrics metric for each field.
        Currently, it is:
-               gc # @#s #%: #+#+# ms clock, #+#/#/#+# ms cpu, #->#-># MB, # MB goal, # P
+               gc # @#s #%: #+#+# ms clock, #+#/#/#+# ms cpu, #->#-># MB, # MB goal, # MB stacks, #MB globals, # P
        where the fields are as follows:
-               gc #        the GC number, incremented at each GC
-               @#s         time in seconds since program start
-               #%          percentage of time spent in GC since program start
-               #+...+#     wall-clock/CPU times for the phases of the GC
-               #->#-># MB  heap size at GC start, at GC end, and live heap
-               # MB goal   goal heap size
-               # P         number of processors used
+               gc #         the GC number, incremented at each GC
+               @#s          time in seconds since program start
+               #%           percentage of time spent in GC since program start
+               #+...+#      wall-clock/CPU times for the phases of the GC
+               #->#-># MB   heap size at GC start, at GC end, and live heap, or /gc/scan/heap:bytes
+               # MB goal    goal heap size, or /gc/heap/goal:bytes
+               # MB stacks  estimated scannable stack size, or /gc/scan/stack:bytes
+               # MB globals scannable global size, or /gc/scan/globals:bytes
+               # P          number of processors used, or /sched/gomaxprocs:threads
        The phases are stop-the-world (STW) sweep termination, concurrent
        mark and scan, and STW mark termination. The CPU times
        for mark/scan are broken down in to assist time (GC performed in
@@ -78,15 +108,43 @@ It is a comma-separated list of name=val pairs setting these named variables:
        If the line ends with "(forced)", this GC was forced by a
        runtime.GC() call.
 
-       madvdontneed: setting madvdontneed=1 will use MADV_DONTNEED
-       instead of MADV_FREE on Linux when returning memory to the
-       kernel. This is less efficient, but causes RSS numbers to drop
+       harddecommit: setting harddecommit=1 causes memory that is returned to the OS to
+       also have protections removed on it. This is the only mode of operation on Windows,
+       but is helpful in debugging scavenger-related issues on other platforms. Currently,
+       only supported on Linux.
+
+       inittrace: setting inittrace=1 causes the runtime to emit a single line to standard
+       error for each package with init work, summarizing the execution time and memory
+       allocation. No information is printed for inits executed as part of plugin loading
+       and for packages without both user defined and compiler generated init work.
+       The format of this line is subject to change. Currently, it is:
+               init # @#ms, # ms clock, # bytes, # allocs
+       where the fields are as follows:
+               init #      the package name
+               @# ms       time in milliseconds when the init started since program start
+               # clock     wall-clock time for package initialization work
+               # bytes     memory allocated on the heap
+               # allocs    number of heap allocations
+
+       madvdontneed: setting madvdontneed=0 will use MADV_FREE
+       instead of MADV_DONTNEED on Linux when returning memory to the
+       kernel. This is more efficient, but means RSS numbers will
+       drop only when the OS is under memory pressure. On the BSDs and
+       Illumos/Solaris, setting madvdontneed=1 will use MADV_DONTNEED instead
+       of MADV_FREE. This is less efficient, but causes RSS numbers to drop
        more quickly.
 
        memprofilerate: setting memprofilerate=X will update the value of runtime.MemProfileRate.
        When set to 0 memory profiling is disabled.  Refer to the description of
        MemProfileRate for the default value.
 
+       pagetrace: setting pagetrace=/path/to/file will write out a trace of page events
+       that can be viewed, analyzed, and visualized using the x/debug/cmd/pagetrace tool.
+       Build your program with GOEXPERIMENT=pagetrace to enable this functionality. Do not
+       enable this functionality if your program is a setuid binary as it introduces a security
+       risk in that scenario. Currently not supported on Windows, plan9 or js/wasm. Setting this
+       option for some applications can produce large traces, so use with care.
+
        invalidptr: invalidptr=1 (the default) causes the garbage collector and stack
        copier to crash the program if an invalid pointer value (for example, 1)
        is found in a pointer-typed location. Setting invalidptr=0 disables this check.
@@ -97,19 +155,18 @@ It is a comma-separated list of name=val pairs setting these named variables:
        with a trivial allocator that obtains memory from the operating system and
        never reclaims any memory.
 
-       scavenge: scavenge=1 enables debugging mode of heap scavenger.
-
        scavtrace: setting scavtrace=1 causes the runtime to emit a single line to standard
        error, roughly once per GC cycle, summarizing the amount of work done by the
        scavenger as well as the total amount of memory returned to the operating system
        and an estimate of physical memory utilization. The format of this line is subject
        to change, but currently it is:
-               scav # # KiB work, # KiB total, #% util
+               scav # KiB work (bg), # KiB work (eager), # KiB total, #% util
        where the fields are as follows:
-               scav #       the scavenge cycle number
-               # KiB work   the amount of memory returned to the OS since the last line
-               # KiB total  the total amount of memory returned to the OS
-               #% util      the fraction of all unscavenged memory which is in-use
+               # KiB work (bg)    the amount of memory returned to the OS in the background since
+                                  the last line
+               # KiB work (eager) the amount of memory returned to the OS eagerly since the last line
+               # KiB now          the amount of address space currently returned to the OS
+               #% util            the fraction of all unscavenged heap memory which is in-use
        If the line ends with "(forced)", then scavenging was forced by a
        debug.FreeOSMemory() call.
 
@@ -126,6 +183,15 @@ It is a comma-separated list of name=val pairs setting these named variables:
        IDs will refer to the ID of the goroutine at the time of creation; it's possible for this
        ID to be reused for another goroutine. Setting N to 0 will report no ancestry information.
 
+       tracefpunwindoff: setting tracefpunwindoff=1 forces the execution tracer to
+       use the runtime's default stack unwinder instead of frame pointer unwinding.
+       This increases tracer overhead, but could be helpful as a workaround or for
+       debugging unexpected regressions caused by frame pointer unwinding.
+
+       traceadvanceperiod: the approximate period in nanoseconds between trace generations. Only
+       applies if a program is built with GOEXPERIMENT=exectracer2. Used primarily for testing
+       and debugging the execution tracer.
+
        asyncpreemptoff: asyncpreemptoff=1 disables signal-based
        asynchronous goroutine preemption. This makes some loops
        non-preemptible for long periods, which may delay GC and
@@ -133,7 +199,7 @@ It is a comma-separated list of name=val pairs setting these named variables:
        because it also disables the conservative stack scanning used
        for asynchronously preempted goroutines.
 
-The net, net/http, and crypto/tls packages also refer to debugging variables in GODEBUG.
+The net and net/http packages also refer to debugging variables in GODEBUG.
 See the documentation for those packages for details.
 
 The GOMAXPROCS variable limits the number of operating system threads that
@@ -154,11 +220,12 @@ or the failure is internal to the run-time.
 GOTRACEBACK=none omits the goroutine stack traces entirely.
 GOTRACEBACK=single (the default) behaves as described above.
 GOTRACEBACK=all adds stack traces for all user-created goroutines.
-GOTRACEBACK=system is like ``all'' but adds stack frames for run-time functions
+GOTRACEBACK=system is like “all” but adds stack frames for run-time functions
 and shows goroutines created internally by the run-time.
-GOTRACEBACK=crash is like ``system'' but crashes in an operating system-specific
+GOTRACEBACK=crash is like “system” but crashes in an operating system-specific
 manner instead of exiting. For example, on Unix systems, the crash raises
 SIGABRT to trigger a core dump.
+GOTRACEBACK=wer is like “crash” but doesn't disable Windows Error Reporting (WER).
 For historical reasons, the GOTRACEBACK settings 0, 1, and 2 are synonyms for
 none, all, and system, respectively.
 The runtime/debug package's SetTraceback function allows increasing the
@@ -172,10 +239,32 @@ the set of Go environment variables. They influence the building of Go programs
 GOARCH, GOOS, and GOROOT are recorded at compile time and made available by
 constants or functions in this package, but they do not influence the execution
 of the run-time system.
+
+# Security
+
+On Unix platforms, Go's runtime system behaves slightly differently when a
+binary is setuid/setgid or executed with setuid/setgid-like properties, in order
+to prevent dangerous behaviors. On Linux this is determined by checking for the
+AT_SECURE flag in the auxiliary vector, on the BSDs and Solaris/Illumos it is
+determined by checking the issetugid syscall, and on AIX it is determined by
+checking if the uid/gid match the effective uid/gid.
+
+When the runtime determines the binary is setuid/setgid-like, it does three main
+things:
+  - The standard input/output file descriptors (0, 1, 2) are checked to be open.
+    If any of them are closed, they are opened pointing at /dev/null.
+  - The value of the GOTRACEBACK environment variable is set to 'none'.
+  - When a signal is received that terminates the program, or the program
+    encounters an unrecoverable panic that would otherwise override the value
+    of GOTRACEBACK, the goroutine stack, registers, and other memory related
+    information are omitted.
 */
 package runtime
 
-import "runtime/internal/sys"
+import (
+       "internal/goarch"
+       "internal/goos"
+)
 
 // Caller reports file and line number information about function invocations on
 // the calling goroutine's stack. The argument skip is the number of stack frames
@@ -200,10 +289,10 @@ func Caller(skip int) (pc uintptr, file string, line int, ok bool) {
 // It returns the number of entries written to pc.
 //
 // To translate these PCs into symbolic information such as function
-// names and line numbers, use CallersFrames. CallersFrames accounts
+// names and line numbers, use [CallersFrames]. CallersFrames accounts
 // for inlined functions and adjusts the return program counters into
 // call program counters. Iterating over the returned slice of PCs
-// directly is discouraged, as is using FuncForPC on any of the
+// directly is discouraged, as is using [FuncForPC] on any of the
 // returned PCs, since these cannot account for inlining or return
 // program counter adjustment.
 func Callers(skip int, pc []uintptr) int {
@@ -216,6 +305,8 @@ func Callers(skip int, pc []uintptr) int {
        return callers(skip, pc)
 }
 
+var defaultGOROOT string // set by cmd/link
+
 // GOROOT returns the root of the Go tree. It uses the
 // GOROOT environment variable, if set at process start,
 // or else the root used during the Go build.
@@ -224,21 +315,31 @@ func GOROOT() string {
        if s != "" {
                return s
        }
-       return sys.DefaultGoroot
+       return defaultGOROOT
 }
 
+// buildVersion is the Go tree's version string at build time.
+//
+// If any GOEXPERIMENTs are set to non-default values, it will include
+// "X:<GOEXPERIMENT>".
+//
+// This is set by the linker.
+//
+// This is accessed by "go version <binary>".
+var buildVersion string
+
 // Version returns the Go tree's version string.
 // It is either the commit hash and date at the time of the build or,
 // when possible, a release tag like "go1.3".
 func Version() string {
-       return sys.TheVersion
+       return buildVersion
 }
 
 // GOOS is the running program's operating system target:
 // one of darwin, freebsd, linux, and so on.
 // To view possible combinations of GOOS and GOARCH, run "go tool dist list".
-const GOOS string = sys.GOOS
+const GOOS string = goos.GOOS
 
 // GOARCH is the running program's architecture target:
 // one of 386, amd64, arm, s390x, and so on.
-const GOARCH string = sys.GOARCH
+const GOARCH string = goarch.GOARCH