doc/examples.rst

   1 Examples
   2 ========
   3
   4 .. contents::
   5
   6 Schema definition
   7 -----------------
   8
   9 Let's try to parse X.509 certificate. We have to define our structures
  10 based on ASN.1 schema descriptions.
  11
  12 .. list-table::
  13    :header-rows: 1
  14
  15    * - ASN.1 specification
  16      - pyderasn's code
  17    * - ::
  18
  19             Certificate  ::=  SEQUENCE  {
  20                 tbsCertificate       TBSCertificate,
  21                 signatureAlgorithm   AlgorithmIdentifier,
  22                 signatureValue       BIT STRING  }
  23      - ::
  24
  25             class Certificate(Sequence):
  26                 schema = (
  27                     ("tbsCertificate", TBSCertificate()),
  28                     ("signatureAlgorithm", AlgorithmIdentifier()),
  29                     ("signatureValue", BitString()),
  30                 )
  31    * - ::
  32
  33             AlgorithmIdentifier  ::=  SEQUENCE  {
  34                 algorithm    OBJECT IDENTIFIER,
  35                 parameters   ANY DEFINED BY algorithm OPTIONAL  }
  36      - ::
  37
  38             class AlgorithmIdentifier(Sequence):
  39                 schema = (
  40                     ("algorithm", ObjectIdentifier()),
  41                     ("parameters", Any(optional=True)),
  42                 )
  43    * - ::
  44
  45             TBSCertificate  ::=  SEQUENCE  {
  46                 version         [0]  EXPLICIT Version DEFAULT v1,
  47                 serialNumber         CertificateSerialNumber,
  48                 signature            AlgorithmIdentifier,
  49                 issuer               Name,
  50                 validity             Validity,
  51                 subject              Name,
  52                 subjectPublicKeyInfo SubjectPublicKeyInfo,
  53                 issuerUniqueID  [1]  IMPLICIT UniqueIdentifier OPTIONAL,
  54                 subjectUniqueID [2]  IMPLICIT UniqueIdentifier OPTIONAL,
  55                 extensions      [3]  EXPLICIT Extensions OPTIONAL  }
  56      - ::
  57
  58             class TBSCertificate(Sequence):
  59                 schema = (
  60                     ("version", Version(expl=tag_ctxc(0), default="v1")),
  61                     ("serialNumber", CertificateSerialNumber()),
  62                     ("signature", AlgorithmIdentifier()),
  63                     ("issuer", Name()),
  64                     ("validity", Validity()),
  65                     ("subject", Name()),
  66                     ("subjectPublicKeyInfo", SubjectPublicKeyInfo()),
  67                     ("issuerUniqueID", UniqueIdentifier(impl=tag_ctxp(1), optional=True)),
  68                     ("subjectUniqueID", UniqueIdentifier(impl=tag_ctxp(2), optional=True)),
  69                     ("extensions", Extensions(expl=tag_ctxc(3), optional=True)),
  70                 )
  71    * - ::
  72
  73             Version  ::=  INTEGER  {  v1(0), v2(1), v3(2)  }
  74      - ::
  75
  76             class Version(Integer):
  77                 schema = (("v1", 0), ("v2", 1), ("v3", 2))
  78    * - ::
  79
  80             CertificateSerialNumber  ::=  INTEGER
  81      - ::
  82
  83             class CertificateSerialNumber(Integer):
  84                 pass
  85    * - ::
  86
  87             Validity ::= SEQUENCE {
  88                 notBefore      Time,
  89                 notAfter       Time }
  90             Time ::= CHOICE {
  91                 utcTime        UTCTime,
  92                 generalTime    GeneralizedTime }
  93      - ::
  94
  95             class Validity(Sequence):
  96                 schema = (
  97                     ("notBefore", Time()),
  98                     ("notAfter", Time()),
  99                 )
 100             class Time(Choice):
 101                 schema = (
 102                     ("utcTime", UTCTime()),
 103                     ("generalTime", GeneralizedTime()),
 104                 )
 105    * - ::
 106
 107             SubjectPublicKeyInfo  ::=  SEQUENCE  {
 108                 algorithm            AlgorithmIdentifier,
 109                 subjectPublicKey     BIT STRING  }
 110      - ::
 111
 112             class SubjectPublicKeyInfo(Sequence):
 113                 schema = (
 114                     ("algorithm", AlgorithmIdentifier()),
 115                     ("subjectPublicKey", BitString()),
 116                 )
 117    * - ::
 118
 119             UniqueIdentifier  ::=  BIT STRING
 120      - ::
 121
 122             class UniqueIdentifier(BitString):
 123                 pass
 124    * - ::
 125
 126             Name ::= CHOICE { rdnSequence  RDNSequence }
 127
 128             RDNSequence ::= SEQUENCE OF RelativeDistinguishedName
 129
 130             RelativeDistinguishedName ::= SET SIZE (1..MAX) OF AttributeTypeAndValue
 131
 132             AttributeTypeAndValue ::= SEQUENCE { type AttributeType, value AttributeValue }
 133
 134             AttributeType ::= OBJECT IDENTIFIER
 135
 136             AttributeValue ::= ANY -- DEFINED BY AttributeType
 137      - ::
 138
 139             class Name(Choice):
 140                 schema = (("rdnSequence", RDNSequence()),)
 141             class RDNSequence(SequenceOf):
 142                 schema = RelativeDistinguishedName()
 143             class RelativeDistinguishedName(SetOf):
 144                 schema = AttributeTypeAndValue()
 145                 bounds = (1, float("+inf"))
 146             class AttributeTypeAndValue(Sequence):
 147                 schema = (
 148                     ("type", AttributeType()),
 149                     ("value", AttributeValue()),
 150                 )
 151             class AttributeType(ObjectIdentifier):
 152                 pass
 153             class AttributeValue(Any):
 154                 pass
 155    * - ::
 156
 157             Extensions ::=  SEQUENCE SIZE (1..MAX) OF Extension
 158
 159             Extension  ::=  SEQUENCE  {
 160                 extnID      OBJECT IDENTIFIER,
 161                 critical    BOOLEAN DEFAULT FALSE,
 162                 extnValue   OCTET STRING
 163                 }
 164      - ::
 165
 166             class Extensions(SequenceOf):
 167                 schema = Extension()
 168                 bounds = (1, float("+inf"))
 169             class Extension(Sequence):
 170                 schema = (
 171                     ("extnID", ObjectIdentifier()),
 172                     ("critical", Boolean(default=False)),
 173                     ("extnValue", OctetString()),
 174                 )
 175
 176 We are ready to decode PayPal's certificate from Go `encoding/asn1
 177 <https://golang.org/pkg/encoding/asn1/>`__ test suite (assuming that
 178 it's DER encoded representation is already in ``raw`` variable)::
 179
 180     >>> crt, tail = Certificate().decode(raw)
 181     >>> crt
 182     Certificate SEQUENCE[tbsCertificate: TBSCertificate SEQUENCE[
 183         version: [0] EXPLICIT Version INTEGER v3 OPTIONAL;
 184         serialNumber: CertificateSerialNumber INTEGER 61595;
 185         signature: AlgorithmIdentifier SEQUENCE[OBJECT IDENTIFIER 1.2.840.113549.1.1.5...
 186
 187 Pretty printing
 188 ---------------
 189
 190 There is huge output. Let's pretty print it::
 191
 192     >>> print(pprint(crt))
 193         0   [1,3,1604] Certificate SEQUENCE
 194         4   [1,3,1453]  . tbsCertificate: TBSCertificate SEQUENCE
 195        10-2 [1,1,   1]  . . version: [0] EXPLICIT Version INTEGER v3 OPTIONAL
 196        13   [1,1,   3]  . . serialNumber: CertificateSerialNumber INTEGER 61595
 197        18   [1,1,  13]  . . signature: AlgorithmIdentifier SEQUENCE
 198        20   [1,1,   9]  . . . algorithm: OBJECT IDENTIFIER 1.2.840.113549.1.1.5
 199        31   [0,0,   2]  . . . parameters: [UNIV 5] ANY OPTIONAL
 200                         . . . . 05:00
 201        33   [0,0, 278]  . . issuer: Name CHOICE rdnSequence
 202        33   [1,3, 274]  . . . rdnSequence: RDNSequence SEQUENCE OF
 203        37   [1,1,  11]  . . . . 0: RelativeDistinguishedName SET OF
 204        39   [1,1,   9]  . . . . . 0: AttributeTypeAndValue SEQUENCE
 205        41   [1,1,   3]  . . . . . . type: AttributeType OBJECT IDENTIFIER 2.5.4.6
 206        46   [0,0,   4]  . . . . . . value: [UNIV 19] AttributeValue ANY
 207                         . . . . . . . 13:02:45:53
 208     [...]
 209      1461   [1,1,  13]  . signatureAlgorithm: AlgorithmIdentifier SEQUENCE
 210      1463   [1,1,   9]  . . algorithm: OBJECT IDENTIFIER 1.2.840.113549.1.1.5
 211      1474   [0,0,   2]  . . parameters: [UNIV 5] ANY OPTIONAL
 212                         . . . 05:00
 213      1476   [1,2, 129]  . signatureValue: BIT STRING 1024 bits
 214                         . . 68:EE:79:97:97:DD:3B:EF:16:6A:06:F2:14:9A:6E:CD
 215                         . . 9E:12:F7:AA:83:10:BD:D1:7C:98:FA:C7:AE:D4:0E:2C
 216      [...]
 217
 218     Trailing data: 0a
 219
 220 Let's parse that output, human::
 221
 222        10-2 [1,1,   1]    . . version: [0] EXPLICIT Version INTEGER v3 OPTIONAL
 223        ^  ^  ^ ^    ^     ^   ^        ^            ^       ^       ^  ^
 224        0  1  2 3    4     5   6        7            8       9       10 11
 225
 226 ::
 227
 228        20   [1,1,   9]    . . . algorithm: OBJECT IDENTIFIER 1.2.840.113549.1.1.5
 229        ^     ^ ^    ^     ^     ^          ^                 ^
 230        0     2 3    4     5     6          9                 10
 231
 232 ::
 233
 234        33   [0,0, 278]    . . issuer: Name CHOICE rdnSequence
 235        ^     ^ ^    ^     ^   ^       ^    ^      ^
 236        0     2 3    4     5   6       8    9      10
 237
 238 ::
 239
 240        52-2∞ [1,1,1054]∞  . . . . eContent: [0] EXPLICIT BER OCTET STRING 1046 bytes
 241                        ^                                 ^   ^            ^
 242                       12                                13   9            10
 243
 244 :0:
 245  Offset of the object, where its DER/BER encoding begins.
 246  Pay attention that it does **not** include explicit tag.
 247 :1:
 248  If explicit tag exists, then this is its length (tag + encoded length).
 249 :2:
 250  Length of object's tag. For example CHOICE does not have its own tag,
 251  so it is zero.
 252 :3:
 253  Length of encoded length.
 254 :4:
 255  Length of encoded value.
 256 :5:
 257  Visual indentation to show the depth of object in the hierarchy.
 258 :6:
 259  Object's name inside SEQUENCE/CHOICE.
 260 :7:
 261  If either IMPLICIT or EXPLICIT tag is set, then it will be shown
 262  here. "IMPLICIT" is omitted.
 263 :8:
 264  Object's class name, if set. Omitted if it is just an ordinary simple
 265  value (like with ``algorithm`` in example above).
 266 :9:
 267  Object's ASN.1 type.
 268 :10:
 269  Object's value, if set. Can consist of multiple words (like OCTET/BIT
 270  STRINGs above). We see ``v3`` value in Version, because it is named.
 271  ``rdnSequence`` is the choice of CHOICE type.
 272 :11:
 273  Possible other flags like OPTIONAL and DEFAULT, if value equals to the
 274  default one, specified in the schema.
 275 :12:
 276  Only applicable to BER encoded data. Indefinite length encoding mark.
 277 :13:
 278  Only applicable to BER encoded data. If object has BER-specific
 279  encoding, then ``BER`` will be shown. It does not depend on indefinite
 280  length encoding. ``EOC``, ``BOOLEAN``, ``BIT STRING``, ``OCTET STRING``
 281  (and its derivatives) could be BERed.
 282
 283 As command line utility
 284 -----------------------
 285
 286 You can decode DER/BER files using command line abilities and get the
 287 same picture as above by executing::
 288
 289     % python -m pyderasn --schema tests.test_crts:Certificate path/to/file
 290
 291 If there is no schema for you file, then you can try parsing it without,
 292 but of course IMPLICIT tags will often make it impossible. But result is
 293 good enough for the certificate above::
 294
 295     % python -m pyderasn path/to/file
 296         0   [1,3,1604]  . >: SEQUENCE OF
 297         4   [1,3,1453]  . . >: SEQUENCE OF
 298         8   [0,0,   5]  . . . . >: [0] ANY
 299                         . . . . . A0:03:02:01:02
 300        13   [1,1,   3]  . . . . >: INTEGER 61595
 301        18   [1,1,  13]  . . . . >: SEQUENCE OF
 302        20   [1,1,   9]  . . . . . . >: OBJECT IDENTIFIER 1.2.840.113549.1.1.5
 303        31   [1,1,   0]  . . . . . . >: NULL
 304        33   [1,3, 274]  . . . . >: SEQUENCE OF
 305        37   [1,1,  11]  . . . . . . >: SET OF
 306        39   [1,1,   9]  . . . . . . . . >: SEQUENCE OF
 307        41   [1,1,   3]  . . . . . . . . . . >: OBJECT IDENTIFIER 2.5.4.6
 308        46   [1,1,   2]  . . . . . . . . . . >: PrintableString PrintableString ES
 309     [...]
 310      1409   [1,1,  50]  . . . . . . >: SEQUENCE OF
 311      1411   [1,1,   8]  . . . . . . . . >: OBJECT IDENTIFIER 1.3.6.1.5.5.7.1.1
 312      1421   [1,1,  38]  . . . . . . . . >: OCTET STRING 38 bytes
 313                         . . . . . . . . . 30:24:30:22:06:08:2B:06:01:05:05:07:30:01:86:16
 314                         . . . . . . . . . 68:74:74:70:3A:2F:2F:6F:63:73:70:2E:69:70:73:63
 315                         . . . . . . . . . 61:2E:63:6F:6D:2F
 316      1461   [1,1,  13]  . . >: SEQUENCE OF
 317      1463   [1,1,   9]  . . . . >: OBJECT IDENTIFIER 1.2.840.113549.1.1.5
 318      1474   [1,1,   0]  . . . . >: NULL
 319      1476   [1,2, 129]  . . >: BIT STRING 1024 bits
 320                         . . . 68:EE:79:97:97:DD:3B:EF:16:6A:06:F2:14:9A:6E:CD
 321                         . . . 9E:12:F7:AA:83:10:BD:D1:7C:98:FA:C7:AE:D4:0E:2C
 322     [...]
 323
 324 If you have got dictionaries with ObjectIdentifiers, like example one
 325 from ``tests/test_crts.py``::
 326
 327     some_oids = {
 328         "1.2.840.113549.1.1.1": "id-rsaEncryption",
 329         "1.2.840.113549.1.1.5": "id-sha1WithRSAEncryption",
 330         [...]
 331         "2.5.4.10": "id-at-organizationName",
 332         "2.5.4.11": "id-at-organizationalUnitName",
 333     }
 334
 335 then you can pass it to pretty printer to see human readable OIDs::
 336
 337     % python -m pyderasn --oids tests.test_crts:some_oids path/to/file
 338     [...]
 339        37   [1,1,  11]  . . . . . . >: SET OF
 340        39   [1,1,   9]  . . . . . . . . >: SEQUENCE OF
 341        41   [1,1,   3]  . . . . . . . . . . >: OBJECT IDENTIFIER id-at-countryName (2.5.4.6)
 342        46   [1,1,   2]  . . . . . . . . . . >: PrintableString PrintableString ES
 343        50   [1,1,  18]  . . . . . . >: SET OF
 344        52   [1,1,  16]  . . . . . . . . >: SEQUENCE OF
 345        54   [1,1,   3]  . . . . . . . . . . >: OBJECT IDENTIFIER id-at-stateOrProvinceName (2.5.4.8)
 346        59   [1,1,   9]  . . . . . . . . . . >: PrintableString PrintableString Barcelona
 347        70   [1,1,  18]  . . . . . . >: SET OF
 348        72   [1,1,  16]  . . . . . . . . >: SEQUENCE OF
 349        74   [1,1,   3]  . . . . . . . . . . >: OBJECT IDENTIFIER id-at-localityName (2.5.4.7)
 350        79   [1,1,   9]  . . . . . . . . . . >: PrintableString PrintableString Barcelona
 351     [...]
 352
 353 Descriptive errors
 354 ------------------
 355
 356 If you have bad DER/BER, then errors will show you where error occurred::
 357
 358     % python -m pyderasn --schema tests.test_crts:Certificate path/to/bad/file
 359     Traceback (most recent call last):
 360     [...]
 361     pyderasn.DecodeError: UTCTime (tbsCertificate.validity.notAfter.utcTime) (at 328) invalid UTCTime format
 362
 363 ::
 364
 365     % python -m pyderasn path/to/bad/file
 366     [...]
 367     pyderasn.DecodeError: UTCTime (0.SequenceOf.4.SequenceOf.1.UTCTime) (at 328) invalid UTCTime format
 368
 369 You can see, so called, decode path inside the structures:
 370 ``tbsCertificate`` -> ``validity`` -> ``notAfter`` -> ``utcTime`` and
 371 that object at byte 328 is invalid.
 372
 373 X.509 certificate creation
 374 --------------------------
 375
 376 Let's create some simple self-signed X.509 certificate from the ground::
 377
 378     tbs = TBSCertificate()
 379     tbs["serialNumber"] = CertificateSerialNumber(10143011886257155224)
 380
 381     sign_algo_id = AlgorithmIdentifier((
 382         ("algorithm", ObjectIdentifier("1.2.840.113549.1.1.5")),
 383         ("parameters", Any(Null())),
 384     ))
 385     tbs["signature"] = sign_algo_id
 386
 387     rdnSeq = RDNSequence()
 388     for oid, klass, text in (
 389             ("2.5.4.6", PrintableString, "XX"),
 390             ("2.5.4.8", PrintableString, "Some-State"),
 391             ("2.5.4.7", PrintableString, "City"),
 392             ("2.5.4.10", PrintableString, "Internet Widgits Pty Ltd"),
 393             ("2.5.4.3", PrintableString, "false.example.com"),
 394             ("1.2.840.113549.1.9.1", IA5String, "false@example.com"),
 395     ):
 396         rdnSeq.append(
 397             RelativeDistinguishedName((
 398                 AttributeTypeAndValue((
 399                     ("type", AttributeType(oid)),
 400                     ("value", AttributeValue(klass(text))),
 401                 )),
 402             ))
 403         )
 404     issuer = Name(("rdnSequence", rdnSeq))
 405     tbs["issuer"] = issuer
 406     tbs["subject"] = issuer
 407
 408     validity = Validity((
 409         ("notBefore", Time(
 410             ("utcTime", UTCTime(datetime(2009, 10, 8, 0, 25, 53))),
 411         )),
 412         ("notAfter", Time(
 413             ("utcTime", UTCTime(datetime(2010, 10, 8, 0, 25, 53))),
 414         )),
 415     ))
 416     tbs["validity"] = validity
 417
 418     spki = SubjectPublicKeyInfo()
 419     spki_algo_id = sign_algo_id.copy()
 420     spki_algo_id["algorithm"] = ObjectIdentifier("1.2.840.113549.1.1.1")
 421     spki["algorithm"] = spki_algo_id
 422     spki["subjectPublicKey"] = BitString(hexdec("".join((
 423         "3048024100cdb7639c3278f006aa277f6eaf42902b592d8cbcbe38a1c92ba4695",
 424         "a331b1deadeadd8e9a5c27e8c4c2fd0a8889657722a4f2af7589cf2c77045dc8f",
 425         "deec357d0203010001",
 426     ))))
 427     tbs["subjectPublicKeyInfo"] = spki
 428
 429     crt = Certificate()
 430     crt["tbsCertificate"] = tbs
 431     crt["signatureAlgorithm"] = sign_algo_id
 432     crt["signatureValue"] = BitString(hexdec("".join((
 433         "a67b06ec5ece92772ca413cba3ca12568fdc6c7b4511cd40a7f659980402df2b",
 434         "998bb9a4a8cbeb34c0f0a78cf8d91ede14a5ed76bf116fe360aafa8821490435",
 435     ))))
 436     crt.encode()
 437
 438 And we will get the same certificate used in Go's library tests.
 439
 440 DEFINED BY fields
 441 -----------------
 442
 443 Here is only very simple example how you can define Any/OctetString
 444 fields automatic decoding::
 445
 446     class AttributeTypeAndValue(Sequence):
 447         schema = (
 448             ((("type",), AttributeType(defines=("value", {
 449                 id_at_countryName: PrintableString(),
 450                 id_at_stateOrProvinceName: PrintableString(),
 451                 id_at_localityName: PrintableString(),
 452                 id_at_organizationName: PrintableString(),
 453                 id_at_commonName: PrintableString(),
 454             }))),),
 455             ("value", AttributeValue()),
 456         )
 457
 458 And when you will try to decode X.509 certificate with it, your pretty
 459 printer will show::
 460
 461        34   [0,0, 149]  . . issuer: Name CHOICE rdnSequence
 462        34   [1,2, 146]  . . . rdnSequence: RDNSequence SEQUENCE OF
 463        37   [1,1,  11]  . . . . 0: RelativeDistinguishedName SET OF
 464        39   [1,1,   9]  . . . . . 0: AttributeTypeAndValue SEQUENCE
 465        41   [1,1,   3]  . . . . . . type: AttributeType OBJECT IDENTIFIER id-at-countryName (2.5.4.6)
 466        46   [0,0,   4]  . . . . . . value: [UNIV 19] AttributeValue ANY
 467                         . . . . . . . 13:02:58:58
 468        46   [1,1,   2]  . . . . . . . DEFINED BY (2.5.4.6): PrintableString PrintableString XX
 469        50   [1,1,  19]  . . . . 1: RelativeDistinguishedName SET OF
 470        52   [1,1,  17]  . . . . . 0: AttributeTypeAndValue SEQUENCE
 471        54   [1,1,   3]  . . . . . . type: AttributeType OBJECT IDENTIFIER id-at-stateOrProvinceName (2.5.4.8)
 472        59   [0,0,  12]  . . . . . . value: [UNIV 19] AttributeValue ANY
 473                         . . . . . . . 13:0A:53:6F:6D:65:2D:53:74:61:74:65
 474        59   [1,1,  10]  . . . . . . . DEFINED BY (2.5.4.8): PrintableString PrintableString Some-State
 475        71   [1,1,  13]  . . . . 2: RelativeDistinguishedName SET OF
 476        73   [1,1,  11]  . . . . . 0: AttributeTypeAndValue SEQUENCE
 477        75   [1,1,   3]  . . . . . . type: AttributeType OBJECT IDENTIFIER id-at-localityName (2.5.4.7)
 478        80   [0,0,   6]  . . . . . . value: [UNIV 19] AttributeValue ANY
 479                         . . . . . . . 13:04:43:69:74:79
 480        80   [1,1,   4]  . . . . . . . DEFINED BY (2.5.4.7): PrintableString PrintableString City
 481        86   [1,1,  33]  . . . . 3: RelativeDistinguishedName SET OF
 482        88   [1,1,  31]  . . . . . 0: AttributeTypeAndValue SEQUENCE
 483        90   [1,1,   3]  . . . . . . type: AttributeType OBJECT IDENTIFIER id-at-organizationName (2.5.4.10)
 484        95   [0,0,  26]  . . . . . . value: [UNIV 19] AttributeValue ANY
 485                         . . . . . . . 13:18:49:6E:74:65:72:6E:65:74:20:57:69:64:67:69
 486                         . . . . . . . 74:73:20:50:74:79:20:4C:74:64
 487        95   [1,1,  24]  . . . . . . . DEFINED BY (2.5.4.10): PrintableString PrintableString Internet Widgits Pty Ltd
 488
 489 :ref:`Read more <definedby>` about that feature.