token --- 与Python解析树一起使用的常量¶
源码： Lib/token.py
This module provides constants which represent the numeric values of leaf nodes
of the parse tree (terminal tokens). Refer to the file Grammar/Tokens
in the Python distribution for the definitions of the names in the context of
the language grammar. The specific numeric values which the names map to may
change between Python versions.
该模块还提供从数字代码到名称和一些函数的映射。 这些函数镜像了 Python C 头文件中的定义。
-
token.tok_name¶ 将此模块中定义的常量的数值映射回名称字符串的字典，允许生成更加人类可读的解析树表示。
-
token.ISTERMINAL(x)¶ 对终端标记值返回
True。
-
token.ISNONTERMINAL(x)¶ 对非终端标记值返回
True。
-
token.ISEOF(x)¶ 如果 x 是表示输入结束的标记则返回
True。
标记常量是：
-
token.ENDMARKER¶
-
token.NAME¶
-
token.NUMBER¶
-
token.STRING¶
-
token.NEWLINE¶
-
token.INDENT¶
-
token.DEDENT¶
-
token.LPAR¶ "("的权标值。
-
token.RPAR¶ ")"的权标值。
-
token.LSQB¶ "["的权标值。
-
token.RSQB¶ "]"的权标值。
-
token.COLON¶ ":"的权标值。
-
token.COMMA¶ ","的权标值。
-
token.SEMI¶ ";"的权标值。
-
token.PLUS¶ "+"的权标值。
-
token.MINUS¶ "-"的权标值。
-
token.STAR¶ "*"的权标值。
-
token.SLASH¶ "/"的权标值。
-
token.VBAR¶ "|"的权标值。
-
token.AMPER¶ "&"的权标值。
-
token.LESS¶ "<"的权标值。
-
token.GREATER¶ ">"的权标值。
-
token.EQUAL¶ Token value for
"=".
-
token.DOT¶ Token value for
".".
-
token.PERCENT¶ Token value for
"%".
-
token.LBRACE¶ Token value for
"{".
-
token.RBRACE¶ Token value for
"}".
-
token.EQEQUAL¶ Token value for
"==".
-
token.NOTEQUAL¶ Token value for
"!=".
-
token.LESSEQUAL¶ Token value for
"<=".
-
token.GREATEREQUAL¶ Token value for
">=".
-
token.TILDE¶ Token value for
"~".
-
token.CIRCUMFLEX¶ Token value for
"^".
-
token.LEFTSHIFT¶ Token value for
"<<".
-
token.RIGHTSHIFT¶ Token value for
">>".
-
token.DOUBLESTAR¶ Token value for
"**".
-
token.PLUSEQUAL¶ Token value for
"+=".
-
token.MINEQUAL¶ Token value for
"-=".
-
token.STAREQUAL¶ Token value for
"*=".
-
token.SLASHEQUAL¶ Token value for
"/=".
-
token.PERCENTEQUAL¶ Token value for
"%=".
-
token.AMPEREQUAL¶ Token value for
"&=".
-
token.VBAREQUAL¶ Token value for
"|=".
-
token.CIRCUMFLEXEQUAL¶ Token value for
"^=".
-
token.LEFTSHIFTEQUAL¶ Token value for
"<<=".
-
token.RIGHTSHIFTEQUAL¶ Token value for
">>=".
-
token.DOUBLESTAREQUAL¶ Token value for
"**=".
-
token.DOUBLESLASH¶ Token value for
"//".
-
token.DOUBLESLASHEQUAL¶ Token value for
"//=".
-
token.AT¶ Token value for
"@".
-
token.ATEQUAL¶ Token value for
"@=".
-
token.RARROW¶ Token value for
"->".
-
token.ELLIPSIS¶ Token value for
"...".
-
token.COLONEQUAL¶ Token value for
":=".
-
token.OP¶
-
token.AWAIT¶
-
token.ASYNC¶
-
token.TYPE_IGNORE¶
-
token.TYPE_COMMENT¶
-
token.SOFT_KEYWORD¶
-
token.ERRORTOKEN¶
-
token.N_TOKENS¶
-
token.NT_OFFSET¶
C 标记生成器不使用以下标记类型值，但 tokenize 模块需要这些标记类型值。
-
token.COMMENT¶ 标记值用于表示注释。
-
token.ENCODING¶ 指示用于将源字节解码为文本的编码的标记值。
tokenize.tokenize()返回的第一个标记将始终是一个ENCODING标记。
-
token.TYPE_COMMENT Token value indicating that a type comment was recognized. Such tokens are only produced when
ast.parse()is invoked withtype_comments=True.
在 3.8 版更改: Added TYPE_COMMENT, TYPE_IGNORE, COLONEQUAL.
Added AWAIT and ASYNC tokens back (they're needed
to support parsing older Python versions for ast.parse() with
feature_version set to 6 or lower).