diff options
author | Aleksey Kladov <[email protected]> | 2018-07-30 15:46:50 +0100 |
---|---|---|
committer | Aleksey Kladov <[email protected]> | 2018-07-30 15:46:50 +0100 |
commit | 7fb7cfc2d1cd2781a20e4034b12384566d13c728 (patch) | |
tree | 86495030c1c1fdda29946165cdd750569dfe044f /src/grammar.ron | |
parent | d4366940976a3d150a8b5bf92dc24f0162d4d62c (diff) |
generate single byte tokens
Diffstat (limited to 'src/grammar.ron')
-rw-r--r-- | src/grammar.ron | 74 |
1 files changed, 39 insertions, 35 deletions
diff --git a/src/grammar.ron b/src/grammar.ron index 8232ba1dc..38453b45c 100644 --- a/src/grammar.ron +++ b/src/grammar.ron | |||
@@ -1,4 +1,43 @@ | |||
1 | Grammar( | 1 | Grammar( |
2 | single_byte_tokens: [ | ||
3 | [";", "SEMI"], | ||
4 | [",", "COMMA"], | ||
5 | ["(", "L_PAREN"], | ||
6 | [")", "R_PAREN"], | ||
7 | ["{", "L_CURLY"], | ||
8 | ["}", "R_CURLY"], | ||
9 | ["[", "L_BRACK"], | ||
10 | ["]", "R_BRACK"], | ||
11 | ["<", "L_ANGLE"], | ||
12 | [">", "R_ANGLE"], | ||
13 | ["@", "AT"], | ||
14 | ["#", "POUND"], | ||
15 | ["~", "TILDE"], | ||
16 | ["?", "QUESTION"], | ||
17 | ["$", "DOLLAR"], | ||
18 | ["&", "AMPERSAND"], | ||
19 | ["|", "PIPE"], | ||
20 | ["+", "PLUS"], | ||
21 | ["*", "STAR"], | ||
22 | ["/", "SLASH"], | ||
23 | ["^", "CARET"], | ||
24 | ["%", "PERCENT"], | ||
25 | ], | ||
26 | multi_byte_tokens: [ | ||
27 | [".", "DOT"], | ||
28 | ["..", "DOTDOT"], | ||
29 | ["...", "DOTDOTDOT"], | ||
30 | ["..=", "DOTDOTEQ"], | ||
31 | [":", "COLON"], | ||
32 | ["::", "COLONCOLON"], | ||
33 | ["=", "EQ"], | ||
34 | ["==", "EQEQ"], | ||
35 | ["=>", "FAT_ARROW"], | ||
36 | ["!", "EXCL"], | ||
37 | ["!=", "NEQ"], | ||
38 | ["-", "MINUS"], | ||
39 | ["->", "THIN_ARROW"], | ||
40 | ], | ||
2 | keywords: [ | 41 | keywords: [ |
3 | "use", | 42 | "use", |
4 | "fn", | 43 | "fn", |
@@ -42,32 +81,6 @@ Grammar( | |||
42 | "WHITESPACE", | 81 | "WHITESPACE", |
43 | "INT_NUMBER", | 82 | "INT_NUMBER", |
44 | "FLOAT_NUMBER", | 83 | "FLOAT_NUMBER", |
45 | "SEMI", | ||
46 | "COMMA", | ||
47 | "DOT", | ||
48 | "DOTDOT", | ||
49 | "DOTDOTDOT", | ||
50 | "DOTDOTEQ", | ||
51 | "L_PAREN", | ||
52 | "R_PAREN", | ||
53 | "L_CURLY", | ||
54 | "R_CURLY", | ||
55 | "L_BRACK", | ||
56 | "R_BRACK", | ||
57 | "L_ANGLE", | ||
58 | "R_ANGLE", | ||
59 | "AT", | ||
60 | "POUND", | ||
61 | "TILDE", | ||
62 | "QUESTION", | ||
63 | "COLON", | ||
64 | "COLONCOLON", | ||
65 | "DOLLAR", | ||
66 | "EQ", | ||
67 | "EQEQ", | ||
68 | "FAT_ARROW", | ||
69 | "NEQ", | ||
70 | "EXCL", | ||
71 | "LIFETIME", | 84 | "LIFETIME", |
72 | "CHAR", | 85 | "CHAR", |
73 | "BYTE", | 86 | "BYTE", |
@@ -75,15 +88,6 @@ Grammar( | |||
75 | "RAW_STRING", | 88 | "RAW_STRING", |
76 | "BYTE_STRING", | 89 | "BYTE_STRING", |
77 | "RAW_BYTE_STRING", | 90 | "RAW_BYTE_STRING", |
78 | "PLUS", | ||
79 | "MINUS", | ||
80 | "STAR", | ||
81 | "SLASH", | ||
82 | "CARET", | ||
83 | "PERCENT", | ||
84 | "AMPERSAND", | ||
85 | "PIPE", | ||
86 | "THIN_ARROW", | ||
87 | "COMMENT", | 91 | "COMMENT", |
88 | "DOC_COMMENT", | 92 | "DOC_COMMENT", |
89 | "SHEBANG", | 93 | "SHEBANG", |