Merge #1575

1575: Use the same lexer as `rustc` r=matklad a=matklad

This is :zap: !

bors r+

Co-authored-by: Aleksey Kladov <[email protected]>

2 files changed, 69 insertions, 0 deletions

diff --git a/crates/ra_syntax/tests/data/parser/ok/0030_string_suffixes.rs b/crates/ra_syntax/tests/data/parser/ok/0030_string_suffixes.rs
new file mode 100644
index 000000000..261aad1fb
--- /dev/null
+++ b/crates/ra_syntax/tests/data/parser/ok/0030_string_suffixes.rs
@@ -0,0 +1,6 @@
+fn main() {
+    let _ = 'c'u32;
+    let _ = "string"invalid;
+    let _ = b'b'_suff;
+    let _ = b"bs"invalid;
+}
diff --git a/crates/ra_syntax/tests/data/parser/ok/0030_string_suffixes.txt b/crates/ra_syntax/tests/data/parser/ok/0030_string_suffixes.txt
new file mode 100644
index 000000000..4f7e809c5
--- /dev/null
+++ b/crates/ra_syntax/tests/data/parser/ok/0030_string_suffixes.txt
@@ -0,0 +1,63 @@
+SOURCE_FILE@[0; 112)
+  FN_DEF@[0; 111)
+    FN_KW@[0; 2) "fn"
+    WHITESPACE@[2; 3) " "
+    NAME@[3; 7)
+      IDENT@[3; 7) "main"
+    PARAM_LIST@[7; 9)
+      L_PAREN@[7; 8) "("
+      R_PAREN@[8; 9) ")"
+    WHITESPACE@[9; 10) " "
+    BLOCK@[10; 111)
+      L_CURLY@[10; 11) "{"
+      WHITESPACE@[11; 16) "\n    "
+      LET_STMT@[16; 31)
+        LET_KW@[16; 19) "let"
+        WHITESPACE@[19; 20) " "
+        PLACEHOLDER_PAT@[20; 21)
+          UNDERSCORE@[20; 21) "_"
+        WHITESPACE@[21; 22) " "
+        EQ@[22; 23) "="
+        WHITESPACE@[23; 24) " "
+        LITERAL@[24; 30)
+          CHAR@[24; 30) "\'c\'u32"
+        SEMI@[30; 31) ";"
+      WHITESPACE@[31; 36) "\n    "
+      LET_STMT@[36; 60)
+        LET_KW@[36; 39) "let"
+        WHITESPACE@[39; 40) " "
+        PLACEHOLDER_PAT@[40; 41)
+          UNDERSCORE@[40; 41) "_"
+        WHITESPACE@[41; 42) " "
+        EQ@[42; 43) "="
+        WHITESPACE@[43; 44) " "
+        LITERAL@[44; 59)
+          STRING@[44; 59) "\"string\"invalid"
+        SEMI@[59; 60) ";"
+      WHITESPACE@[60; 65) "\n    "
+      LET_STMT@[65; 83)
+        LET_KW@[65; 68) "let"
+        WHITESPACE@[68; 69) " "
+        PLACEHOLDER_PAT@[69; 70)
+          UNDERSCORE@[69; 70) "_"
+        WHITESPACE@[70; 71) " "
+        EQ@[71; 72) "="
+        WHITESPACE@[72; 73) " "
+        LITERAL@[73; 82)
+          BYTE@[73; 82) "b\'b\'_suff"
+        SEMI@[82; 83) ";"
+      WHITESPACE@[83; 88) "\n    "
+      LET_STMT@[88; 109)
+        LET_KW@[88; 91) "let"
+        WHITESPACE@[91; 92) " "
+        PLACEHOLDER_PAT@[92; 93)
+          UNDERSCORE@[92; 93) "_"
+        WHITESPACE@[93; 94) " "
+        EQ@[94; 95) "="
+        WHITESPACE@[95; 96) " "
+        LITERAL@[96; 108)
+          BYTE_STRING@[96; 108) "b\"bs\"invalid"
+        SEMI@[108; 109) ";"
+      WHITESPACE@[109; 110) "\n"
+      R_CURLY@[110; 111) "}"
+  WHITESPACE@[111; 112) "\n"