Merge #996

996: Allow attributes on top level expressions r=matklad a=pcpthm

This PR modifies parser to allow outer attributes on top level expression. Here, top level expression means either
- Expression statement e.g. `foo();`
- Last expression in a block without semicolon `bar()` in `{ foo(); bar() }`.

Except for binary operation expressions and `if` expressions, which are errors (feature gated) in rustc.
Attributes on inner expressions like `foo(#[a] 1)` are not implemented.

I first tried to implement this by passing `Maker` to expression parsers. However, this implementation couldn't parse `#[attr] foo()` correctly as `CallExpr(Attr(..), PathExpr(..), ArgList(..))` and instead parsed incorrectly as `CallExpr(PathExpr(Attr(..), ..), ArgList(..))` due to the way left recursion is handled.
In the end, I introduce `undo_completion` method. Which is not the suggested approach, but it seems not very bad.

Fix #759.


Co-authored-by: pcpthm <[email protected]>

6 files changed, 211 insertions, 0 deletions

diff --git a/crates/ra_syntax/tests/data/parser/inline/err/0009_attr_on_expr_not_allowed.rs b/crates/ra_syntax/tests/data/parser/inline/err/0009_attr_on_expr_not_allowed.rs
new file mode 100644
index 000000000..d725a07ce
--- /dev/null
+++ b/crates/ra_syntax/tests/data/parser/inline/err/0009_attr_on_expr_not_allowed.rs
@@ -0,0 +1,4 @@
+fn foo() {
+   #[A] 1 + 2;
+   #[B] if true {};
+}
diff --git a/crates/ra_syntax/tests/data/parser/inline/err/0009_attr_on_expr_not_allowed.txt b/crates/ra_syntax/tests/data/parser/inline/err/0009_attr_on_expr_not_allowed.txt
new file mode 100644
index 000000000..fdea1ec1e
--- /dev/null
+++ b/crates/ra_syntax/tests/data/parser/inline/err/0009_attr_on_expr_not_allowed.txt
@@ -0,0 +1,55 @@
+SOURCE_FILE@[0; 48)
+  FN_DEF@[0; 47)
+    FN_KW@[0; 2)
+    WHITESPACE@[2; 3)
+    NAME@[3; 6)
+      IDENT@[3; 6) "foo"
+    PARAM_LIST@[6; 8)
+      L_PAREN@[6; 7)
+      R_PAREN@[7; 8)
+    WHITESPACE@[8; 9)
+    BLOCK@[9; 47)
+      L_CURLY@[9; 10)
+      WHITESPACE@[10; 14)
+      EXPR_STMT@[14; 25)
+        ATTR@[14; 18)
+          POUND@[14; 15)
+          TOKEN_TREE@[15; 18)
+            L_BRACK@[15; 16)
+            IDENT@[16; 17) "A"
+            R_BRACK@[17; 18)
+        WHITESPACE@[18; 19)
+        BIN_EXPR@[19; 24)
+          LITERAL@[19; 20)
+            INT_NUMBER@[19; 20) "1"
+          WHITESPACE@[20; 21)
+          PLUS@[21; 22)
+          WHITESPACE@[22; 23)
+          LITERAL@[23; 24)
+            INT_NUMBER@[23; 24) "2"
+            err: `attributes are not allowed on BIN_EXPR`
+        SEMI@[24; 25)
+      WHITESPACE@[25; 29)
+      EXPR_STMT@[29; 45)
+        ATTR@[29; 33)
+          POUND@[29; 30)
+          TOKEN_TREE@[30; 33)
+            L_BRACK@[30; 31)
+            IDENT@[31; 32) "B"
+            R_BRACK@[32; 33)
+        WHITESPACE@[33; 34)
+        IF_EXPR@[34; 44)
+          IF_KW@[34; 36)
+          WHITESPACE@[36; 37)
+          CONDITION@[37; 41)
+            LITERAL@[37; 41)
+              TRUE_KW@[37; 41)
+          WHITESPACE@[41; 42)
+          BLOCK@[42; 44)
+            L_CURLY@[42; 43)
+            R_CURLY@[43; 44)
+            err: `attributes are not allowed on IF_EXPR`
+        SEMI@[44; 45)
+      WHITESPACE@[45; 46)
+      R_CURLY@[46; 47)
+  WHITESPACE@[47; 48)
diff --git a/crates/ra_syntax/tests/data/parser/inline/ok/0126_attr_on_expr_stmt.rs b/crates/ra_syntax/tests/data/parser/inline/ok/0126_attr_on_expr_stmt.rs
new file mode 100644
index 000000000..b28c078f9
--- /dev/null
+++ b/crates/ra_syntax/tests/data/parser/inline/ok/0126_attr_on_expr_stmt.rs
@@ -0,0 +1,6 @@
+fn foo() {
+    #[A] foo();
+    #[B] bar!{}
+    #[C] #[D] {}
+    #[D] return ();
+}
diff --git a/crates/ra_syntax/tests/data/parser/inline/ok/0126_attr_on_expr_stmt.txt b/crates/ra_syntax/tests/data/parser/inline/ok/0126_attr_on_expr_stmt.txt
new file mode 100644
index 000000000..7cd525cc7
--- /dev/null
+++ b/crates/ra_syntax/tests/data/parser/inline/ok/0126_attr_on_expr_stmt.txt
@@ -0,0 +1,88 @@
+SOURCE_FILE@[0; 82)
+  FN_DEF@[0; 81)
+    FN_KW@[0; 2)
+    WHITESPACE@[2; 3)
+    NAME@[3; 6)
+      IDENT@[3; 6) "foo"
+    PARAM_LIST@[6; 8)
+      L_PAREN@[6; 7)
+      R_PAREN@[7; 8)
+    WHITESPACE@[8; 9)
+    BLOCK@[9; 81)
+      L_CURLY@[9; 10)
+      WHITESPACE@[10; 15)
+      EXPR_STMT@[15; 26)
+        ATTR@[15; 19)
+          POUND@[15; 16)
+          TOKEN_TREE@[16; 19)
+            L_BRACK@[16; 17)
+            IDENT@[17; 18) "A"
+            R_BRACK@[18; 19)
+        WHITESPACE@[19; 20)
+        CALL_EXPR@[20; 25)
+          PATH_EXPR@[20; 23)
+            PATH@[20; 23)
+              PATH_SEGMENT@[20; 23)
+                NAME_REF@[20; 23)
+                  IDENT@[20; 23) "foo"
+          ARG_LIST@[23; 25)
+            L_PAREN@[23; 24)
+            R_PAREN@[24; 25)
+        SEMI@[25; 26)
+      WHITESPACE@[26; 31)
+      EXPR_STMT@[31; 42)
+        ATTR@[31; 35)
+          POUND@[31; 32)
+          TOKEN_TREE@[32; 35)
+            L_BRACK@[32; 33)
+            IDENT@[33; 34) "B"
+            R_BRACK@[34; 35)
+        WHITESPACE@[35; 36)
+        MACRO_CALL@[36; 42)
+          PATH@[36; 39)
+            PATH_SEGMENT@[36; 39)
+              NAME_REF@[36; 39)
+                IDENT@[36; 39) "bar"
+          EXCL@[39; 40)
+          TOKEN_TREE@[40; 42)
+            L_CURLY@[40; 41)
+            R_CURLY@[41; 42)
+      WHITESPACE@[42; 47)
+      EXPR_STMT@[47; 59)
+        ATTR@[47; 51)
+          POUND@[47; 48)
+          TOKEN_TREE@[48; 51)
+            L_BRACK@[48; 49)
+            IDENT@[49; 50) "C"
+            R_BRACK@[50; 51)
+        WHITESPACE@[51; 52)
+        ATTR@[52; 56)
+          POUND@[52; 53)
+          TOKEN_TREE@[53; 56)
+            L_BRACK@[53; 54)
+            IDENT@[54; 55) "D"
+            R_BRACK@[55; 56)
+        WHITESPACE@[56; 57)
+        BLOCK_EXPR@[57; 59)
+          BLOCK@[57; 59)
+            L_CURLY@[57; 58)
+            R_CURLY@[58; 59)
+      WHITESPACE@[59; 64)
+      EXPR_STMT@[64; 79)
+        ATTR@[64; 68)
+          POUND@[64; 65)
+          TOKEN_TREE@[65; 68)
+            L_BRACK@[65; 66)
+            IDENT@[66; 67) "D"
+            R_BRACK@[67; 68)
+        WHITESPACE@[68; 69)
+        RETURN_EXPR@[69; 78)
+          RETURN_KW@[69; 75)
+          WHITESPACE@[75; 76)
+          TUPLE_EXPR@[76; 78)
+            L_PAREN@[76; 77)
+            R_PAREN@[77; 78)
+        SEMI@[78; 79)
+      WHITESPACE@[79; 80)
+      R_CURLY@[80; 81)
+  WHITESPACE@[81; 82)
diff --git a/crates/ra_syntax/tests/data/parser/inline/ok/0127_attr_on_last_expr_in_block.rs b/crates/ra_syntax/tests/data/parser/inline/ok/0127_attr_on_last_expr_in_block.rs
new file mode 100644
index 000000000..9c5c8eb36
--- /dev/null
+++ b/crates/ra_syntax/tests/data/parser/inline/ok/0127_attr_on_last_expr_in_block.rs
@@ -0,0 +1,4 @@
+fn foo() {
+    { #[A] bar!()? }
+    #[B] &()
+}
diff --git a/crates/ra_syntax/tests/data/parser/inline/ok/0127_attr_on_last_expr_in_block.txt b/crates/ra_syntax/tests/data/parser/inline/ok/0127_attr_on_last_expr_in_block.txt
new file mode 100644
index 000000000..4af64559c
--- /dev/null
+++ b/crates/ra_syntax/tests/data/parser/inline/ok/0127_attr_on_last_expr_in_block.txt
@@ -0,0 +1,54 @@
+SOURCE_FILE@[0; 47)
+  FN_DEF@[0; 46)
+    FN_KW@[0; 2)
+    WHITESPACE@[2; 3)
+    NAME@[3; 6)
+      IDENT@[3; 6) "foo"
+    PARAM_LIST@[6; 8)
+      L_PAREN@[6; 7)
+      R_PAREN@[7; 8)
+    WHITESPACE@[8; 9)
+    BLOCK@[9; 46)
+      L_CURLY@[9; 10)
+      WHITESPACE@[10; 15)
+      EXPR_STMT@[15; 31)
+        BLOCK_EXPR@[15; 31)
+          BLOCK@[15; 31)
+            L_CURLY@[15; 16)
+            WHITESPACE@[16; 17)
+            TRY_EXPR@[17; 29)
+              ATTR@[17; 21)
+                POUND@[17; 18)
+                TOKEN_TREE@[18; 21)
+                  L_BRACK@[18; 19)
+                  IDENT@[19; 20) "A"
+                  R_BRACK@[20; 21)
+              WHITESPACE@[21; 22)
+              MACRO_CALL@[22; 28)
+                PATH@[22; 25)
+                  PATH_SEGMENT@[22; 25)
+                    NAME_REF@[22; 25)
+                      IDENT@[22; 25) "bar"
+                EXCL@[25; 26)
+                TOKEN_TREE@[26; 28)
+                  L_PAREN@[26; 27)
+                  R_PAREN@[27; 28)
+              QUESTION@[28; 29)
+            WHITESPACE@[29; 30)
+            R_CURLY@[30; 31)
+      WHITESPACE@[31; 36)
+      REF_EXPR@[36; 44)
+        ATTR@[36; 40)
+          POUND@[36; 37)
+          TOKEN_TREE@[37; 40)
+            L_BRACK@[37; 38)
+            IDENT@[38; 39) "B"
+            R_BRACK@[39; 40)
+        WHITESPACE@[40; 41)
+        AMP@[41; 42)
+        TUPLE_EXPR@[42; 44)
+          L_PAREN@[42; 43)
+          R_PAREN@[43; 44)
+      WHITESPACE@[44; 45)
+      R_CURLY@[45; 46)
+  WHITESPACE@[46; 47)