Improve whitespace handling in PraatLexer.

1 files changed, 149 insertions, 118 deletions

diff --git a/tests/examplefiles/praat/example.praat.output b/tests/examplefiles/praat/example.praat.output
index 85770c1a..503a241d 100644
--- a/tests/examplefiles/praat/example.praat.output
+++ b/tests/examplefiles/praat/example.praat.output
@@ -5,28 +5,34 @@
 '# This is a regular comment' Comment.Single
 '\n  '        Text.Whitespace
 'sentence'    Keyword
-' Blank'      Text.Whitespace
+' '           Text.Whitespace
+'Blank'       Literal.String
 '\n'          Text.Whitespace
 
 '  '          Text.Whitespace
 'sentence'    Keyword
-' My_sentence' Text.Whitespace
+' '           Text.Whitespace
+'My_sentence' Literal.String
 ' '           Text.Whitespace
 'This should all be a string' Literal.String
 '\n'          Text.Whitespace
 
 '  '          Text.Whitespace
 'text'        Keyword
-' My_text'    Text.Whitespace
+' '           Text.Whitespace
+'My_text'     Literal.String
 ' '           Text.Whitespace
 'This should also all be a string' Literal.String
 '\n'          Text.Whitespace
 
 '  '          Text.Whitespace
 'word'        Keyword
-' My_word '   Text.Whitespace
-'Only'        Literal.String
-' the first word is a string, the rest is discarded' Text.Whitespace
+' '           Text.Whitespace
+'My_word'     Text
+' '           Text.Whitespace
+'Only'        Text
+' '           Text.Whitespace
+'the first word is a string, the rest is discarded' Text
 '\n  '        Text.Whitespace
 'boolean'     Keyword
 ' Binary '    Text.Whitespace
@@ -47,7 +53,10 @@
 
 '  '          Text.Whitespace
 'optionmenu'  Keyword
-' Drop-down: ' Text.Whitespace
+' '           Text.Whitespace
+'n'           Text
+':'           Punctuation
+' '           Text.Whitespace
 '1'           Literal.Number
 '\n'          Text.Whitespace
 
@@ -65,7 +74,10 @@
 
 '  '          Text.Whitespace
 'choice'      Keyword
-' Radio: '    Text.Whitespace
+' '           Text.Whitespace
+'o'           Text
+':'           Punctuation
+' '           Text.Whitespace
 '1'           Literal.Number
 '\n'          Text.Whitespace
 
@@ -109,7 +121,7 @@
 '"'           Literal.String
 'Highlighter test' Literal.String
 '"'           Literal.String
-'\n'          Text
+'\n'          Text.Whitespace
 
 '  '          Text.Whitespace
 'sentence'    Name.Function
@@ -122,7 +134,7 @@
 ' '           Text.Whitespace
 '"'           Literal.String
 '"'           Literal.String
-'\n'          Text
+'\n'          Text.Whitespace
 
 '  '          Text.Whitespace
 'sentence'    Name.Function
@@ -136,7 +148,7 @@
 '"'           Literal.String
 'This should all be a string' Literal.String
 '"'           Literal.String
-'\n'          Text
+'\n'          Text.Whitespace
 
 '  '          Text.Whitespace
 'text'        Name.Function
@@ -150,7 +162,7 @@
 '"'           Literal.String
 'This should also all be a string' Literal.String
 '"'           Literal.String
-'\n'          Text
+'\n'          Text.Whitespace
 
 '  '          Text.Whitespace
 'word'        Name.Function
@@ -164,7 +176,7 @@
 '"'           Literal.String
 'Only the first word is a string, the rest is discarded' Literal.String
 '"'           Literal.String
-'\n'          Text
+'\n'          Text.Whitespace
 
 '  '          Text.Whitespace
 'boolean'     Name.Function
@@ -176,7 +188,7 @@
 ','           Punctuation
 ' '           Text.Whitespace
 '1'           Literal.Number
-'\n'          Text
+'\n'          Text.Whitespace
 
 '  '          Text.Whitespace
 'comment'     Name.Function
@@ -185,7 +197,7 @@
 '"'           Literal.String
 'This should be a string' Literal.String
 '"'           Literal.String
-'\n'          Text
+'\n'          Text.Whitespace
 
 '  '          Text.Whitespace
 'optionMenu'  Name.Function
@@ -197,7 +209,7 @@
 ','           Punctuation
 ' '           Text.Whitespace
 '1'           Literal.Number
-'\n'          Text
+'\n'          Text.Whitespace
 
 '    '        Text.Whitespace
 'option'      Name.Function
@@ -206,7 +218,7 @@
 '"'           Literal.String
 'Foo'         Literal.String
 '"'           Literal.String
-'\n'          Text
+'\n'          Text.Whitespace
 
 '    '        Text.Whitespace
 'option'      Name.Function
@@ -215,7 +227,7 @@
 '"'           Literal.String
 '100'         Literal.String
 '"'           Literal.String
-'\n'          Text
+'\n'          Text.Whitespace
 
 '  '          Text.Whitespace
 'choice'      Name.Function
@@ -227,7 +239,7 @@
 ','           Punctuation
 ' '           Text.Whitespace
 '1'           Literal.Number
-'\n'          Text
+'\n'          Text.Whitespace
 
 '    '        Text.Whitespace
 'option'      Name.Function
@@ -236,7 +248,7 @@
 '"'           Literal.String
 'Foo'         Literal.String
 '"'           Literal.String
-'\n'          Text
+'\n'          Text.Whitespace
 
 '    '        Text.Whitespace
 'option'      Name.Function
@@ -245,7 +257,7 @@
 '"'           Literal.String
 '100'         Literal.String
 '"'           Literal.String
-'\n'          Text
+'\n'          Text.Whitespace
 
 '  '          Text.Whitespace
 'real'        Name.Function
@@ -258,7 +270,7 @@
 ' '           Text.Whitespace
 '-'           Operator
 '123.6'       Literal.Number
-'\n'          Text
+'\n'          Text.Whitespace
 
 '  '          Text.Whitespace
 'positive'    Name.Function
@@ -270,7 +282,7 @@
 ','           Punctuation
 ' '           Text.Whitespace
 '3.3'         Literal.Number
-'\n'          Text
+'\n'          Text.Whitespace
 
 '  '          Text.Whitespace
 'integer'     Name.Function
@@ -282,7 +294,7 @@
 ','           Punctuation
 ' '           Text.Whitespace
 '4'           Literal.Number
-'\n'          Text
+'\n'          Text.Whitespace
 
 '  '          Text.Whitespace
 'natural'     Name.Function
@@ -294,7 +306,7 @@
 ','           Punctuation
 ' '           Text.Whitespace
 '4'           Literal.Number
-'\n'          Text
+'\n'          Text.Whitespace
 
 'button'      Text
 ' '           Text.Whitespace
@@ -316,7 +328,7 @@
 ','           Punctuation
 ' '           Text.Whitespace
 '2'           Literal.Number
-')'           Text
+')'           Punctuation
 '\n\n'        Text.Whitespace
 
 '# Periods do not establish boundaries for keywords' Comment.Single
@@ -362,7 +374,7 @@
 '"'           Literal.String
 '/path/to/file' Literal.String
 '"'           Literal.String
-'\n'          Text
+'\n'          Text.Whitespace
 
 'execute'     Keyword
 ' '           Text.Whitespace
@@ -482,7 +494,7 @@
 ':'           Punctuation
 ' '           Text.Whitespace
 'undefined'   Name.Variable.Global
-'\n'          Text
+'\n'          Text.Whitespace
 
 '# Not predefined variables' Comment.Single
 '\n'          Text.Whitespace
@@ -515,14 +527,14 @@
 ','           Punctuation
 ' '           Text.Whitespace
 '6'           Literal.Number
-')'           Text
+')'           Punctuation
 '\n'          Text.Whitespace
 
 'a'           Text
 ' '           Text.Whitespace
 '['           Punctuation
 '3'           Literal.Number
-']'           Text
+']'           Punctuation
 ','           Punctuation
 ' '           Text.Whitespace
 '5'           Literal.Number
@@ -543,7 +555,7 @@
 ' '           Text.Whitespace
 '['           Punctuation
 '1'           Literal.Number
-']'           Text
+']'           Punctuation
 ' '           Text.Whitespace
 '='           Operator
 ' '           Text.Whitespace
@@ -557,8 +569,8 @@
 ' '           Text.Whitespace
 '['           Punctuation
 '1'           Literal.Number
-']'           Text
-']'           Text
+']'           Punctuation
+']'           Punctuation
 ' '           Text.Whitespace
 '='           Operator
 ' '           Text.Whitespace
@@ -574,8 +586,8 @@
 ' '           Text.Whitespace
 '['           Punctuation
 '1'           Literal.Number
-']'           Text
-']'           Text
+']'           Punctuation
+']'           Punctuation
 ' '           Text.Whitespace
 '='           Operator
 ' '           Text.Whitespace
@@ -618,7 +630,7 @@
 '"'           Literal.String
 'We are on Linux' Literal.String
 '"'           Literal.String
-'\n'          Text
+'\n'          Text.Whitespace
 
 'else'        Keyword
 ' '           Text.Whitespace
@@ -672,7 +684,7 @@
 'quoted '     Literal.String
 "'a:3'"       Literal.String.Interpol
 '"'           Literal.String
-'\n'          Text
+'\n'          Text.Whitespace
 
 'appendInfoLine' Name.Function
 ':'           Punctuation
@@ -681,7 +693,7 @@
 'quoted '     Literal.String
 "'a.a:3'"     Literal.String.Interpol
 '"'           Literal.String
-'\n'          Text
+'\n'          Text.Whitespace
 
 'appendInfoLine' Name.Function
 ':'           Punctuation
@@ -690,7 +702,7 @@
 'quoted '     Literal.String
 "'a[1]:3'"    Literal.String.Interpol
 '"'           Literal.String
-'\n'          Text
+'\n'          Text.Whitespace
 
 'appendInfoLine' Name.Function
 ':'           Punctuation
@@ -699,7 +711,9 @@
 'quoted '     Literal.String
 "'a1:3'"      Literal.String.Interpol
 '"'           Literal.String
-'\n\n'        Text
+'\n'          Text.Whitespace
+
+'\n'          Text.Whitespace
 
 '# Interpolations are not recursive' Comment.Single
 '\n'          Text.Whitespace
@@ -725,7 +739,9 @@
 ':3'          Literal.String
 "'"           Literal.String
 '"'           Literal.String
-'\n\n'        Text
+'\n'          Text.Whitespace
+
+'\n'          Text.Whitespace
 
 '# Interpolation without precision digits' Comment.Single
 '\n'          Text.Whitespace
@@ -788,7 +804,7 @@
 "'var'"       Literal.String.Interpol
 ' numeric'    Literal.String
 '"'           Literal.String
-'\n'          Text
+'\n'          Text.Whitespace
 
 'appendInfoLine' Name.Function
 ':'           Punctuation
@@ -798,7 +814,7 @@
 "'var$'"      Literal.String.Interpol
 ' string'     Literal.String
 '"'           Literal.String
-'\n'          Text
+'\n'          Text.Whitespace
 
 'appendInfoLine' Name.Function
 ':'           Punctuation
@@ -808,7 +824,7 @@
 '\'var["a"]\'' Literal.String.Interpol
 ' numeric hash' Literal.String
 '"'           Literal.String
-'\n'          Text
+'\n'          Text.Whitespace
 
 'appendInfoLine' Name.Function
 ':'           Punctuation
@@ -818,7 +834,7 @@
 '\'var$["a"]\'' Literal.String.Interpol
 ' string hash' Literal.String
 '"'           Literal.String
-'\n'          Text
+'\n'          Text.Whitespace
 
 'appendInfoLine' Name.Function
 ':'           Punctuation
@@ -828,7 +844,7 @@
 "'var[1]'"    Literal.String.Interpol
 ' numeric indexed variable' Literal.String
 '"'           Literal.String
-'\n'          Text
+'\n'          Text.Whitespace
 
 'appendInfoLine' Name.Function
 ':'           Punctuation
@@ -838,7 +854,9 @@
 "'var$[1]'"   Literal.String.Interpol
 ' string indexed variable' Literal.String
 '"'           Literal.String
-'\n\n'        Text
+'\n'          Text.Whitespace
+
+'\n'          Text.Whitespace
 
 '# Indeces in interpolations must be literal' Comment.Single
 '\n'          Text.Whitespace
@@ -898,7 +916,7 @@
 'string$'     Name.Function
 '('           Punctuation
 '10'          Literal.Number
-')'           Text
+')'           Punctuation
 ' '           Text.Whitespace
 '; This is a function' Comment.Single
 '\n\n'        Text.Whitespace
@@ -916,7 +934,7 @@
 'right$'      Name.Function
 '('           Punctuation
 'string$'     Text
-')'           Text
+')'           Punctuation
 '\n'          Text.Whitespace
 
 'until'       Keyword
@@ -925,7 +943,7 @@
 'length'      Name.Function
 '('           Punctuation
 'string$'     Text
-')'           Text
+')'           Punctuation
 '\n\n'        Text.Whitespace
 
 'T'           Keyword
@@ -948,7 +966,7 @@
 '-'           Operator
 '-'           Operator
 'hyphens'     Text
-'\n'          Text
+'\n'          Text.Whitespace
 
 'T'           Keyword
 'ext'         Keyword
@@ -966,7 +984,7 @@
 'ottom'       Text
 ' '           Text
 'aحبيبa'      Text
-'\n'          Text
+'\n'          Text.Whitespace
 
 'T'           Keyword
 'ext'         Keyword
@@ -985,7 +1003,7 @@
 ' '           Text
 '日'           Text
 '本'           Text
-'\n'          Text
+'\n'          Text.Whitespace
 
 'D'           Keyword
 'raw '        Keyword
@@ -998,7 +1016,7 @@
 '0.5'         Literal.Number
 ' '           Text
 'i'           Text
-'\n'          Text
+'\n'          Text.Whitespace
 
 '\n'          Text.Whitespace
 
@@ -1028,7 +1046,7 @@
 'f0'          Literal.String
 '"'           Literal.String
 ']'           Punctuation
-'\n'          Text
+'\n'          Text.Whitespace
 
 'fixed'       Text
 '  '          Text.Whitespace
@@ -1065,7 +1083,7 @@
 '"'           Literal.String
 'vaa'         Literal.String
 '"'           Literal.String
-']'           Text
+']'           Punctuation
 ' '           Text.Whitespace
 '='           Operator
 ' '           Text.Whitespace
@@ -1106,7 +1124,7 @@
 'unquoted'    Text
 ' '           Text
 'string'      Text
-'\n'          Text
+'\n'          Text.Whitespace
 
 'assert'      Keyword
 ' '           Text.Whitespace
@@ -1122,7 +1140,7 @@
 
 '@'           Name.Function
 'newStyle'    Name.Function
-'('           Text
+'('           Punctuation
 '"'           Literal.String
 'quoted'      Literal.String
 '"'           Literal.String
@@ -1149,7 +1167,7 @@
 '\n  '        Text.Whitespace
 '@'           Name.Function
 'newStyle'    Name.Function
-':'           Text
+':'           Punctuation
 ' '           Text.Whitespace
 '"'           Literal.String
 'quoted'      Literal.String
@@ -1210,7 +1228,7 @@
 '"'           Literal.String
 'Sound'       Literal.String
 '"'           Literal.String
-')'           Text
+')'           Punctuation
 '\n'          Text.Whitespace
 
 'for'         Keyword
@@ -1235,14 +1253,14 @@
 '('           Punctuation
 'selected$'   Name.Function
 '('           Punctuation
-')'           Text
+')'           Punctuation
 ','           Punctuation
 ' '           Text.Whitespace
 '"'           Literal.String
 ' '           Literal.String
 '"'           Literal.String
-')'           Text
-')'           Text
+')'           Punctuation
+')'           Punctuation
 '\n  '        Text.Whitespace
 'sound'       Text
 "'i'"         Literal.String.Interpol
@@ -1262,13 +1280,13 @@
 'a'           Text
 '*'           Operator
 'b'           Text
-')'           Text
+')'           Punctuation
 ')'           Punctuation
 '\n  '        Text.Whitespace
 'sound'       Text
 '['           Punctuation
 'i'           Text
-']'           Text
+']'           Punctuation
 ' '           Text.Whitespace
 '='           Operator
 ' '           Text.Whitespace
@@ -1313,7 +1331,7 @@
 ' '           Text.Whitespace
 'selected'    Name.Function
 '('           Punctuation
-')'           Text
+')'           Punctuation
 '\n  '        Text.Whitespace
 'sound$'      Text
 ' '           Text.Whitespace
@@ -1324,7 +1342,7 @@
 '"'           Literal.String
 'Sound'       Literal.String
 '"'           Literal.String
-')'           Text
+')'           Punctuation
 '\n  '        Text.Whitespace
 'select'      Keyword
 ' '           Text.Whitespace
@@ -1340,14 +1358,16 @@
 'sound'       Text
 '['           Punctuation
 'i'           Text
-']'           Text
-')'           Text
+']'           Punctuation
+')'           Punctuation
 '\n  '        Text.Whitespace
 'selectObject' Name.Function
 ':'           Punctuation
 ' '           Text.Whitespace
 'sound'       Text
-'\n\n'        Text
+'\n'          Text.Whitespace
+
+'\n'          Text.Whitespace
 
 '  '          Text.Whitespace
 '# Pause commands' Comment.Single
@@ -1361,7 +1381,7 @@
 '+'           Operator
 ' '           Text.Whitespace
 'sound$'      Text
-')'           Text
+')'           Punctuation
 '\n  '        Text.Whitespace
 'if'          Keyword
 ' '           Text.Whitespace
@@ -1386,7 +1406,7 @@
 'Previous'    Literal.String
 '"'           Literal.String
 ','           Punctuation
-'\n      '    Text
+'\n      '    Text.Whitespace
 '...'         Punctuation
 'if'          Keyword
 ' '           Text.Whitespace
@@ -1410,13 +1430,13 @@
 ' '           Text.Whitespace
 'fi'          Keyword
 ','           Punctuation
-'\n      '    Text
+'\n      '    Text.Whitespace
 '...'         Punctuation
 '3'           Literal.Number
 ','           Punctuation
 ' '           Text.Whitespace
 '1'           Literal.Number
-')'           Text
+')'           Punctuation
 '\n  '        Text.Whitespace
 'else'        Keyword
 '\n    '      Text.Whitespace
@@ -1430,7 +1450,7 @@
 'Stop'        Literal.String
 '"'           Literal.String
 ','           Punctuation
-'\n      '    Text
+'\n      '    Text.Whitespace
 '...'         Punctuation
 'if'          Keyword
 ' '           Text.Whitespace
@@ -1454,13 +1474,13 @@
 ' '           Text.Whitespace
 'fi'          Keyword
 ','           Punctuation
-'\n      '    Text
+'\n      '    Text.Whitespace
 '...'         Punctuation
 '2'           Literal.Number
 ','           Punctuation
 ' '           Text.Whitespace
 '1'           Literal.Number
-')'           Text
+')'           Punctuation
 '\n  '        Text.Whitespace
 'endif'       Keyword
 '\n  '        Text.Whitespace
@@ -1519,7 +1539,7 @@
 ':'           Punctuation
 ' '           Text.Whitespace
 'editor_name$' Text
-'\n'          Text
+'\n'          Text.Whitespace
 
 '    '        Text.Whitespace
 'C'           Keyword
@@ -1538,7 +1558,9 @@
 '"'           Literal.String
 'SomeName'    Literal.String
 '"'           Literal.String
-'\n\n'        Text
+'\n'          Text.Whitespace
+
+'\n'          Text.Whitespace
 
 '  '          Text.Whitespace
 '# Command call with assignment' Comment.Single
@@ -1581,7 +1603,7 @@
 'no'          Literal.String
 '"'           Literal.String
 ','           Punctuation
-'\n    '      Text
+'\n    '      Text.Whitespace
 '...'         Punctuation
 '0.03'        Literal.Number
 ','           Punctuation
@@ -1599,7 +1621,7 @@
 ','           Punctuation
 ' '           Text.Whitespace
 '600'         Literal.Number
-'\n'          Text
+'\n'          Text.Whitespace
 
 '  '          Text.Whitespace
 '# Formulas are strings' Comment.Single
@@ -1615,7 +1637,9 @@
 "'first'"     Literal.String.Interpol
 ' else self fi' Literal.String
 '"'           Literal.String
-'\n\n'        Text
+'\n'          Text.Whitespace
+
+'\n'          Text.Whitespace
 
 '  '          Text.Whitespace
 '# do-style command with assignment' Comment.Single
@@ -1645,7 +1669,7 @@
 '"'           Literal.String
 'Parabolic'   Literal.String
 '"'           Literal.String
-')'           Text
+')'           Punctuation
 '\n\n  '      Text.Whitespace
 '# New-style multi-line command call with broken strings' Comment.Single
 '\n  '        Text.Whitespace
@@ -1668,7 +1692,7 @@
 ' '           Text.Whitespace
 '0'           Literal.Number
 ','           Punctuation
-'\n    '      Text
+'\n    '      Text.Whitespace
 '...'         Punctuation
 '"'           Literal.String
 'file subject speaker' Literal.String
@@ -1682,7 +1706,7 @@
 'string$'     Name.Function
 '('           Punctuation
 '3'           Literal.Number
-')'           Text
+')'           Punctuation
 ' '           Text.Whitespace
 '+'           Operator
 ' '           Text.Whitespace
@@ -1691,12 +1715,14 @@
 '"'           Literal.String
 ' '           Text.Whitespace
 '+'           Operator
-'\n    '      Text
+'\n    '      Text.Whitespace
 '...'         Punctuation
 '"'           Literal.String
 'duration response' Literal.String
 '"'           Literal.String
-'\n\n'        Text
+'\n'          Text.Whitespace
+
+'\n'          Text.Whitespace
 
 '  '          Text.Whitespace
 '# Function call with trailing space' Comment.Single
@@ -1708,7 +1734,9 @@
 ','           Punctuation
 ' '           Text.Whitespace
 'table'       Text
-'\n\n'        Text
+'\n'          Text.Whitespace
+
+'\n'          Text.Whitespace
 
 '  '          Text.Whitespace
 '# Picture window commands' Comment.Single
@@ -1717,7 +1745,7 @@
 ':'           Punctuation
 ' '           Text.Whitespace
 'sound'       Text
-'\n'          Text
+'\n'          Text.Whitespace
 
 '  '          Text.Whitespace
 '# do-style command' Comment.Single
@@ -1739,7 +1767,7 @@
 ','           Punctuation
 ' '           Text.Whitespace
 '1.5'         Literal.Number
-')'           Text
+')'           Punctuation
 '\n  '        Text.Whitespace
 'B'           Keyword
 'lack'        Keyword
@@ -1764,7 +1792,7 @@
 ' '           Text
 'C'           Text
 'urve'        Text
-'\n'          Text
+'\n'          Text.Whitespace
 
 '  '          Text.Whitespace
 'D'           Keyword
@@ -1785,7 +1813,7 @@
 ','           Punctuation
 ' '           Text.Whitespace
 'sound$'      Text
-'\n'          Text
+'\n'          Text.Whitespace
 
 '  '          Text.Whitespace
 'E'           Keyword
@@ -1819,7 +1847,7 @@
 '0'           Literal.Number
 ' '           Text
 '100'         Literal.Number
-'\n'          Text
+'\n'          Text.Whitespace
 
 '  '          Text.Whitespace
 'demo'        Keyword
@@ -1835,7 +1863,7 @@
 '0'           Literal.Number
 ' '           Text
 '100'         Literal.Number
-'\n'          Text
+'\n'          Text.Whitespace
 
 '  '          Text.Whitespace
 'demo'        Keyword
@@ -1854,7 +1882,7 @@
 '0'           Literal.Number
 ' '           Text
 '100'         Literal.Number
-'\n'          Text
+'\n'          Text.Whitespace
 
 '  '          Text.Whitespace
 'demo'        Keyword
@@ -1877,13 +1905,14 @@
 'to'          Text
 ' '           Text
 'finish'      Text
-'\n'          Text
+'\n'          Text.Whitespace
 
 '  '          Text.Whitespace
 'demoWaitForInput' Name.Function
 ' '           Text.Whitespace
 '('           Punctuation
-' )'          Text
+' '           Text.Whitespace
+')'           Punctuation
 '\n  '        Text.Whitespace
 'demo'        Keyword
 ' '           Text.Whitespace
@@ -1918,7 +1947,7 @@
 '"'           Literal.String
 'Finished'    Literal.String
 '"'           Literal.String
-'\n'          Text
+'\n'          Text.Whitespace
 
 'endwhile'    Keyword
 '\n\n'        Text.Whitespace
@@ -2021,17 +2050,17 @@
 'sendpraat'   Keyword
 ' '           Text.Whitespace
 'Praat'       Literal.String
-'\n  '        Text
+'\n  '        Text.Whitespace
 '...'         Punctuation
 "'newline$'"  Literal.String.Interpol
 ' '           Text.Whitespace
 'Create Sound as pure tone... "tone" 1 0 0.4 44100 440 0.2 0.01 0.01' Literal.String
-'\n  '        Text
+'\n  '        Text.Whitespace
 '...'         Punctuation
 "'newline$'"  Literal.String.Interpol
 ' '           Text.Whitespace
 'Play'        Literal.String
-'\n  '        Text
+'\n  '        Text.Whitespace
 '...'         Punctuation
 "'newline$'"  Literal.String.Interpol
 ' '           Text.Whitespace
@@ -2049,7 +2078,7 @@
 '"'           Literal.String
 'Praat'       Literal.String
 '"'           Literal.String
-'\n'          Text
+'\n'          Text.Whitespace
 
 '  '          Text.Whitespace
 'C'           Keyword
@@ -2087,7 +2116,7 @@
 ','           Punctuation
 ' '           Text.Whitespace
 '0.01'        Literal.Number
-'\n'          Text
+'\n'          Text.Whitespace
 
 '  '          Text.Whitespace
 'duration'    Text
@@ -2111,7 +2140,7 @@
 '"'           Literal.String
 'duration'    Literal.String
 '"'           Literal.String
-'\n'          Text
+'\n'          Text.Whitespace
 
 'appendInfoLine' Name.Function
 ':'           Punctuation
@@ -2127,7 +2156,9 @@
 '"'           Literal.String
 'seconds'     Literal.String
 '"'           Literal.String
-'\n\n'        Text
+'\n'          Text.Whitespace
+
+'\n'          Text.Whitespace
 
 '# Number types' Comment.Single
 '\n'          Text.Whitespace
@@ -2608,8 +2639,8 @@
 'p'           Text
 '['           Punctuation
 'i'           Text
-']'           Text
-'\n'          Text
+']'           Punctuation
+'\n'          Text.Whitespace
 
 '  '          Text.Whitespace
 '.local'      Text
@@ -2633,8 +2664,8 @@
 'p'           Text
 '['           Punctuation
 'i'           Text
-']'           Text
-'\n'          Text
+']'           Punctuation
+'\n'          Text.Whitespace
 
 '  '          Text.Whitespace
 '.local'      Text
@@ -2708,7 +2739,7 @@
 
 '@'           Name.Function
 'proc'        Name.Function
-':'           Text
+':'           Punctuation
 ' '           Text.Whitespace
 'a'           Text
 ','           Punctuation
@@ -2718,7 +2749,7 @@
 '"'           Literal.String
 'string'      Literal.String
 '"'           Literal.String
-')'           Text
+')'           Punctuation
 ','           Punctuation
 ' '           Text.Whitespace
 'b'           Text
@@ -2741,8 +2772,8 @@
 'saveSelection.id' Text
 '['           Punctuation
 'i'           Text
-']'           Text
-'\n'          Text
+']'           Punctuation
+'\n'          Text.Whitespace
 
 '  '          Text.Whitespace
 'appendInfoLine' Name.Function
@@ -2750,15 +2781,15 @@
 ' '           Text.Whitespace
 'selected$'   Name.Function
 '('           Punctuation
-')'           Text
-'\n'          Text
+')'           Punctuation
+'\n'          Text.Whitespace
 
 'endfor'      Keyword
 '\n\n'        Text.Whitespace
 
 '@'           Name.Function
 'ok'          Name.Function
-'('           Text
+'('           Punctuation
 'if'          Keyword
 ' '           Text.Whitespace
 'selected$'   Name.Function
@@ -2766,7 +2797,7 @@
 '"'           Literal.String
 'Sound'       Literal.String
 '"'           Literal.String
-')'           Text
+')'           Punctuation
 ' '           Text.Whitespace
 '='           Operator
 ' '           Text.Whitespace
@@ -2795,7 +2826,7 @@
 
 '@'           Name.Function
 'ok_formula'  Name.Function
-'('           Text
+'('           Punctuation
 '"'           Literal.String
 'selected$('  Literal.String
 '"'           Literal.String