Merge branch 'add-confusables'

Conflicts:
	setup.py

7 files changed, 308 insertions, 49 deletions

diff --git a/setup.py b/setup.py
index e6365f6..20c5e0f 100644
--- a/setup.py
+++ b/setup.py
@@ -10,7 +10,7 @@ def get_long_description():
 
 setup(
     name='Unidecode',
-    version='0.04.19',
+    version='0.04.20',
     description='ASCII transliterations of Unicode text',
     license='GPL',
     long_description=get_long_description(),
diff --git a/unidecode/x002.py b/unidecode/x002.py
index ea45441..d7028cd 100644
--- a/unidecode/x002.py
+++ b/unidecode/x002.py
@@ -175,7 +175,7 @@ data = (
 ']]',    # 0xad
 'h',    # 0xae
 'h',    # 0xaf
-'k',    # 0xb0
+'h',    # 0xb0
 'h',    # 0xb1
 'j',    # 0xb2
 'r',    # 0xb3
diff --git a/unidecode/x020.py b/unidecode/x020.py
index b649473..bee561b 100644
--- a/unidecode/x020.py
+++ b/unidecode/x020.py
@@ -94,7 +94,7 @@ data = (
 '[?]',    # 0x5c
 '[?]',    # 0x5d
 '[?]',    # 0x5e
-'[?]',    # 0x5f
+' ',    # 0x5f
 '',    # 0x60
 '[?]',    # 0x61
 '[?]',    # 0x62
@@ -112,7 +112,7 @@ data = (
 '',    # 0x6e
 '',    # 0x6f
 '0',    # 0x70
-'',    # 0x71
+'i',    # 0x71
 '',    # 0x72
 '',    # 0x73
 '4',    # 0x74
@@ -143,19 +143,19 @@ data = (
 '(',    # 0x8d
 ')',    # 0x8e
 '[?]',    # 0x8f
-'[?]',    # 0x90
-'[?]',    # 0x91
-'[?]',    # 0x92
-'[?]',    # 0x93
+'a',    # 0x90
+'e',    # 0x91
+'o',    # 0x92
+'x',    # 0x93
 '[?]',    # 0x94
-'[?]',    # 0x95
-'[?]',    # 0x96
-'[?]',    # 0x97
-'[?]',    # 0x98
-'[?]',    # 0x99
-'[?]',    # 0x9a
-'[?]',    # 0x9b
-'[?]',    # 0x9c
+'h',    # 0x95
+'k',    # 0x96
+'l',    # 0x97
+'m',    # 0x98
+'n',    # 0x99
+'p',    # 0x9a
+'s',    # 0x9b
+'t',    # 0x9c
 '[?]',    # 0x9d
 '[?]',    # 0x9e
 '[?]',    # 0x9f
diff --git a/unidecode/x021.py b/unidecode/x021.py
index 067d9bd..cc74bc6 100644
--- a/unidecode/x021.py
+++ b/unidecode/x021.py
@@ -1,24 +1,24 @@
 data = (
-'',    # 0x00
-'',    # 0x01
+' a/c ',    # 0x00
+' a/s ',    # 0x01
 'C',    # 0x02
 '',    # 0x03
 '',    # 0x04
-'',    # 0x05
-'',    # 0x06
+' c/o ',    # 0x05
+' c/u ',    # 0x06
 '',    # 0x07
 '',    # 0x08
 '',    # 0x09
-'',    # 0x0a
-'',    # 0x0b
-'',    # 0x0c
+'g',    # 0x0a
+'H',    # 0x0b
+'H',    # 0x0c
 'H',    # 0x0d
-'',    # 0x0e
+'h',    # 0x0e
 '',    # 0x0f
-'',    # 0x10
-'',    # 0x11
-'',    # 0x12
-'',    # 0x13
+'I',    # 0x10
+'I',    # 0x11
+'L',    # 0x12
+'l',    # 0x13
 '',    # 0x14
 'N',    # 0x15
 '',    # 0x16
@@ -26,8 +26,8 @@ data = (
 '',    # 0x18
 'P',    # 0x19
 'Q',    # 0x1a
-'',    # 0x1b
-'',    # 0x1c
+'R',    # 0x1b
+'R',    # 0x1c
 'R',    # 0x1d
 '',    # 0x1e
 '',    # 0x1f
@@ -39,24 +39,24 @@ data = (
 '',    # 0x25
 '',    # 0x26
 '',    # 0x27
-'',    # 0x28
+'Z',    # 0x28
 '',    # 0x29
 'K',    # 0x2a
 'A',    # 0x2b
-'',    # 0x2c
-'',    # 0x2d
+'B',    # 0x2c
+'C',    # 0x2d
 'e',    # 0x2e
 'e',    # 0x2f
 'E',    # 0x30
 'F',    # 0x31
 'F',    # 0x32
 'M',    # 0x33
-'',    # 0x34
+'o',    # 0x34
 '',    # 0x35
 '',    # 0x36
 '',    # 0x37
 '',    # 0x38
-'',    # 0x39
+'i',    # 0x39
 '',    # 0x3a
 'FAX',    # 0x3b
 '',    # 0x3c
@@ -79,9 +79,9 @@ data = (
 '[?]',    # 0x4d
 'F',    # 0x4e
 '[?]',    # 0x4f
-'[?]',    # 0x50
-'[?]',    # 0x51
-'[?]',    # 0x52
+' 1/7 ',    # 0x50
+' 1/9 ',    # 0x51
+' 1/10 ',    # 0x52
 ' 1/3 ',    # 0x53
 ' 2/3 ',    # 0x54
 ' 1/5 ',    # 0x55
@@ -136,7 +136,7 @@ data = (
 '[?]',    # 0x86
 '[?]',    # 0x87
 '[?]',    # 0x88
-'[?]',    # 0x89
+' 0/3 ',    # 0x89
 '[?]',    # 0x8a
 '[?]',    # 0x8b
 '[?]',    # 0x8c
diff --git a/unidecode/x032.py b/unidecode/x032.py
index 30282d4..a0c21d1 100644
--- a/unidecode/x032.py
+++ b/unidecode/x032.py
@@ -203,10 +203,10 @@ data = (
 '10M',    # 0xc9
 '11M',    # 0xca
 '12M',    # 0xcb
-'[?]',    # 0xcc
-'[?]',    # 0xcd
-'[?]',    # 0xce
-'[?]',    # 0xcf
+'Hg',    # 0xcc
+'erg',    # 0xcd
+'eV',    # 0xce
+'LTD',    # 0xcf
 'a',    # 0xd0
 'i',    # 0xd1
 'u',    # 0xd2
diff --git a/unidecode/x033.py b/unidecode/x033.py
index 64eb651..b953683 100644
--- a/unidecode/x033.py
+++ b/unidecode/x033.py
@@ -112,16 +112,16 @@ data = (
 '22h',    # 0x6e
 '23h',    # 0x6f
 '24h',    # 0x70
-'HPA',    # 0x71
+'hPa',    # 0x71
 'da',    # 0x72
 'AU',    # 0x73
 'bar',    # 0x74
 'oV',    # 0x75
 'pc',    # 0x76
-'[?]',    # 0x77
-'[?]',    # 0x78
-'[?]',    # 0x79
-'[?]',    # 0x7a
+'dm',    # 0x77
+'dm^2',    # 0x78
+'dm^3',    # 0x79
+'IU',    # 0x7a
 'Heisei',    # 0x7b
 'Syouwa',    # 0x7c
 'Taisyou',    # 0x7d
@@ -162,7 +162,7 @@ data = (
 'cm^2',    # 0xa0
 'm^2',    # 0xa1
 'km^2',    # 0xa2
-'mm^4',    # 0xa3
+'mm^3',    # 0xa3
 'cm^3',    # 0xa4
 'm^3',    # 0xa5
 'km^3',    # 0xa6
@@ -254,4 +254,5 @@ data = (
 '29d',    # 0xfc
 '30d',    # 0xfd
 '31d',    # 0xfe
+'gal',    # 0xff
 )
diff --git a/unidecode/x1f1.py b/unidecode/x1f1.py
new file mode 100644
index 0000000..ba0481f
--- /dev/null
+++ b/unidecode/x1f1.py
@@ -0,0 +1,258 @@
+data = (
+'0.',    # 0x00
+'0,',    # 0x01
+'1,',    # 0x02
+'2,',    # 0x03
+'3,',    # 0x04
+'4,',    # 0x05
+'5,',    # 0x06
+'6,',    # 0x07
+'7,',    # 0x08
+'8,',    # 0x09
+'9,',    # 0x0a
+'',    # 0x0b
+'',    # 0x0c
+'',    # 0x0d
+'',    # 0x0e
+'',    # 0x0f
+'(A)',    # 0x10
+'(B)',    # 0x11
+'(C)',    # 0x12
+'(D)',    # 0x13
+'(E)',    # 0x14
+'(F)',    # 0x15
+'(G)',    # 0x16
+'(H)',    # 0x17
+'(I)',    # 0x18
+'(J)',    # 0x19
+'(K)',   # 0x1a
+'(L)',    # 0x1b
+'(M)',    # 0x1c
+'(N)',    # 0x1d
+'(O)',    # 0x1e
+'(P)',    # 0x1f
+'(Q)',    # 0x20
+'(R)',    # 0x21
+'(S)',    # 0x22
+'(T)',    # 0x23
+'(U)',    # 0x24
+'(V)',    # 0x25
+'(W)',    # 0x26
+'(X)',    # 0x27
+'(Y)',    # 0x28
+'(Z)',    # 0x29
+'',    # 0x2a
+'',    # 0x2b
+'',    # 0x2c
+'',    # 0x2d
+'',    # 0x2e
+'',    # 0x2f
+'',    # 0x30
+'',    # 0x31
+'',    # 0x32
+'',    # 0x33
+'',    # 0x34
+'',    # 0x35
+'',    # 0x36
+'',    # 0x37
+'',    # 0x38
+'',    # 0x39
+'',    # 0x3a
+'',    # 0x3b
+'',    # 0x3c
+'',    # 0x3d
+'',    # 0x3e
+'',    # 0x3f
+'',    # 0x40
+'',    # 0x41
+'',    # 0x42
+'',    # 0x43
+'',    # 0x44
+'',    # 0x45
+'',    # 0x46
+'',    # 0x47
+'',    # 0x48
+'',    # 0x49
+'',    # 0x4a
+'',    # 0x4b
+'',    # 0x4c
+'',    # 0x4d
+'',    # 0x4e
+'',    # 0x4f
+'',    # 0x50
+'',    # 0x51
+'',    # 0x52
+'',    # 0x53
+'',    # 0x54
+'',    # 0x55
+'',    # 0x56
+'',    # 0x57
+'',    # 0x58
+'',    # 0x59
+'',    # 0x5a
+'',    # 0x5b
+'',    # 0x5c
+'',    # 0x5d
+'',    # 0x5e
+'',    # 0x5f
+'',    # 0x60
+'',    # 0x61
+'',    # 0x62
+'',    # 0x63
+'',    # 0x64
+'',    # 0x65
+'',    # 0x66
+'',    # 0x67
+'',    # 0x68
+'',    # 0x69
+'',    # 0x6a
+'',    # 0x6b
+'',    # 0x6c
+'',    # 0x6d
+'',    # 0x6e
+'',    # 0x6f
+'',    # 0x70
+'',    # 0x71
+'',    # 0x72
+'',    # 0x73
+'',    # 0x74
+'',    # 0x75
+'',    # 0x76
+'',    # 0x77
+'',    # 0x78
+'',    # 0x79
+'',    # 0x7a
+'',    # 0x7b
+'',    # 0x7c
+'',    # 0x7d
+'',    # 0x7e
+'',    # 0x7f
+'',    # 0x80
+'',    # 0x81
+'',    # 0x82
+'',    # 0x83
+'',    # 0x84
+'',    # 0x85
+'',    # 0x86
+'',    # 0x87
+'',    # 0x88
+'',    # 0x89
+'',    # 0x8a
+'',    # 0x8b
+'',    # 0x8c
+'',    # 0x8d
+'',    # 0x8e
+'',    # 0x8f
+'',    # 0x90
+'',    # 0x91
+'',    # 0x92
+'',    # 0x93
+'',    # 0x94
+'',    # 0x95
+'',    # 0x96
+'',    # 0x97
+'',    # 0x98
+'',    # 0x99
+'',    # 0x9a
+'',    # 0x9b
+'',    # 0x9c
+'',    # 0x9d
+'',    # 0x9e
+'',    # 0x9f
+'',    # 0xa0
+'',    # 0xa1
+'',    # 0xa2
+'',    # 0xa3
+'',    # 0xa4
+'',    # 0xa5
+'',    # 0xa6
+'',    # 0xa7
+'',    # 0xa8
+'',    # 0xa9
+'',    # 0xaa
+'',    # 0xab
+'',    # 0xac
+'',    # 0xad
+'',    # 0xae
+'',    # 0xaf
+'',    # 0xb0
+'',    # 0xb1
+'',    # 0xb2
+'',    # 0xb3
+'',    # 0xb4
+'',    # 0xb5
+'',    # 0xb6
+'',    # 0xb7
+'',    # 0xb8
+'',    # 0xb9
+'',    # 0xba
+'',    # 0xbb
+'',    # 0xbc
+'',    # 0xbd
+'',    # 0xbe
+'',    # 0xbf
+'',    # 0xc0
+'',    # 0xc1
+'',    # 0xc2
+'',    # 0xc3
+'',    # 0xc4
+'',    # 0xc5
+'',    # 0xc6
+'',    # 0xc7
+'',    # 0xc8
+'',    # 0xc9
+'',    # 0xca
+'',    # 0xcb
+'',    # 0xcc
+'',    # 0xcd
+'',    # 0xce
+'',    # 0xcf
+'',    # 0xd0
+'',    # 0xd1
+'',    # 0xd2
+'',    # 0xd3
+'',    # 0xd4
+'',    # 0xd5
+'',    # 0xd6
+'',    # 0xd7
+'',    # 0xd8
+'',    # 0xd9
+'',    # 0xda
+'',    # 0xdb
+'',    # 0xdc
+'',    # 0xdd
+'',    # 0xde
+'',    # 0xdf
+'',    # 0xe0
+'',    # 0xe1
+'',    # 0xe2
+'',    # 0xe3
+'',    # 0xe4
+'',    # 0xe5
+'',    # 0xe6
+'',    # 0xe7
+'',    # 0xe8
+'',    # 0xe9
+'',    # 0xea
+'',    # 0xeb
+'',    # 0xec
+'',    # 0xed
+'',    # 0xee
+'',    # 0xef
+'',    # 0xf0
+'',    # 0xf1
+'',    # 0xf2
+'',    # 0xf3
+'',    # 0xf4
+'',    # 0xf5
+'',    # 0xf6
+'',    # 0xf7
+'',    # 0xf8
+'',    # 0xf9
+'',    # 0xfa
+'',    # 0xfb
+'',    # 0xfc
+'',    # 0xfd
+'',    # 0xfe
+'',    # 0xff
+)