Support for characters beyond BMP and below PUA

1 files changed, 258 insertions, 0 deletions

diff --git a/unidecode/x0b3.py b/unidecode/x0b3.py
new file mode 100644
index 0000000..830915a
--- /dev/null
+++ b/unidecode/x0b3.py
@@ -0,0 +1,258 @@
+data = (
+'dae',    # 0x00
+'daeg',    # 0x01
+'daegg',    # 0x02
+'daegs',    # 0x03
+'daen',    # 0x04
+'daenj',    # 0x05
+'daenh',    # 0x06
+'daed',    # 0x07
+'dael',    # 0x08
+'daelg',    # 0x09
+'daelm',    # 0x0a
+'daelb',    # 0x0b
+'daels',    # 0x0c
+'daelt',    # 0x0d
+'daelp',    # 0x0e
+'daelh',    # 0x0f
+'daem',    # 0x10
+'daeb',    # 0x11
+'daebs',    # 0x12
+'daes',    # 0x13
+'daess',    # 0x14
+'daeng',    # 0x15
+'daej',    # 0x16
+'daec',    # 0x17
+'daek',    # 0x18
+'daet',    # 0x19
+'daep',    # 0x1a
+'daeh',    # 0x1b
+'dya',    # 0x1c
+'dyag',    # 0x1d
+'dyagg',    # 0x1e
+'dyags',    # 0x1f
+'dyan',    # 0x20
+'dyanj',    # 0x21
+'dyanh',    # 0x22
+'dyad',    # 0x23
+'dyal',    # 0x24
+'dyalg',    # 0x25
+'dyalm',    # 0x26
+'dyalb',    # 0x27
+'dyals',    # 0x28
+'dyalt',    # 0x29
+'dyalp',    # 0x2a
+'dyalh',    # 0x2b
+'dyam',    # 0x2c
+'dyab',    # 0x2d
+'dyabs',    # 0x2e
+'dyas',    # 0x2f
+'dyass',    # 0x30
+'dyang',    # 0x31
+'dyaj',    # 0x32
+'dyac',    # 0x33
+'dyak',    # 0x34
+'dyat',    # 0x35
+'dyap',    # 0x36
+'dyah',    # 0x37
+'dyae',    # 0x38
+'dyaeg',    # 0x39
+'dyaegg',    # 0x3a
+'dyaegs',    # 0x3b
+'dyaen',    # 0x3c
+'dyaenj',    # 0x3d
+'dyaenh',    # 0x3e
+'dyaed',    # 0x3f
+'dyael',    # 0x40
+'dyaelg',    # 0x41
+'dyaelm',    # 0x42
+'dyaelb',    # 0x43
+'dyaels',    # 0x44
+'dyaelt',    # 0x45
+'dyaelp',    # 0x46
+'dyaelh',    # 0x47
+'dyaem',    # 0x48
+'dyaeb',    # 0x49
+'dyaebs',    # 0x4a
+'dyaes',    # 0x4b
+'dyaess',    # 0x4c
+'dyaeng',    # 0x4d
+'dyaej',    # 0x4e
+'dyaec',    # 0x4f
+'dyaek',    # 0x50
+'dyaet',    # 0x51
+'dyaep',    # 0x52
+'dyaeh',    # 0x53
+'deo',    # 0x54
+'deog',    # 0x55
+'deogg',    # 0x56
+'deogs',    # 0x57
+'deon',    # 0x58
+'deonj',    # 0x59
+'deonh',    # 0x5a
+'deod',    # 0x5b
+'deol',    # 0x5c
+'deolg',    # 0x5d
+'deolm',    # 0x5e
+'deolb',    # 0x5f
+'deols',    # 0x60
+'deolt',    # 0x61
+'deolp',    # 0x62
+'deolh',    # 0x63
+'deom',    # 0x64
+'deob',    # 0x65
+'deobs',    # 0x66
+'deos',    # 0x67
+'deoss',    # 0x68
+'deong',    # 0x69
+'deoj',    # 0x6a
+'deoc',    # 0x6b
+'deok',    # 0x6c
+'deot',    # 0x6d
+'deop',    # 0x6e
+'deoh',    # 0x6f
+'de',    # 0x70
+'deg',    # 0x71
+'degg',    # 0x72
+'degs',    # 0x73
+'den',    # 0x74
+'denj',    # 0x75
+'denh',    # 0x76
+'ded',    # 0x77
+'del',    # 0x78
+'delg',    # 0x79
+'delm',    # 0x7a
+'delb',    # 0x7b
+'dels',    # 0x7c
+'delt',    # 0x7d
+'delp',    # 0x7e
+'delh',    # 0x7f
+'dem',    # 0x80
+'deb',    # 0x81
+'debs',    # 0x82
+'des',    # 0x83
+'dess',    # 0x84
+'deng',    # 0x85
+'dej',    # 0x86
+'dec',    # 0x87
+'dek',    # 0x88
+'det',    # 0x89
+'dep',    # 0x8a
+'deh',    # 0x8b
+'dyeo',    # 0x8c
+'dyeog',    # 0x8d
+'dyeogg',    # 0x8e
+'dyeogs',    # 0x8f
+'dyeon',    # 0x90
+'dyeonj',    # 0x91
+'dyeonh',    # 0x92
+'dyeod',    # 0x93
+'dyeol',    # 0x94
+'dyeolg',    # 0x95
+'dyeolm',    # 0x96
+'dyeolb',    # 0x97
+'dyeols',    # 0x98
+'dyeolt',    # 0x99
+'dyeolp',    # 0x9a
+'dyeolh',    # 0x9b
+'dyeom',    # 0x9c
+'dyeob',    # 0x9d
+'dyeobs',    # 0x9e
+'dyeos',    # 0x9f
+'dyeoss',    # 0xa0
+'dyeong',    # 0xa1
+'dyeoj',    # 0xa2
+'dyeoc',    # 0xa3
+'dyeok',    # 0xa4
+'dyeot',    # 0xa5
+'dyeop',    # 0xa6
+'dyeoh',    # 0xa7
+'dye',    # 0xa8
+'dyeg',    # 0xa9
+'dyegg',    # 0xaa
+'dyegs',    # 0xab
+'dyen',    # 0xac
+'dyenj',    # 0xad
+'dyenh',    # 0xae
+'dyed',    # 0xaf
+'dyel',    # 0xb0
+'dyelg',    # 0xb1
+'dyelm',    # 0xb2
+'dyelb',    # 0xb3
+'dyels',    # 0xb4
+'dyelt',    # 0xb5
+'dyelp',    # 0xb6
+'dyelh',    # 0xb7
+'dyem',    # 0xb8
+'dyeb',    # 0xb9
+'dyebs',    # 0xba
+'dyes',    # 0xbb
+'dyess',    # 0xbc
+'dyeng',    # 0xbd
+'dyej',    # 0xbe
+'dyec',    # 0xbf
+'dyek',    # 0xc0
+'dyet',    # 0xc1
+'dyep',    # 0xc2
+'dyeh',    # 0xc3
+'do',    # 0xc4
+'dog',    # 0xc5
+'dogg',    # 0xc6
+'dogs',    # 0xc7
+'don',    # 0xc8
+'donj',    # 0xc9
+'donh',    # 0xca
+'dod',    # 0xcb
+'dol',    # 0xcc
+'dolg',    # 0xcd
+'dolm',    # 0xce
+'dolb',    # 0xcf
+'dols',    # 0xd0
+'dolt',    # 0xd1
+'dolp',    # 0xd2
+'dolh',    # 0xd3
+'dom',    # 0xd4
+'dob',    # 0xd5
+'dobs',    # 0xd6
+'dos',    # 0xd7
+'doss',    # 0xd8
+'dong',    # 0xd9
+'doj',    # 0xda
+'doc',    # 0xdb
+'dok',    # 0xdc
+'dot',    # 0xdd
+'dop',    # 0xde
+'doh',    # 0xdf
+'dwa',    # 0xe0
+'dwag',    # 0xe1
+'dwagg',    # 0xe2
+'dwags',    # 0xe3
+'dwan',    # 0xe4
+'dwanj',    # 0xe5
+'dwanh',    # 0xe6
+'dwad',    # 0xe7
+'dwal',    # 0xe8
+'dwalg',    # 0xe9
+'dwalm',    # 0xea
+'dwalb',    # 0xeb
+'dwals',    # 0xec
+'dwalt',    # 0xed
+'dwalp',    # 0xee
+'dwalh',    # 0xef
+'dwam',    # 0xf0
+'dwab',    # 0xf1
+'dwabs',    # 0xf2
+'dwas',    # 0xf3
+'dwass',    # 0xf4
+'dwang',    # 0xf5
+'dwaj',    # 0xf6
+'dwac',    # 0xf7
+'dwak',    # 0xf8
+'dwat',    # 0xf9
+'dwap',    # 0xfa
+'dwah',    # 0xfb
+'dwae',    # 0xfc
+'dwaeg',    # 0xfd
+'dwaegg',    # 0xfe
+'dwaegs',    # 0xff
+)