Support for characters beyond BMP and below PUA

1 files changed, 258 insertions, 0 deletions

diff --git a/unidecode/x0ce.py b/unidecode/x0ce.py
new file mode 100644
index 0000000..4b993e8
--- /dev/null
+++ b/unidecode/x0ce.py
@@ -0,0 +1,258 @@
+data = (
+'cwik',    # 0x00
+'cwit',    # 0x01
+'cwip',    # 0x02
+'cwih',    # 0x03
+'cyu',    # 0x04
+'cyug',    # 0x05
+'cyugg',    # 0x06
+'cyugs',    # 0x07
+'cyun',    # 0x08
+'cyunj',    # 0x09
+'cyunh',    # 0x0a
+'cyud',    # 0x0b
+'cyul',    # 0x0c
+'cyulg',    # 0x0d
+'cyulm',    # 0x0e
+'cyulb',    # 0x0f
+'cyuls',    # 0x10
+'cyult',    # 0x11
+'cyulp',    # 0x12
+'cyulh',    # 0x13
+'cyum',    # 0x14
+'cyub',    # 0x15
+'cyubs',    # 0x16
+'cyus',    # 0x17
+'cyuss',    # 0x18
+'cyung',    # 0x19
+'cyuj',    # 0x1a
+'cyuc',    # 0x1b
+'cyuk',    # 0x1c
+'cyut',    # 0x1d
+'cyup',    # 0x1e
+'cyuh',    # 0x1f
+'ceu',    # 0x20
+'ceug',    # 0x21
+'ceugg',    # 0x22
+'ceugs',    # 0x23
+'ceun',    # 0x24
+'ceunj',    # 0x25
+'ceunh',    # 0x26
+'ceud',    # 0x27
+'ceul',    # 0x28
+'ceulg',    # 0x29
+'ceulm',    # 0x2a
+'ceulb',    # 0x2b
+'ceuls',    # 0x2c
+'ceult',    # 0x2d
+'ceulp',    # 0x2e
+'ceulh',    # 0x2f
+'ceum',    # 0x30
+'ceub',    # 0x31
+'ceubs',    # 0x32
+'ceus',    # 0x33
+'ceuss',    # 0x34
+'ceung',    # 0x35
+'ceuj',    # 0x36
+'ceuc',    # 0x37
+'ceuk',    # 0x38
+'ceut',    # 0x39
+'ceup',    # 0x3a
+'ceuh',    # 0x3b
+'cyi',    # 0x3c
+'cyig',    # 0x3d
+'cyigg',    # 0x3e
+'cyigs',    # 0x3f
+'cyin',    # 0x40
+'cyinj',    # 0x41
+'cyinh',    # 0x42
+'cyid',    # 0x43
+'cyil',    # 0x44
+'cyilg',    # 0x45
+'cyilm',    # 0x46
+'cyilb',    # 0x47
+'cyils',    # 0x48
+'cyilt',    # 0x49
+'cyilp',    # 0x4a
+'cyilh',    # 0x4b
+'cyim',    # 0x4c
+'cyib',    # 0x4d
+'cyibs',    # 0x4e
+'cyis',    # 0x4f
+'cyiss',    # 0x50
+'cying',    # 0x51
+'cyij',    # 0x52
+'cyic',    # 0x53
+'cyik',    # 0x54
+'cyit',    # 0x55
+'cyip',    # 0x56
+'cyih',    # 0x57
+'ci',    # 0x58
+'cig',    # 0x59
+'cigg',    # 0x5a
+'cigs',    # 0x5b
+'cin',    # 0x5c
+'cinj',    # 0x5d
+'cinh',    # 0x5e
+'cid',    # 0x5f
+'cil',    # 0x60
+'cilg',    # 0x61
+'cilm',    # 0x62
+'cilb',    # 0x63
+'cils',    # 0x64
+'cilt',    # 0x65
+'cilp',    # 0x66
+'cilh',    # 0x67
+'cim',    # 0x68
+'cib',    # 0x69
+'cibs',    # 0x6a
+'cis',    # 0x6b
+'ciss',    # 0x6c
+'cing',    # 0x6d
+'cij',    # 0x6e
+'cic',    # 0x6f
+'cik',    # 0x70
+'cit',    # 0x71
+'cip',    # 0x72
+'cih',    # 0x73
+'ka',    # 0x74
+'kag',    # 0x75
+'kagg',    # 0x76
+'kags',    # 0x77
+'kan',    # 0x78
+'kanj',    # 0x79
+'kanh',    # 0x7a
+'kad',    # 0x7b
+'kal',    # 0x7c
+'kalg',    # 0x7d
+'kalm',    # 0x7e
+'kalb',    # 0x7f
+'kals',    # 0x80
+'kalt',    # 0x81
+'kalp',    # 0x82
+'kalh',    # 0x83
+'kam',    # 0x84
+'kab',    # 0x85
+'kabs',    # 0x86
+'kas',    # 0x87
+'kass',    # 0x88
+'kang',    # 0x89
+'kaj',    # 0x8a
+'kac',    # 0x8b
+'kak',    # 0x8c
+'kat',    # 0x8d
+'kap',    # 0x8e
+'kah',    # 0x8f
+'kae',    # 0x90
+'kaeg',    # 0x91
+'kaegg',    # 0x92
+'kaegs',    # 0x93
+'kaen',    # 0x94
+'kaenj',    # 0x95
+'kaenh',    # 0x96
+'kaed',    # 0x97
+'kael',    # 0x98
+'kaelg',    # 0x99
+'kaelm',    # 0x9a
+'kaelb',    # 0x9b
+'kaels',    # 0x9c
+'kaelt',    # 0x9d
+'kaelp',    # 0x9e
+'kaelh',    # 0x9f
+'kaem',    # 0xa0
+'kaeb',    # 0xa1
+'kaebs',    # 0xa2
+'kaes',    # 0xa3
+'kaess',    # 0xa4
+'kaeng',    # 0xa5
+'kaej',    # 0xa6
+'kaec',    # 0xa7
+'kaek',    # 0xa8
+'kaet',    # 0xa9
+'kaep',    # 0xaa
+'kaeh',    # 0xab
+'kya',    # 0xac
+'kyag',    # 0xad
+'kyagg',    # 0xae
+'kyags',    # 0xaf
+'kyan',    # 0xb0
+'kyanj',    # 0xb1
+'kyanh',    # 0xb2
+'kyad',    # 0xb3
+'kyal',    # 0xb4
+'kyalg',    # 0xb5
+'kyalm',    # 0xb6
+'kyalb',    # 0xb7
+'kyals',    # 0xb8
+'kyalt',    # 0xb9
+'kyalp',    # 0xba
+'kyalh',    # 0xbb
+'kyam',    # 0xbc
+'kyab',    # 0xbd
+'kyabs',    # 0xbe
+'kyas',    # 0xbf
+'kyass',    # 0xc0
+'kyang',    # 0xc1
+'kyaj',    # 0xc2
+'kyac',    # 0xc3
+'kyak',    # 0xc4
+'kyat',    # 0xc5
+'kyap',    # 0xc6
+'kyah',    # 0xc7
+'kyae',    # 0xc8
+'kyaeg',    # 0xc9
+'kyaegg',    # 0xca
+'kyaegs',    # 0xcb
+'kyaen',    # 0xcc
+'kyaenj',    # 0xcd
+'kyaenh',    # 0xce
+'kyaed',    # 0xcf
+'kyael',    # 0xd0
+'kyaelg',    # 0xd1
+'kyaelm',    # 0xd2
+'kyaelb',    # 0xd3
+'kyaels',    # 0xd4
+'kyaelt',    # 0xd5
+'kyaelp',    # 0xd6
+'kyaelh',    # 0xd7
+'kyaem',    # 0xd8
+'kyaeb',    # 0xd9
+'kyaebs',    # 0xda
+'kyaes',    # 0xdb
+'kyaess',    # 0xdc
+'kyaeng',    # 0xdd
+'kyaej',    # 0xde
+'kyaec',    # 0xdf
+'kyaek',    # 0xe0
+'kyaet',    # 0xe1
+'kyaep',    # 0xe2
+'kyaeh',    # 0xe3
+'keo',    # 0xe4
+'keog',    # 0xe5
+'keogg',    # 0xe6
+'keogs',    # 0xe7
+'keon',    # 0xe8
+'keonj',    # 0xe9
+'keonh',    # 0xea
+'keod',    # 0xeb
+'keol',    # 0xec
+'keolg',    # 0xed
+'keolm',    # 0xee
+'keolb',    # 0xef
+'keols',    # 0xf0
+'keolt',    # 0xf1
+'keolp',    # 0xf2
+'keolh',    # 0xf3
+'keom',    # 0xf4
+'keob',    # 0xf5
+'keobs',    # 0xf6
+'keos',    # 0xf7
+'keoss',    # 0xf8
+'keong',    # 0xf9
+'keoj',    # 0xfa
+'keoc',    # 0xfb
+'keok',    # 0xfc
+'keot',    # 0xfd
+'keop',    # 0xfe
+'keoh',    # 0xff
+)