| 1 | package Unicode::Normalize; | ||||||||||
| 2 | |||||||||||
| 3 | 12 | ▶ | BEGIN { | ||||||||
|
Subroutine
BEGIN: called CC=2 SCAR=8.1
| |||||||||||
| 4 | 12 | unless ('A' eq pack('U', 0x41)) { | |||||||||
| 5 | die "Unicode::Normalize cannot stringify a Unicode code point\n"; | ||||||||||
| 6 | } | ||||||||||
| 7 | 12 | ▶ | unless (0x41 == unpack('U', 'A')) { | ||||||||
|
Branch: 1 branch
| |||||||||||
| 8 | 0 | die "Unicode::Normalize cannot get Unicode code point\n"; | |||||||||
| 9 | } | ||||||||||
| 10 | } | ||||||||||
| 11 | |||||||||||
| 12 | 12 | ▶ | use 5.006; | ||||||||
|
Subroutine
BEGIN: called CC=1 SCAR=0.0
| |||||||||||
| 13 | 12 | ▶ | use strict; | ||||||||
|
Subroutine
BEGIN: called CC=1 SCAR=0.0
| |||||||||||
| 14 | 12 | ▶ | use warnings; | ||||||||
|
Subroutine
BEGIN: called CC=1 SCAR=0.0
| |||||||||||
| 15 | 12 | ▶ | use Carp; | ||||||||
|
Subroutine
BEGIN: called CC=1 SCAR=0.0
| |||||||||||
| 16 | |||||||||||
| 17 | 12 | ▶ | no warnings 'utf8'; | ||||||||
|
Subroutine
BEGIN: called CC=1 SCAR=0.0
| |||||||||||
| 18 | |||||||||||
| 19 | 12 | our $VERSION = '1.26'; | |||||||||
| 20 | 12 | our $PACKAGE = __PACKAGE__; | |||||||||
| 21 | |||||||||||
| 22 | 12 | our @EXPORT = qw( NFC NFD NFKC NFKD ); | |||||||||
| 23 | 12 | our @EXPORT_OK = qw( | |||||||||
| 24 | normalize decompose reorder compose | ||||||||||
| 25 | checkNFD checkNFKD checkNFC checkNFKC check | ||||||||||
| 26 | getCanon getCompat getComposite getCombinClass | ||||||||||
| 27 | isExclusion isSingleton isNonStDecomp isComp2nd isComp_Ex | ||||||||||
| 28 | isNFD_NO isNFC_NO isNFC_MAYBE isNFKD_NO isNFKC_NO isNFKC_MAYBE | ||||||||||
| 29 | FCD checkFCD FCC checkFCC composeContiguous splitOnLastStarter | ||||||||||
| 30 | normalize_partial NFC_partial NFD_partial NFKC_partial NFKD_partial | ||||||||||
| 31 | ); | ||||||||||
| 32 | 12 | our %EXPORT_TAGS = ( | |||||||||
| 33 | all => [ @EXPORT, @EXPORT_OK ], | ||||||||||
| 34 | normalize => [ @EXPORT, qw/normalize decompose reorder compose/ ], | ||||||||||
| 35 | check => [ qw/checkNFD checkNFKD checkNFC checkNFKC check/ ], | ||||||||||
| 36 | fast => [ qw/FCD checkFCD FCC checkFCC composeContiguous/ ], | ||||||||||
| 37 | ); | ||||||||||
| 38 | |||||||||||
| 39 | ## | ||||||||||
| 40 | ## utilities for tests | ||||||||||
| 41 | ## | ||||||||||
| 42 | |||||||||||
| 43 | 247 | ▶ | sub pack_U { | ||||||||
|
Subroutine
pack_U: called CC=1 SCAR=0.0
Pod
undocumented
| |||||||||||
| 44 | 247 | return pack('U*', @_); | |||||||||
| 45 | } | ||||||||||
| 46 | |||||||||||
| 47 | 78 | ▶ | sub unpack_U { | ||||||||
|
Subroutine
unpack_U: called CC=1 SCAR=0.0
Pod
undocumented
| |||||||||||
| 48 | |||||||||||
| 49 | # The empty pack returns an empty UTF-8 string, so the effect is to force | ||||||||||
| 50 | # the shifted parameter into being UTF-8. This allows this to work on | ||||||||||
| 51 | # Perl 5.6, where there is no utf8::upgrade(). | ||||||||||
| 52 | 78 | return unpack('U*', shift(@_).pack('U*')); | |||||||||
| 53 | } | ||||||||||
| 54 | |||||||||||
| 55 | 12 | require Exporter; | |||||||||
| 56 | |||||||||||
| 57 | ##### The above part is common to XS and PP ##### | ||||||||||
| 58 | |||||||||||
| 59 | 12 | our @ISA = qw(Exporter); | |||||||||
| 60 | 12 | ▶ | use XSLoader (); | ||||||||
|
Subroutine
BEGIN: called CC=1 SCAR=0.0
| |||||||||||
| 61 | 12 | XSLoader::load( 'Unicode::Normalize', $VERSION ); | |||||||||
| 62 | |||||||||||
| 63 | ##### The below part is common to XS and PP ##### | ||||||||||
| 64 | |||||||||||
| 65 | ## | ||||||||||
| 66 | ## normalize | ||||||||||
| 67 | ## | ||||||||||
| 68 | |||||||||||
| 69 | 38 | ▶ | sub FCD ($) { | ||||||||
|
Subroutine
FCD: called CC=2 SCAR=6.9
Pod
documented
| |||||||||||
| 70 | 38 | my $str = shift; | |||||||||
| 71 | 38 | ▶ | return checkFCD($str) ? $str : NFD($str); | ||||||||
|
Branch: 1 branch
| |||||||||||
| 72 | } | ||||||||||
| 73 | |||||||||||
| 74 | 12 | our %formNorm = ( | |||||||||
| 75 | NFC => \&NFC, C => \&NFC, | ||||||||||
| 76 | NFD => \&NFD, D => \&NFD, | ||||||||||
| 77 | NFKC => \&NFKC, KC => \&NFKC, | ||||||||||
| 78 | NFKD => \&NFKD, KD => \&NFKD, | ||||||||||
| 79 | FCD => \&FCD, FCC => \&FCC, | ||||||||||
| 80 | ); | ||||||||||
| 81 | |||||||||||
| 82 | sub normalize($$) | ||||||||||
| 83 | 161 | ▶ | { | ||||||||
|
Subroutine
normalize: called CC=2 SCAR=7.4
Pod
documented
| |||||||||||
| 84 | 161 | my $form = shift; | |||||||||
| 85 | 161 | my $str = shift; | |||||||||
| 86 | 161 | ▶ | if (exists $formNorm{$form}) { | ||||||||
|
Branch: 1 branch
| |||||||||||
| 87 | 161 | return $formNorm{$form}->($str); | |||||||||
| 88 | } | ||||||||||
| 89 | 0 | croak($PACKAGE."::normalize: invalid form name: $form"); | |||||||||
| 90 | } | ||||||||||
| 91 | |||||||||||
| 92 | ## | ||||||||||
| 93 | ## partial | ||||||||||
| 94 | ## | ||||||||||
| 95 | |||||||||||
| 96 | 48 | ▶ | sub normalize_partial ($$) { | ||||||||
|
Subroutine
normalize_partial: called CC=2 SCAR=7.2
Pod
documented
| |||||||||||
| 97 | 48 | ▶ | if (exists $formNorm{$_[0]}) { | ||||||||
|
Branch: 1 branch
| |||||||||||
| 98 | 48 | my $n = normalize($_[0], $_[1]); | |||||||||
| 99 | 48 | my($p, $u) = splitOnLastStarter($n); | |||||||||
| 100 | 48 | $_[1] = $u; | |||||||||
| 101 | 48 | return $p; | |||||||||
| 102 | } | ||||||||||
| 103 | 0 | croak($PACKAGE."::normalize_partial: invalid form name: $_[0]"); | |||||||||
| 104 | } | ||||||||||
| 105 | |||||||||||
| 106 | 4 | ▶ | sub NFD_partial ($) { return normalize_partial('NFD', $_[0]) } | ||||||||
|
Subroutine
NFD_partial: called CC=1 SCAR=0.0
Pod
documented
| |||||||||||
| 107 | 11 | ▶ | sub NFC_partial ($) { return normalize_partial('NFC', $_[0]) } | ||||||||
|
Subroutine
NFC_partial: called CC=1 SCAR=0.0
Pod
documented
| |||||||||||
| 108 | 4 | ▶ | sub NFKD_partial($) { return normalize_partial('NFKD',$_[0]) } | ||||||||
|
Subroutine
NFKD_partial: called CC=1 SCAR=0.0
Pod
documented
| |||||||||||
| 109 | 5 | ▶ | sub NFKC_partial($) { return normalize_partial('NFKC',$_[0]) } | ||||||||
|
Subroutine
NFKC_partial: called CC=1 SCAR=0.0
Pod
documented
| |||||||||||
| 110 | |||||||||||
| 111 | ## | ||||||||||
| 112 | ## check | ||||||||||
| 113 | ## | ||||||||||
| 114 | |||||||||||
| 115 | 12 | our %formCheck = ( | |||||||||
| 116 | NFC => \&checkNFC, C => \&checkNFC, | ||||||||||
| 117 | NFD => \&checkNFD, D => \&checkNFD, | ||||||||||
| 118 | NFKC => \&checkNFKC, KC => \&checkNFKC, | ||||||||||
| 119 | NFKD => \&checkNFKD, KD => \&checkNFKD, | ||||||||||
| 120 | FCD => \&checkFCD, FCC => \&checkFCC, | ||||||||||
| 121 | ); | ||||||||||
| 122 | |||||||||||
| 123 | sub check($$) | ||||||||||
| 124 | 30 | ▶ | { | ||||||||
|
Subroutine
check: called CC=2 SCAR=7.4
Pod
documented
| |||||||||||
| 125 | 30 | my $form = shift; | |||||||||
| 126 | 30 | my $str = shift; | |||||||||
| 127 | 30 | ▶ | if (exists $formCheck{$form}) { | ||||||||
|
Branch: 1 branch
| |||||||||||
| 128 | 30 | return $formCheck{$form}->($str); | |||||||||
| 129 | } | ||||||||||
| 130 | 0 | croak($PACKAGE."::check: invalid form name: $form"); | |||||||||
| 131 | } | ||||||||||
| 132 | |||||||||||
| 133 | 12 | 1; | |||||||||
| 134 | __END__ | ||||||||||