File Coverage

blib/lib/AozoraBunko/Tools/Checkerkun.pm

Criterion	Covered	Total	%
statement	126	126	100.0
branch	95	114	83.3
condition	36	48	75.0
subroutine	16	16	100.0
pod	2	2	100.0
total	275	306	89.8

package AozoraBunko::Tools::Checkerkun;
our $VERSION = "0.06";

use 5.008001;
use strict;
use warnings;
use utf8;

use Carp           qw//;
use File::ShareDir qw//;
use YAML::Tiny     qw//;
use Encode         qw//;
use Lingua::JA::Halfwidth::Katakana;

my $YAML_FILE = File::ShareDir::dist_file('AozoraBunko-Tools-Checkerkun', 'hiden_no_tare.yml');
my $YAML = YAML::Tiny->read($YAML_FILE)->[0];
my $ENC = Encode::find_encoding("Shift_JIS");

my %VALID_OUTPUT_FORMAT;
@VALID_OUTPUT_FORMAT{qw/plaintext html/} = ();

# [78hosetsu_tekiyo] 78互換包摂の対象となる不要な外字注記をチェックする
our $KUTENMEN_78HOSETSU_TEKIYO = $YAML->{'kutenmen_78hosetsu_tekiyo'};

# [hosetsu_tekiyo] 包摂の対象となる不要な外字注記をチェックする
our $KUTENMEN_HOSETSU_TEKIYO = $YAML->{'kutenmen_hosetsu_tekiyo'};

# 新JIS漢字で包摂基準の適用除外となる104字
our $JYOGAI = $YAML->{'jyogai'};

# 78互換文字
our $J78 = $YAML->{'j78'};

# 間違えやすい文字
# かとうかおりさんの「誤認識されやすい文字リスト」から
# http://plaza.users.to/katokao/digipr/digipr_charlist.html
our $GONIN1 = $YAML->{'gonin1'};

# 誤認2
our $GONIN2 = $YAML->{'gonin2'};

# 誤認3
# （砂場清隆さんの入力による）
our $GONIN3 = $YAML->{'gonin3'};

sub _default_options
{
    return {
        'gaiji'            => 1, # JIS外字をチェックする
        'hansp'            => 1, # 半角スペースをチェックする
        'hanpar'           => 1, # 半角カッコをチェックする
        'zensp'            => 0, # 全角スペースをチェックする
        '78hosetsu_tekiyo' => 1, # 78互換包摂の対象となる不要な外字注記をチェックする
        'hosetsu_tekiyo'   => 1, # 包摂の対象となる不要な外字注記をチェックする
        '78'               => 0, # 78互換包摂29字をチェックする
        'jyogai'           => 0, # 新JIS漢字で包摂規準の適用除外となる104字をチェックする
        'gonin1'           => 0, # 誤認しやすい文字をチェックする(1)
        'gonin2'           => 0, # 誤認しやすい文字をチェックする(2)
        'gonin3'           => 0, # 誤認しやすい文字をチェックする(3)
        'simplesp'         => 0, # 半角スペースは「_」で、全角スペースは「□」で出力する
        'output_format'    => 'plaintext', # plaintext または html
    };
}

sub new
{
    my $class = shift;
    my %args  = (ref $_[0] eq 'HASH' ? %{$_[0]} : @_);

    my $options = $class->_default_options;

    for my $key (keys %args)
    {
        if ( ! exists $options->{$key} ) { Carp::croak "Unknown option: '$key'"; }
        else
        {
            if ($key eq 'output_format')
            {
                Carp::croak "Output format option must be 'plaintext' or 'html'" unless exists $VALID_OUTPUT_FORMAT{ $args{$key} };
            }

            $options->{$key} = $args{$key};
        }
    }

    bless $options, $class;
}

sub _tag_html
{
    my ($plaintext, $tag_name, $msg) = @_;

    return qq|$plaintext| unless defined $msg;
    return qq|$plaintext|;
}

# 例：
#
# ※［＃「口＋亞」、第3水準1-15-8、144-上-9］
# が
# ※［＃「口＋亞」、第3水準1-15-8、144-上-9］ → [78hosetsu_tekiyo]【唖】
# に変換され、
#
# ※［＃「にんべん＋曾」、第3水準1-14-41、144-上-9］
# が
# ※［＃「にんべん＋曾」、第3水準1-14-41、144-上-9］→[hosetsu_tekiyo]【僧】
# に変換される。
#
sub _check_all_hosetsu_tekiyo
{
    my ($self, $chars_ref, $index) = @_;

    my ($replace, $usedlen);

    my $rear_index = $index + 80;
    $rear_index = $#{$chars_ref} if $rear_index > $#{$chars_ref};

    if ( join("", @{$chars_ref}[$index .. $rear_index]) =~ /^(※［＃.*?水準(\d+\-\d+\-\d+).*?］)/ )
    {
        my ($match, $kutenmen) = ($1, $2);

        if ( $self->{'78hosetsu_tekiyo'} && exists $KUTENMEN_78HOSETSU_TEKIYO->{$kutenmen} )
        {
            if ($self->{'output_format'} eq 'plaintext')
            {
                $replace = "$match→[78hosetsu_tekiyo]【$KUTENMEN_78HOSETSU_TEKIYO->{$kutenmen}】";
            }
            elsif ($self->{'output_format'} eq 'html')
            {
                $replace = _tag_html($match, '78hosetsuTekiyo', $KUTENMEN_78HOSETSU_TEKIYO->{$kutenmen});
            }

            $usedlen = length $match;
        }
        elsif ( $self->{'hosetsu_tekiyo'} && exists $KUTENMEN_HOSETSU_TEKIYO->{$kutenmen} )
        {
            if ($self->{'output_format'} eq 'plaintext')
            {
                $replace = "$match→[hosetsu_tekiyo]【$KUTENMEN_HOSETSU_TEKIYO->{$kutenmen}】";
            }
            elsif ($self->{'output_format'} eq 'html')
            {
                $replace = _tag_html($match, 'hosetsuTekiyo', $KUTENMEN_HOSETSU_TEKIYO->{$kutenmen});
            }

            $usedlen = length $match;
        }
    }

    return ($replace, $usedlen);
}

sub _is_gaiji
{
    my $char = shift; # コピーしないと、encode のタイミングで元の文字が消失してしまう。

    # UTF-8からSJISに変換できなければ外字と判定
    eval { $ENC->encode($char, Encode::FB_CROAK) };
    return 1 if $@;
    return 0;
}

sub check
{
    my ($self, $text) = @_;

    return undef unless defined $text;

    my $output_format = $self->{'output_format'};

    my @chars = split(//, $text);

    my $checked_text = '';

    for (my $i = 0; $i < @chars; $i++)
    {
        my $char = $chars[$i];

        if ( $self->{simplesp} && ($char eq "\x{0020}" || $char eq "\x{3000}") )
        {
            if ($output_format eq 'plaintext')
            {
                   if ($char eq "\x{0020}") { $checked_text .= '_';  }
                elsif ($char eq "\x{3000}") { $checked_text .= '□'; }
            }
            elsif ($output_format eq 'html')
            {
                   if ($char eq "\x{0020}") { $checked_text .= _tag_html('_', 'simplesp');  }
                elsif ($char eq "\x{3000}") { $checked_text .= _tag_html('□', 'simplesp'); }
            }

            next;
        }

        if ($char =~ /[\x{0000}-\x{0009}\x{000B}\x{000C}\x{000E}-\x{001F}\x{007F}-\x{009F}]/)
        {
            # 改行は含まない

            if ($output_format eq 'plaintext')
            {
                $checked_text .= $char . '[ctrl]（' . sprintf("U+%04X", ord $char) . '）';
            }
            elsif ($output_format eq 'html')
            {
                $checked_text .= _tag_html($char, 'ctrl', sprintf("U+%04X", ord $char));
            }
        }
        elsif ($char =~ /\p{InHalfwidthKatakana}/)
        {
            if ($output_format eq 'plaintext')
            {
                $checked_text .= $char . '[hankata]';
            }
            elsif ($output_format eq 'html')
            {
                $checked_text .= _tag_html($char, 'hankata', '半角カタカナ');
            }
        }
        elsif ($self->{'hansp'} && $char eq "\x{0020}")
        {
            if ($output_format eq 'plaintext')
            {
                $checked_text .= $char . '[hansp]';
            }
            elsif ($output_format eq 'html')
            {
                $checked_text .= _tag_html($char, 'hansp', '半角スペース');
            }
        }
        elsif ($self->{'zensp'} && $char eq "\x{3000}")
        {
            if ($output_format eq 'plaintext')
            {
                $checked_text .= $char . '[zensp]';
            }
            elsif ($output_format eq 'html')
            {
                $checked_text .= _tag_html($char, 'zensp', '全角スペース');
            }
        }
        elsif ( $self->{hanpar} && ($char eq '(' || $char eq ')') )
        {
            if ($output_format eq 'plaintext')
            {
                $checked_text .= $char . '[hanpar]';
            }
            elsif ($output_format eq 'html')
            {
                $checked_text .= _tag_html($char, 'hanpar', '半角括弧');
            }
        }
        elsif ( $char eq '※' && ($self->{'78hosetsu_tekiyo'} || $self->{'hosetsu_tekiyo'}) )
        {
            my ($replace, $usedlen) = $self->_check_all_hosetsu_tekiyo(\@chars, $i);

            if ($replace)
            {
                $checked_text .= $replace;
                $i += ($usedlen - 1);
                next;
            }
        }
        else
        {
            if ($self->{'78'} && $J78->{$char})
            {
                if ($output_format eq 'plaintext')
                {
                    $checked_text .= $char . '[78]（' . $J78->{$char} . '）';
                }
                elsif ($output_format eq 'html')
                {
                    $checked_text .= _tag_html($char, '78', $J78->{$char});
                }
            }
            elsif ($self->{'jyogai'} && $JYOGAI->{$char})
            {
                if ($output_format eq 'plaintext')
                {
                    $checked_text .= $char . '[jyogai]';
                }
                elsif ($output_format eq 'html')
                {
                    $checked_text .= _tag_html($char, 'jyogai', '新JIS漢字で包摂規準の適用除外となる');
                }
            }
            elsif ($self->{'gonin1'} && $GONIN1->{$char})
            {
                if ($output_format eq 'plaintext')
                {
                    $checked_text .= $char . '[gonin1]（' . $GONIN1->{$char} . '）';
                }
                elsif ($output_format eq 'html')
                {
                    $checked_text .= _tag_html($char, 'gonin1', $GONIN1->{$char});
                }
            }
            elsif ($self->{'gonin2'} && $GONIN2->{$char})
            {
                if ($output_format eq 'plaintext')
                {
                    $checked_text .= $char . '[gonin2]（' . $GONIN2->{$char} . '）';
                }
                elsif ($output_format eq 'html')
                {
                    $checked_text .= _tag_html($char, 'gonin2', $GONIN2->{$char});
                }
            }
            elsif ($self->{'gonin3'} && $GONIN3->{$char})
            {
                if ($output_format eq 'plaintext')
                {
                    $checked_text .= $char . '[gonin3]（' . $GONIN3->{$char} . '）';
                }
                elsif ($output_format eq 'html')
                {
                    $checked_text .= _tag_html($char, 'gonin3', $GONIN3->{$char});
                }
            }
            elsif ( $self->{'gaiji'} && _is_gaiji($char) )
            {
                if ($output_format eq 'plaintext')
                {
                    $checked_text .= $char . '[gaiji]';
                }
                elsif ($output_format eq 'html')
                {
                    $checked_text .= _tag_html($char, 'gaiji', 'JIS外字');
                }
            }
            else { $checked_text .= $char; }
        }
    }

    return $checked_text;
}

1;

__END__