line |
stmt |
bran |
cond |
sub |
pod |
time |
code |
1
|
|
|
|
|
|
|
package Lingua::StopWords::NO; |
2
|
|
|
|
|
|
|
|
3
|
1
|
|
|
1
|
|
8
|
use strict; |
|
1
|
|
|
|
|
3
|
|
|
1
|
|
|
|
|
33
|
|
4
|
1
|
|
|
1
|
|
5
|
use warnings; |
|
1
|
|
|
|
|
2
|
|
|
1
|
|
|
|
|
24
|
|
5
|
|
|
|
|
|
|
|
6
|
1
|
|
|
1
|
|
5
|
use utf8; |
|
1
|
|
|
|
|
2
|
|
|
1
|
|
|
|
|
5
|
|
7
|
|
|
|
|
|
|
|
8
|
1
|
|
|
1
|
|
24
|
use Encode qw(encode); |
|
1
|
|
|
|
|
2
|
|
|
1
|
|
|
|
|
39
|
|
9
|
|
|
|
|
|
|
|
10
|
1
|
|
|
1
|
|
6
|
use Exporter; |
|
1
|
|
|
|
|
1
|
|
|
1
|
|
|
|
|
355
|
|
11
|
|
|
|
|
|
|
our @ISA = qw(Exporter); |
12
|
|
|
|
|
|
|
|
13
|
|
|
|
|
|
|
our %EXPORT_TAGS = ( 'all' => [ qw( getStopWords ) ] ); |
14
|
|
|
|
|
|
|
our @EXPORT_OK = ( @{ $EXPORT_TAGS{'all'} } ); |
15
|
|
|
|
|
|
|
our $VERSION = 0.12; |
16
|
|
|
|
|
|
|
|
17
|
|
|
|
|
|
|
sub getStopWords { |
18
|
2
|
100
|
66
|
2
|
0
|
10
|
if ( @_ and $_[0] eq 'UTF-8' ) { |
19
|
1
|
|
|
|
|
3
|
my %stoplist = map { ( $_, 1 ) } _stopwords(); |
|
176
|
|
|
|
|
348
|
|
20
|
1
|
|
|
|
|
17
|
return \%stoplist; |
21
|
|
|
|
|
|
|
} |
22
|
|
|
|
|
|
|
else { |
23
|
1
|
|
|
|
|
3
|
my %stoplist = map { ( encode("iso-8859-1", $_), 1 ) } _stopwords(); |
|
176
|
|
|
|
|
4452
|
|
24
|
1
|
|
|
|
|
137
|
return \%stoplist; |
25
|
|
|
|
|
|
|
} |
26
|
|
|
|
|
|
|
} |
27
|
|
|
|
|
|
|
|
28
|
|
|
|
|
|
|
sub _stopwords { |
29
|
2
|
|
|
2
|
|
33
|
return qw( |
30
|
|
|
|
|
|
|
og i jeg det at en et den til er som på de med han av ikke |
31
|
|
|
|
|
|
|
ikkje der så var meg seg men ett har om vi min mitt ha hadde |
32
|
|
|
|
|
|
|
hun nå over da ved fra du ut sin dem oss opp man kan hans hvor |
33
|
|
|
|
|
|
|
eller hva skal selv sjøl her alle vil bli ble blei blitt kunne |
34
|
|
|
|
|
|
|
inn når være kom noen noe ville dere som deres kun ja etter ned |
35
|
|
|
|
|
|
|
skulle denne for deg si sine sitt mot å meget hvorfor dette |
36
|
|
|
|
|
|
|
disse uten hvordan ingen din ditt blir samme hvilken hvilke |
37
|
|
|
|
|
|
|
sånn inni mellom vår hver hvem vors hvis både bare enn fordi |
38
|
|
|
|
|
|
|
før mange også slik vært være båe begge siden dykk dykkar dei |
39
|
|
|
|
|
|
|
deira deires deim di då eg ein eit eitt elles honom hjå ho hoe |
40
|
|
|
|
|
|
|
henne hennar hennes hoss hossen ikkje ingi inkje korleis korso |
41
|
|
|
|
|
|
|
kva kvar kvarhelst kven kvi kvifor me medan mi mine mykje no |
42
|
|
|
|
|
|
|
nokon noka nokor noko nokre si sia sidan so somt somme um upp |
43
|
|
|
|
|
|
|
vere vore verte vort varte vart |
44
|
|
|
|
|
|
|
); |
45
|
|
|
|
|
|
|
} |
46
|
|
|
|
|
|
|
|
47
|
|
|
|
|
|
|
1; |