| blib/lib/NNexus/StopWordList.pm | |||
|---|---|---|---|
| Criterion | Covered | Total | % |
| statement | 6 | 7 | 85.7 |
| branch | n/a | ||
| condition | n/a | ||
| subroutine | 2 | 3 | 66.6 |
| pod | 1 | 1 | 100.0 |
| total | 9 | 11 | 81.8 |
| line | stmt | bran | cond | sub | pod | time | code |
|---|---|---|---|---|---|---|---|
| 1 | # /=====================================================================\ # | ||||||
| 2 | # | NNexus Autolinker | # | ||||||
| 3 | # | Mathematics-tuned Stop Word List | # | ||||||
| 4 | # |=====================================================================| # | ||||||
| 5 | # | Part of the Planetary project: http://trac.mathweb.org/planetary | # | ||||||
| 6 | # | Research software, produced as part of work done by: | # | ||||||
| 7 | # | the KWARC group at Jacobs University | # | ||||||
| 8 | # | Copyright (c) 2012 | # | ||||||
| 9 | # | Released under the MIT License (MIT) | # | ||||||
| 10 | # |---------------------------------------------------------------------| # | ||||||
| 11 | # | Adapted from the original NNexus code by | # | ||||||
| 12 | # | James Gardner and Aaron Krowne | # | ||||||
| 13 | # |---------------------------------------------------------------------| # | ||||||
| 14 | # | Deyan Ginev |
||||||
| 15 | # | http://kwarc.info/people/dginev (o o) | # | ||||||
| 16 | # \=========================================================ooo==U==ooo=/ # | ||||||
| 17 | package NNexus::StopWordList; | ||||||
| 18 | 5 | 5 | 23 | use strict; | |||
| 5 | 6 | ||||||
| 5 | 138 | ||||||
| 19 | 5 | 5 | 16 | use warnings; | |||
| 5 | 11 | ||||||
| 5 | 1770 | ||||||
| 20 | |||||||
| 21 | require Exporter; | ||||||
| 22 | our @ISA = qw(Exporter); | ||||||
| 23 | our @EXPORT = qw(stop_words_ref); | ||||||
| 24 | |||||||
| 25 | ## Adapted from Lingua::EN::StopWordList and the original NNexus stopwords | ||||||
| 26 | ## Fine-tuned for finding concepts in mathematical documents | ||||||
| 27 | sub stop_words_ref { | ||||||
| 28 | 0 | 0 | 1 | return [qw/ | |||
| 29 | a | ||||||
| 30 | able | ||||||
| 31 | about | ||||||
| 32 | above | ||||||
| 33 | abroad | ||||||
| 34 | according | ||||||
| 35 | accordingly | ||||||
| 36 | across | ||||||
| 37 | actually | ||||||
| 38 | adj | ||||||
| 39 | after | ||||||
| 40 | afterwards | ||||||
| 41 | again | ||||||
| 42 | against | ||||||
| 43 | ago | ||||||
| 44 | ahead | ||||||
| 45 | ain't | ||||||
| 46 | al | ||||||
| 47 | all | ||||||
| 48 | allow | ||||||
| 49 | allows | ||||||
| 50 | almost | ||||||
| 51 | alone | ||||||
| 52 | along | ||||||
| 53 | alongside | ||||||
| 54 | already | ||||||
| 55 | also | ||||||
| 56 | although | ||||||
| 57 | always | ||||||
| 58 | am | ||||||
| 59 | amid | ||||||
| 60 | amidst | ||||||
| 61 | among | ||||||
| 62 | amongst | ||||||
| 63 | an | ||||||
| 64 | and | ||||||
| 65 | another | ||||||
| 66 | any | ||||||
| 67 | anybody | ||||||
| 68 | anyhow | ||||||
| 69 | anyone | ||||||
| 70 | anything | ||||||
| 71 | anyway | ||||||
| 72 | anyways | ||||||
| 73 | anywhere | ||||||
| 74 | apart | ||||||
| 75 | appear | ||||||
| 76 | appreciate | ||||||
| 77 | appropriate | ||||||
| 78 | arbitrary | ||||||
| 79 | are | ||||||
| 80 | aren't | ||||||
| 81 | around | ||||||
| 82 | a's | ||||||
| 83 | as | ||||||
| 84 | aside | ||||||
| 85 | ask | ||||||
| 86 | asking | ||||||
| 87 | associated | ||||||
| 88 | at | ||||||
| 89 | available | ||||||
| 90 | away | ||||||
| 91 | awfully | ||||||
| 92 | b | ||||||
| 93 | backward | ||||||
| 94 | backwards | ||||||
| 95 | be | ||||||
| 96 | became | ||||||
| 97 | because | ||||||
| 98 | become | ||||||
| 99 | becomes | ||||||
| 100 | becoming | ||||||
| 101 | been | ||||||
| 102 | before | ||||||
| 103 | beforehand | ||||||
| 104 | begin | ||||||
| 105 | behind | ||||||
| 106 | being | ||||||
| 107 | believe | ||||||
| 108 | below | ||||||
| 109 | beside | ||||||
| 110 | besides | ||||||
| 111 | best | ||||||
| 112 | better | ||||||
| 113 | between | ||||||
| 114 | beyond | ||||||
| 115 | both | ||||||
| 116 | brief | ||||||
| 117 | but | ||||||
| 118 | by | ||||||
| 119 | c | ||||||
| 120 | call | ||||||
| 121 | called | ||||||
| 122 | came | ||||||
| 123 | can | ||||||
| 124 | cannot | ||||||
| 125 | can't | ||||||
| 126 | cant | ||||||
| 127 | caption | ||||||
| 128 | cause | ||||||
| 129 | causes | ||||||
| 130 | certain | ||||||
| 131 | certainly | ||||||
| 132 | case | ||||||
| 133 | changes | ||||||
| 134 | clearly | ||||||
| 135 | c'mon | ||||||
| 136 | co. | ||||||
| 137 | co | ||||||
| 138 | com | ||||||
| 139 | come | ||||||
| 140 | comes | ||||||
| 141 | concerning | ||||||
| 142 | consequently | ||||||
| 143 | consider | ||||||
| 144 | considering | ||||||
| 145 | consist | ||||||
| 146 | consisting | ||||||
| 147 | contain | ||||||
| 148 | containing | ||||||
| 149 | contains | ||||||
| 150 | corresponding | ||||||
| 151 | could | ||||||
| 152 | couldn't | ||||||
| 153 | course | ||||||
| 154 | c's | ||||||
| 155 | currently | ||||||
| 156 | d | ||||||
| 157 | dare | ||||||
| 158 | daren't | ||||||
| 159 | definitely | ||||||
| 160 | defined | ||||||
| 161 | denote | ||||||
| 162 | denoted | ||||||
| 163 | described | ||||||
| 164 | despite | ||||||
| 165 | did | ||||||
| 166 | didn't | ||||||
| 167 | different | ||||||
| 168 | directly | ||||||
| 169 | do | ||||||
| 170 | does | ||||||
| 171 | doesn't | ||||||
| 172 | doing | ||||||
| 173 | done | ||||||
| 174 | don't | ||||||
| 175 | down | ||||||
| 176 | downwards | ||||||
| 177 | during | ||||||
| 178 | e | ||||||
| 179 | each | ||||||
| 180 | easy | ||||||
| 181 | edu | ||||||
| 182 | eg | ||||||
| 183 | eight | ||||||
| 184 | eighty | ||||||
| 185 | either | ||||||
| 186 | else | ||||||
| 187 | elsewhere | ||||||
| 188 | ending | ||||||
| 189 | enough | ||||||
| 190 | entirely | ||||||
| 191 | entry | ||||||
| 192 | especially | ||||||
| 193 | et | ||||||
| 194 | etc | ||||||
| 195 | ever | ||||||
| 196 | evermore | ||||||
| 197 | every | ||||||
| 198 | everybody | ||||||
| 199 | everyone | ||||||
| 200 | everything | ||||||
| 201 | everywhere | ||||||
| 202 | ex | ||||||
| 203 | exactly | ||||||
| 204 | example | ||||||
| 205 | except | ||||||
| 206 | expressed | ||||||
| 207 | express | ||||||
| 208 | f | ||||||
| 209 | fairly | ||||||
| 210 | far | ||||||
| 211 | farther | ||||||
| 212 | few | ||||||
| 213 | fewer | ||||||
| 214 | followed | ||||||
| 215 | following | ||||||
| 216 | follows | ||||||
| 217 | for | ||||||
| 218 | forever | ||||||
| 219 | former | ||||||
| 220 | formerly | ||||||
| 221 | forth | ||||||
| 222 | forward | ||||||
| 223 | found | ||||||
| 224 | from | ||||||
| 225 | further | ||||||
| 226 | furthermore | ||||||
| 227 | g | ||||||
| 228 | get | ||||||
| 229 | gets | ||||||
| 230 | getting | ||||||
| 231 | give | ||||||
| 232 | given | ||||||
| 233 | gives | ||||||
| 234 | goes | ||||||
| 235 | going | ||||||
| 236 | gone | ||||||
| 237 | got | ||||||
| 238 | gotten | ||||||
| 239 | greetings | ||||||
| 240 | h | ||||||
| 241 | had | ||||||
| 242 | hadn't | ||||||
| 243 | happens | ||||||
| 244 | hardly | ||||||
| 245 | has | ||||||
| 246 | hasn't | ||||||
| 247 | have | ||||||
| 248 | haven't | ||||||
| 249 | having | ||||||
| 250 | he | ||||||
| 251 | he'd | ||||||
| 252 | he'll | ||||||
| 253 | hello | ||||||
| 254 | help | ||||||
| 255 | hence | ||||||
| 256 | her | ||||||
| 257 | here | ||||||
| 258 | hereafter | ||||||
| 259 | hereby | ||||||
| 260 | herein | ||||||
| 261 | here's | ||||||
| 262 | hereupon | ||||||
| 263 | hers | ||||||
| 264 | herself | ||||||
| 265 | he's | ||||||
| 266 | hi | ||||||
| 267 | him | ||||||
| 268 | himself | ||||||
| 269 | his | ||||||
| 270 | hither | ||||||
| 271 | hopefully | ||||||
| 272 | how | ||||||
| 273 | howbeit | ||||||
| 274 | however | ||||||
| 275 | i | ||||||
| 276 | i'd | ||||||
| 277 | ie | ||||||
| 278 | if | ||||||
| 279 | ignored | ||||||
| 280 | i'll | ||||||
| 281 | i'm | ||||||
| 282 | immediate | ||||||
| 283 | in | ||||||
| 284 | inasmuch | ||||||
| 285 | inc. | ||||||
| 286 | inc | ||||||
| 287 | include | ||||||
| 288 | includes | ||||||
| 289 | indeed | ||||||
| 290 | indicate | ||||||
| 291 | indicated | ||||||
| 292 | indicates | ||||||
| 293 | inside | ||||||
| 294 | insofar | ||||||
| 295 | instead | ||||||
| 296 | into | ||||||
| 297 | inward | ||||||
| 298 | is | ||||||
| 299 | isn't | ||||||
| 300 | it | ||||||
| 301 | it'd | ||||||
| 302 | it'll | ||||||
| 303 | it's | ||||||
| 304 | its | ||||||
| 305 | itself | ||||||
| 306 | i've | ||||||
| 307 | j | ||||||
| 308 | just | ||||||
| 309 | k | ||||||
| 310 | keep | ||||||
| 311 | keeps | ||||||
| 312 | kept | ||||||
| 313 | know | ||||||
| 314 | known | ||||||
| 315 | knows | ||||||
| 316 | l | ||||||
| 317 | last | ||||||
| 318 | lately | ||||||
| 319 | later | ||||||
| 320 | latter | ||||||
| 321 | latterly | ||||||
| 322 | least | ||||||
| 323 | less | ||||||
| 324 | lest | ||||||
| 325 | let | ||||||
| 326 | let's | ||||||
| 327 | like | ||||||
| 328 | liked | ||||||
| 329 | likely | ||||||
| 330 | likewise | ||||||
| 331 | look | ||||||
| 332 | looking | ||||||
| 333 | looks | ||||||
| 334 | ltd | ||||||
| 335 | m | ||||||
| 336 | made | ||||||
| 337 | mainly | ||||||
| 338 | make | ||||||
| 339 | makes | ||||||
| 340 | many | ||||||
| 341 | may | ||||||
| 342 | maybe | ||||||
| 343 | mayn't | ||||||
| 344 | me | ||||||
| 345 | meantime | ||||||
| 346 | meanwhile | ||||||
| 347 | merely | ||||||
| 348 | might | ||||||
| 349 | mightn't | ||||||
| 350 | mine | ||||||
| 351 | miss | ||||||
| 352 | more | ||||||
| 353 | moreover | ||||||
| 354 | most | ||||||
| 355 | mostly | ||||||
| 356 | mr | ||||||
| 357 | mrs | ||||||
| 358 | much | ||||||
| 359 | must | ||||||
| 360 | mustn't | ||||||
| 361 | my | ||||||
| 362 | myself | ||||||
| 363 | n | ||||||
| 364 | name | ||||||
| 365 | namely | ||||||
| 366 | nd | ||||||
| 367 | near | ||||||
| 368 | nearly | ||||||
| 369 | necessary | ||||||
| 370 | need | ||||||
| 371 | needn't | ||||||
| 372 | needs | ||||||
| 373 | neither | ||||||
| 374 | never | ||||||
| 375 | neverf | ||||||
| 376 | neverless | ||||||
| 377 | nevertheless | ||||||
| 378 | new | ||||||
| 379 | next | ||||||
| 380 | nine | ||||||
| 381 | ninety | ||||||
| 382 | no | ||||||
| 383 | nobody | ||||||
| 384 | non | ||||||
| 385 | none | ||||||
| 386 | nonetheless | ||||||
| 387 | no-one | ||||||
| 388 | noone | ||||||
| 389 | nor | ||||||
| 390 | normally | ||||||
| 391 | not | ||||||
| 392 | note | ||||||
| 393 | notion | ||||||
| 394 | nothing | ||||||
| 395 | notwithstanding | ||||||
| 396 | novel | ||||||
| 397 | now | ||||||
| 398 | nowhere | ||||||
| 399 | o | ||||||
| 400 | obtain | ||||||
| 401 | obtained | ||||||
| 402 | obviously | ||||||
| 403 | of | ||||||
| 404 | off | ||||||
| 405 | often | ||||||
| 406 | oh | ||||||
| 407 | ok | ||||||
| 408 | okay | ||||||
| 409 | old | ||||||
| 410 | on | ||||||
| 411 | once | ||||||
| 412 | one | ||||||
| 413 | one's | ||||||
| 414 | ones | ||||||
| 415 | only | ||||||
| 416 | onto | ||||||
| 417 | opposite | ||||||
| 418 | or | ||||||
| 419 | originally | ||||||
| 420 | other | ||||||
| 421 | others | ||||||
| 422 | otherwise | ||||||
| 423 | ought | ||||||
| 424 | oughtn't | ||||||
| 425 | our | ||||||
| 426 | ours | ||||||
| 427 | ourselves | ||||||
| 428 | out | ||||||
| 429 | outside | ||||||
| 430 | over | ||||||
| 431 | overall | ||||||
| 432 | own | ||||||
| 433 | p | ||||||
| 434 | particular | ||||||
| 435 | particularly | ||||||
| 436 | past | ||||||
| 437 | per | ||||||
| 438 | perhaps | ||||||
| 439 | placed | ||||||
| 440 | please | ||||||
| 441 | possible | ||||||
| 442 | presumably | ||||||
| 443 | probably | ||||||
| 444 | prove | ||||||
| 445 | proves | ||||||
| 446 | proved | ||||||
| 447 | provided | ||||||
| 448 | provides | ||||||
| 449 | q | ||||||
| 450 | que | ||||||
| 451 | quite | ||||||
| 452 | qv | ||||||
| 453 | r | ||||||
| 454 | rather | ||||||
| 455 | rd | ||||||
| 456 | re | ||||||
| 457 | really | ||||||
| 458 | reasonably | ||||||
| 459 | recent | ||||||
| 460 | recently | ||||||
| 461 | reference | ||||||
| 462 | regarding | ||||||
| 463 | regardless | ||||||
| 464 | regards | ||||||
| 465 | relatively | ||||||
| 466 | required | ||||||
| 467 | respective | ||||||
| 468 | respectively | ||||||
| 469 | s | ||||||
| 470 | said | ||||||
| 471 | same | ||||||
| 472 | saw | ||||||
| 473 | say | ||||||
| 474 | saying | ||||||
| 475 | says | ||||||
| 476 | secondly | ||||||
| 477 | see | ||||||
| 478 | seeing | ||||||
| 479 | seem | ||||||
| 480 | seemed | ||||||
| 481 | seeming | ||||||
| 482 | seems | ||||||
| 483 | seen | ||||||
| 484 | self | ||||||
| 485 | selves | ||||||
| 486 | sensible | ||||||
| 487 | sent | ||||||
| 488 | serious | ||||||
| 489 | seriously | ||||||
| 490 | seven | ||||||
| 491 | several | ||||||
| 492 | shall | ||||||
| 493 | shan't | ||||||
| 494 | she | ||||||
| 495 | she'd | ||||||
| 496 | she'll | ||||||
| 497 | she's | ||||||
| 498 | show | ||||||
| 499 | shows | ||||||
| 500 | showed | ||||||
| 501 | should | ||||||
| 502 | shouldn't | ||||||
| 503 | side | ||||||
| 504 | similarly | ||||||
| 505 | since | ||||||
| 506 | six | ||||||
| 507 | so | ||||||
| 508 | solve | ||||||
| 509 | solving | ||||||
| 510 | solved | ||||||
| 511 | some | ||||||
| 512 | somebody | ||||||
| 513 | someday | ||||||
| 514 | somehow | ||||||
| 515 | someone | ||||||
| 516 | something | ||||||
| 517 | sometime | ||||||
| 518 | sometimes | ||||||
| 519 | somewhat | ||||||
| 520 | somewhere | ||||||
| 521 | soon | ||||||
| 522 | sorry | ||||||
| 523 | specified | ||||||
| 524 | specify | ||||||
| 525 | specifying | ||||||
| 526 | still | ||||||
| 527 | sub | ||||||
| 528 | such | ||||||
| 529 | sup | ||||||
| 530 | suppose | ||||||
| 531 | sure | ||||||
| 532 | t | ||||||
| 533 | take | ||||||
| 534 | taken | ||||||
| 535 | taking | ||||||
| 536 | tell | ||||||
| 537 | tends | ||||||
| 538 | th | ||||||
| 539 | than | ||||||
| 540 | thank | ||||||
| 541 | thanks | ||||||
| 542 | thanx | ||||||
| 543 | that | ||||||
| 544 | that'll | ||||||
| 545 | that's | ||||||
| 546 | thats | ||||||
| 547 | that've | ||||||
| 548 | the | ||||||
| 549 | their | ||||||
| 550 | theirs | ||||||
| 551 | them | ||||||
| 552 | themselves | ||||||
| 553 | then | ||||||
| 554 | thence | ||||||
| 555 | there | ||||||
| 556 | thereafter | ||||||
| 557 | thereby | ||||||
| 558 | there'd | ||||||
| 559 | therefore | ||||||
| 560 | therein | ||||||
| 561 | there'll | ||||||
| 562 | there're | ||||||
| 563 | there's | ||||||
| 564 | theres | ||||||
| 565 | thereupon | ||||||
| 566 | there've | ||||||
| 567 | these | ||||||
| 568 | they | ||||||
| 569 | they'd | ||||||
| 570 | they'll | ||||||
| 571 | they're | ||||||
| 572 | they've | ||||||
| 573 | thing | ||||||
| 574 | things | ||||||
| 575 | think | ||||||
| 576 | thirty | ||||||
| 577 | this | ||||||
| 578 | thorough | ||||||
| 579 | thoroughly | ||||||
| 580 | those | ||||||
| 581 | though | ||||||
| 582 | three | ||||||
| 583 | through | ||||||
| 584 | throughout | ||||||
| 585 | thru | ||||||
| 586 | thus | ||||||
| 587 | till | ||||||
| 588 | to | ||||||
| 589 | together | ||||||
| 590 | too | ||||||
| 591 | took | ||||||
| 592 | toward | ||||||
| 593 | towards | ||||||
| 594 | tried | ||||||
| 595 | tries | ||||||
| 596 | truly | ||||||
| 597 | try | ||||||
| 598 | trying | ||||||
| 599 | t's | ||||||
| 600 | twice | ||||||
| 601 | two | ||||||
| 602 | u | ||||||
| 603 | un | ||||||
| 604 | under | ||||||
| 605 | underneath | ||||||
| 606 | undoing | ||||||
| 607 | unfortunately | ||||||
| 608 | unless | ||||||
| 609 | unlike | ||||||
| 610 | unlikely | ||||||
| 611 | until | ||||||
| 612 | unto | ||||||
| 613 | up | ||||||
| 614 | upon | ||||||
| 615 | upwards | ||||||
| 616 | us | ||||||
| 617 | use | ||||||
| 618 | used | ||||||
| 619 | useful | ||||||
| 620 | uses | ||||||
| 621 | using | ||||||
| 622 | usually | ||||||
| 623 | v | ||||||
| 624 | various | ||||||
| 625 | versus | ||||||
| 626 | very | ||||||
| 627 | via | ||||||
| 628 | viz | ||||||
| 629 | vs | ||||||
| 630 | w | ||||||
| 631 | want | ||||||
| 632 | wants | ||||||
| 633 | was | ||||||
| 634 | wasn't | ||||||
| 635 | way | ||||||
| 636 | we | ||||||
| 637 | we'd | ||||||
| 638 | welcome | ||||||
| 639 | we'll | ||||||
| 640 | well | ||||||
| 641 | went | ||||||
| 642 | we're | ||||||
| 643 | were | ||||||
| 644 | weren't | ||||||
| 645 | we've | ||||||
| 646 | what | ||||||
| 647 | whatever | ||||||
| 648 | what'll | ||||||
| 649 | what's | ||||||
| 650 | what've | ||||||
| 651 | when | ||||||
| 652 | whence | ||||||
| 653 | whenever | ||||||
| 654 | where | ||||||
| 655 | whereafter | ||||||
| 656 | whereas | ||||||
| 657 | whereby | ||||||
| 658 | wherein | ||||||
| 659 | where's | ||||||
| 660 | whereupon | ||||||
| 661 | wherever | ||||||
| 662 | whether | ||||||
| 663 | which | ||||||
| 664 | whichever | ||||||
| 665 | while | ||||||
| 666 | whilst | ||||||
| 667 | whither | ||||||
| 668 | who | ||||||
| 669 | who'd | ||||||
| 670 | whoever | ||||||
| 671 | whole | ||||||
| 672 | who'll | ||||||
| 673 | whom | ||||||
| 674 | whomever | ||||||
| 675 | who's | ||||||
| 676 | whose | ||||||
| 677 | why | ||||||
| 678 | will | ||||||
| 679 | willing | ||||||
| 680 | wish | ||||||
| 681 | with | ||||||
| 682 | within | ||||||
| 683 | without | ||||||
| 684 | wonder | ||||||
| 685 | won't | ||||||
| 686 | work | ||||||
| 687 | would | ||||||
| 688 | wouldn't | ||||||
| 689 | write | ||||||
| 690 | written | ||||||
| 691 | x | ||||||
| 692 | y | ||||||
| 693 | yes | ||||||
| 694 | yet | ||||||
| 695 | you | ||||||
| 696 | you'd | ||||||
| 697 | you'll | ||||||
| 698 | your | ||||||
| 699 | you're | ||||||
| 700 | yours | ||||||
| 701 | yourself | ||||||
| 702 | yourselves | ||||||
| 703 | you've | ||||||
| 704 | z | ||||||
| 705 | /];} | ||||||
| 706 | |||||||
| 707 | 1; | ||||||
| 708 | |||||||
| 709 | __END__ |