| 1 | package WWW::Crawl4AI::Request; | ||||||||||||||||||||
| 2 | # ABSTRACT: builds Crawl4AI /crawl and /md request payloads | ||||||||||||||||||||
| 3 | 13 | ▶ | use Moo; | ||||||||||||||||||
|
Subroutine
BEGIN: called CC=1 SCAR=0.0
| |||||||||||||||||||||
| 4 | 13 | ▶ | use Carp qw( croak ); | ||||||||||||||||||
|
Subroutine
BEGIN: called CC=1 SCAR=0.0
| |||||||||||||||||||||
| 5 | |||||||||||||||||||||
| 6 | 13 | our $VERSION = '0.001'; | |||||||||||||||||||
| 7 | |||||||||||||||||||||
| 8 | |||||||||||||||||||||
| 9 | has urls => ( | ||||||||||||||||||||
| 10 | is => 'ro', | ||||||||||||||||||||
| 11 | required => 1, | ||||||||||||||||||||
| 12 | 47 | ▶ | coerce => sub { ref $_[0] eq 'ARRAY' ? $_[0] : [ $_[0] ] }, | ||||||||||||||||||
|
Subroutine
__ANON__: called CC=2 SCAR=6.9
Branch: 1 branch
| |||||||||||||||||||||
| 13 | 13 | ); | |||||||||||||||||||
| 14 | |||||||||||||||||||||
| 15 | |||||||||||||||||||||
| 16 | has browser_params => ( | ||||||||||||||||||||
| 17 | is => 'ro', | ||||||||||||||||||||
| 18 | 7 | ▶ | default => sub { {} }, | ||||||||||||||||||
|
Subroutine
__ANON__: called CC=1 SCAR=0.0
| |||||||||||||||||||||
| 19 | 13 | ); | |||||||||||||||||||
| 20 | |||||||||||||||||||||
| 21 | |||||||||||||||||||||
| 22 | has crawler_params => ( | ||||||||||||||||||||
| 23 | is => 'ro', | ||||||||||||||||||||
| 24 | 7 | ▶ | default => sub { {} }, | ||||||||||||||||||
|
Subroutine
__ANON__: called CC=1 SCAR=0.0
| |||||||||||||||||||||
| 25 | 13 | ); | |||||||||||||||||||
| 26 | |||||||||||||||||||||
| 27 | |||||||||||||||||||||
| 28 | # /md endpoint extras | ||||||||||||||||||||
| 29 | 13 | has filter => ( is => 'ro' ); # fit | raw | bm25 | llm | |||||||||||||||||||
| 30 | |||||||||||||||||||||
| 31 | |||||||||||||||||||||
| 32 | 13 | has query => ( is => 'ro' ); | |||||||||||||||||||
| 33 | |||||||||||||||||||||
| 34 | |||||||||||||||||||||
| 35 | 13 | has cache => ( is => 'ro' ); | |||||||||||||||||||
| 36 | |||||||||||||||||||||
| 37 | |||||||||||||||||||||
| 38 | 47 | ▶ | sub BUILD { | ||||||||||||||||||
|
Subroutine
BUILD: called CC=2 SCAR=6.9
Pod
undocumented
| |||||||||||||||||||||
| 39 | 47 | my ( $self ) = @_; | |||||||||||||||||||
| 40 | 47 | ▶ | croak "WWW::Crawl4AI::Request needs at least one url" unless @{ $self->urls }; | ||||||||||||||||||
|
Branch: 1 branch
| |||||||||||||||||||||
| 41 | 46 | return; | |||||||||||||||||||
| 42 | } | ||||||||||||||||||||
| 43 | |||||||||||||||||||||
| 44 | 23 | ▶ | sub _default_browser_params { | ||||||||||||||||||
|
Subroutine
_default_browser_params: called CC=1 SCAR=0.0
| |||||||||||||||||||||
| 45 | 23 | return { headless => JSON_true() }; | |||||||||||||||||||
| 46 | } | ||||||||||||||||||||
| 47 | |||||||||||||||||||||
| 48 | 23 | ▶ | sub _default_crawler_params { | ||||||||||||||||||
|
Subroutine
_default_crawler_params: called CC=1 SCAR=0.0
| |||||||||||||||||||||
| 49 | 23 | return { stream => JSON_false(), cache_mode => 'bypass' }; | |||||||||||||||||||
| 50 | } | ||||||||||||||||||||
| 51 | |||||||||||||||||||||
| 52 | # We avoid a hard JSON::PP::Boolean dependency at build time by deferring to | ||||||||||||||||||||
| 53 | # JSON::MaybeXS only where booleans are actually serialized. These helpers keep | ||||||||||||||||||||
| 54 | # the payload hash JSON-true/false rather than 1/0 (Crawl4AI is strict). | ||||||||||||||||||||
| 55 | 13 | my ( $TRUE, $FALSE ); | |||||||||||||||||||
| 56 | 64 | ▶ | sub JSON_true { $TRUE ||= do { require JSON::MaybeXS; JSON::MaybeXS::true() } } | ||||||||||||||||||
|
Subroutine
JSON_true: called CC=2 SCAR=7.0
Pod
documented
Condition66%2/3
$TRUE ||= do {
require JSON::MaybeXS;
bless( do{\(my $o = 1)}, 'JSON::PP::Boolean' )
}
MC/DC0%0/2
$TRUE ||= do {
require JSON::MaybeXS;
bless( do{\(my $o = 1)}, 'JSON::PP::Boolean' )
}
$TRUE
do {
require JSON::MaybeXS;
bless( do{\(my $o = 1)}, 'JSON::PP::Boolean' )
}
Truth table66%2/3
A ||= B
A= $TRUEB= do {
require JSON::MaybeXS;
bless( do{\(my $o = 1)}, 'JSON::PP::Boolean' )
}
| |||||||||||||||||||||
| 57 | 23 | ▶ | sub JSON_false { $FALSE ||= do { require JSON::MaybeXS; JSON::MaybeXS::false() } } | ||||||||||||||||||
|
Subroutine
JSON_false: called CC=2 SCAR=7.6
Pod
documented
Condition33%1/3
$FALSE ||= do {
require JSON::MaybeXS;
bless( do{\(my $o = 0)}, 'JSON::PP::Boolean' )
}
MC/DC0%0/2
$FALSE ||= do {
require JSON::MaybeXS;
bless( do{\(my $o = 0)}, 'JSON::PP::Boolean' )
}
$FALSE
do {
require JSON::MaybeXS;
bless( do{\(my $o = 0)}, 'JSON::PP::Boolean' )
}
Truth table33%1/3
A ||= B
A= $FALSEB= do {
require JSON::MaybeXS;
bless( do{\(my $o = 0)}, 'JSON::PP::Boolean' )
}
| |||||||||||||||||||||
| 58 | |||||||||||||||||||||
| 59 | |||||||||||||||||||||
| 60 | 23 | ▶ | sub to_crawl_payload { | ||||||||||||||||||
|
Subroutine
to_crawl_payload: called CC=1 SCAR=0.0
Pod
documented
| |||||||||||||||||||||
| 61 | 23 | my ( $self ) = @_; | |||||||||||||||||||
| 62 | 23 | my %browser = ( %{ $self->_default_browser_params }, %{ $self->browser_params } ); | |||||||||||||||||||
| 63 | 23 | my %crawler = ( %{ $self->_default_crawler_params }, %{ $self->crawler_params } ); | |||||||||||||||||||
| 64 | return { | ||||||||||||||||||||
| 65 | 23 | urls => $self->urls, | |||||||||||||||||||
| 66 | browser_config => { type => 'BrowserConfig', params => \%browser }, | ||||||||||||||||||||
| 67 | crawler_config => { type => 'CrawlerRunConfig', params => \%crawler }, | ||||||||||||||||||||
| 68 | }; | ||||||||||||||||||||
| 69 | } | ||||||||||||||||||||
| 70 | |||||||||||||||||||||
| 71 | |||||||||||||||||||||
| 72 | 1 | ▶ | sub to_md_payload { | ||||||||||||||||||
|
Subroutine
to_md_payload: called CC=4 SCAR=14.5
Pod
documented
| |||||||||||||||||||||
| 73 | 1 | my ( $self ) = @_; | |||||||||||||||||||
| 74 | 1 | my %p = ( url => $self->urls->[0] ); | |||||||||||||||||||
| 75 | 1 | ▶ | $p{f} = $self->filter if defined $self->filter; | ||||||||||||||||||
|
Branch: 1 branch
| |||||||||||||||||||||
| 76 | 1 | ▶ | $p{q} = $self->query if defined $self->query; | ||||||||||||||||||
|
Branch: 1 branch
| |||||||||||||||||||||
| 77 | 1 | ▶ | $p{c} = $self->cache if defined $self->cache; | ||||||||||||||||||
|
Branch: 1 branch
| |||||||||||||||||||||
| 78 | 1 | return \%p; | |||||||||||||||||||
| 79 | } | ||||||||||||||||||||
| 80 | |||||||||||||||||||||
| 81 | |||||||||||||||||||||
| 82 | 13 | 1; | |||||||||||||||||||
| 83 | |||||||||||||||||||||
| 84 | __END__ | ||||||||||||||||||||