| 1 | package WWW::Crawl4AI::Strategy::Proxy; | ||||||||||
| 2 | # ABSTRACT: Crawl4AI strategy routing through a configured proxy | ||||||||||
| 3 | 5 | ▶ | use Moo; | ||||||||
|
Subroutine
BEGIN: called CC=1 SCAR=0.0
| |||||||||||
| 4 | 5 | ▶ | use WWW::Crawl4AI::Request (); | ||||||||
|
Subroutine
BEGIN: called CC=1 SCAR=0.0
| |||||||||||
| 5 | 5 | with 'WWW::Crawl4AI::Strategy'; | |||||||||
| 6 | |||||||||||
| 7 | 5 | our $VERSION = '0.001'; | |||||||||
| 8 | |||||||||||
| 9 | |||||||||||
| 10 | 11 | ▶ | sub name { 'crawl4ai_proxy' } | ||||||||
|
Subroutine
name: called CC=1 SCAR=0.0
Pod
documented
| |||||||||||
| 11 | |||||||||||
| 12 | |||||||||||
| 13 | 0 | ▶ | sub cost_class { 'paid' } | ||||||||
|
Subroutine
cost_class: not called CC=1 SCAR=6.9
Pod
documented
| |||||||||||
| 14 | |||||||||||
| 15 | |||||||||||
| 16 | 8 | ▶ | sub applicable { | ||||||||
|
Subroutine
applicable: called CC=2 SCAR=6.9
Pod
documented
| |||||||||||
| 17 | 8 | my ( $self, $crawler ) = @_; | |||||||||
| 18 | 8 | ▶ | return $crawler->proxy_url ? 1 : 0; | ||||||||
|
Branch: 1 branch
| |||||||||||
| 19 | } | ||||||||||
| 20 | |||||||||||
| 21 | |||||||||||
| 22 | 0 | ▶ | sub build_request { | ||||||||
|
Subroutine
build_request: not called CC=1 SCAR=6.9
Pod
undocumented
| |||||||||||
| 23 | 0 | my ( $self, $crawler, $url ) = @_; | |||||||||
| 24 | 0 | return $self->_request( | |||||||||
| 25 | $url, | ||||||||||
| 26 | browser => { | ||||||||||
| 27 | enable_stealth => WWW::Crawl4AI::Request::JSON_true(), | ||||||||||
| 28 | user_agent_mode => 'random', | ||||||||||
| 29 | proxy_config => { server => $crawler->proxy_url }, | ||||||||||
| 30 | }, | ||||||||||
| 31 | crawler => { wait_until => 'networkidle' }, | ||||||||||
| 32 | ); | ||||||||||
| 33 | } | ||||||||||
| 34 | |||||||||||
| 35 | 5 | 1; | |||||||||
| 36 | |||||||||||
| 37 | __END__ | ||||||||||