lib/FB3/Euristica.pm untested

filter: Statementstmt 0.0% 0 / 83 Branchbran 0.0% 0 / 16 Conditioncond 0.0% 0 / 31 MC/DCmcdc 0.0% 0 / 19 Subroutinesub 0.0% 0 / 9 Podpod 0.0% 0 / 3 totaltotal 0.0% 0 / 161 CC 9 SCAR 29.1
CC
9
Cov
0%
ParseFile
42.0
new
12.0
CalculateLinks
6.0
CRAP 18.4
1 package FB3::Euristica;
2
3 use strict;
4 use Data::Dumper;
5 use utf8;
6 use WWW::Mechanize::PhantomJS;
7 use FB3::Convert;
8 use File::Copy;
9
10 sub new {
11 my $class = shift;
12 my $X = {};
13 my %Args = @_;
14
15 $X->{'verbose'} = $Args{'verbose'};
16 $X->{'ContentDir'} = $Args{'ContentDir'};
17 $X->{'SourceDir'} = $Args{'SourceDir'};
18 $X->{'DestinationDir'} = $Args{'DestinationDir'};
19 $X->{'DebugPath'} = $Args{'DebugPath'} || undef;
20 $X->{'DebugPrefix'} = $Args{'DebugPrefix'} || undef;
21 $X->{'unzipped'} = $Args{'unzipped'} || undef;
22
23 if ($X->{'DebugPath'}) {
24 mkdir $X->{'DebugPath'} or FB3::Convert::Error($X, $X->{'DebugPath'}." : $!") unless -d $X->{'DebugPath'};
25 FB3::Convert::Msg($X, "Create euristica debug at $X->{'DebugPath'}\n");
26 }
27
28 my $PHJS_bin = $Args{'phjs'} || undef;
29
30 my $mech = WWW::Mechanize::PhantomJS->new('launch_exe'=>$PHJS_bin);
31 $X->{'MECH'} = $mech;
32
33 return bless $X, $class;
34 }
35
36 sub CalculateLinks {
37 my $X = shift;
38 my %Args = @_;
39 my $Files = $Args{'files'} || [];
40
41 my $PHJS = $X->{'MECH'};
42 my %Links;
43
44 foreach my $File (@$Files) {
45 $PHJS->get_local($File) or FB3::Convert::Error($X, "Can't open file for phantomjs ".$File." : ".$!);
46
47 my $Links = $PHJS->eval_in_page(<<'Links', 'Foobar/1.0');
48 (function(arguments){
49 var TEXT_NODE = 3;
50 var nodesBody = Array.prototype.slice.call(document.body.childNodes);
51 var Ret = Array();
52
53 NodeProc(nodesBody);
54
55 function NodeProc(nodes) {
56 nodes.forEach(function(node) {
57 if (node.nodeType == TEXT_NODE) return;
58 var childs = Array.prototype.slice.call(node.childNodes);
59 NodeProc(childs);
60 if (node.nodeName.toLowerCase() == 'a' && node.href.match(/^file:\/\//)) {
61 Ret.push(node.href);
62 }
63 });
64 }
65
66 return Ret;
67 })(arguments);
68 Links
69
70 foreach my $Link ( @$Links ) {
71 $Link =~ s/^file:\/\///;
72 my ($LinkFile,$Anchor) = split /\#/, $Link;
73 $Links{$LinkFile}->{$Anchor} = 1 if $Anchor;
74 }
75
76 }
77
78 $X->{'LocalLinks'} = \%Links;
79
80 return \%Links;
81 }
82
83 sub ParseFile {
84 my $X = shift;
85 my %Args = @_;
86
87 FB3::Convert::Error($X, "Can't find file for parse or not defined 'file' param ".$Args{'file'}) if !defined $Args{'file'} || !-f $Args{'file'};
88 $X->{'SrcFile'} = $Args{'file'};
89
90 my $PHJS = $X->{'MECH'};
91
92 $PHJS->get_local($Args{'file'}) or FB3::Convert::Error($X, "Can't open file for phantomjs : ".$Args{'file'});
93 $X->{'ContentBefore'} = $PHJS->content( format => 'html' );
94
95 if ($X->{'ContentBefore'} =~ /<parsererror/ && $X->{'ContentBefore'} =~ /following errors:/) {
96 my $Err = $X->{'ContentBefore'};
97 $Err =~ s/.*(<parsererror.*<\/parsererror>).*/$1/g;
98 FB3::Convert::Error($X, "Can't parse string. skip. : ".$Err );
99 }
100
101 my $Debug = $PHJS->eval_in_page(<<'JS', "Foobar/1.0", $X->{'LocalLinks'});
102 (function(arguments){
103 // Node types
104 var ELEMENT_NODE = 1;
105 var TEXT_NODE = 3;
106
107 var LocalLinks = arguments[1] || {};
108 var FILENAME = window.location.pathname;
109 var RET = Array();
110
111 //настройки
112
113 var IsShortLength = 100; // меньше скольки символов текст считать коротким
114 var TooMuchFontSize = 4; // на сколько px нужно быть увеличенным текстом от document.body, чтобы тебя посчитали "большим" (см. BALLS_FOR_BIG_FONT)
115 var TooMuchMargin = 6; // на сколько px нужно иметь отступ, чтобы тебя посчитали "отбитым текстом"
116 var TooMuchBR = 1; // сумма <br>, считаемая отбивкой
117
118 var BALLS_FOR_TITLE = 10; // сколько баллов набрать, чтобы определить как title
119
120 //кол-во баллов за события
121 var BALLS_LINK = 3; // на кандидата ссылаются из любого файла в книге
122 var BALLS_FOR_SHORT = 3; // текст в кандидате короткий
123 var BALLS_FOR_MAGICK_WORDS = 7; // за магические слова
124 var BALLS_FOR_CENTER = 3; // за центрирование текста
125 var BALLS_FOR_BIG_FONT = 3; // за увеличенный текст (см. TooMuchFontSize)
126 var BALLS_FOR_MARGIN = 3; // за отступы
127
128 var BlockLevel = {
129 'address':1,
130 'article':1,
131 'aside':1,
132 'blockquote':1,
133 'canvas':1,
134 'dd':1,
135 'div':1,
136 'dl':1,
137 'dt':1,
138 'fieldset':1,
139 'figcaption':1,
140 'figure':1,
141 'footer':1,
142 'form':1,
143 'header':1,
144 //'hr', //бесполезно
145 'main':1,
146 'nav':1,
147 'noscript':1,
148 'ol':1,
149 'ul':1,
150 'li':1,
151 'output':1,
152 'p':1,
153 'pre':1,
154 'section':1,
155 'table':1,
156 'tfoot':1,
157 //'video', //слишком
158 //↓↓↓ формально не блок-левел ↓↓↓
159 'th':1,
160 'tr':1,
161 'td':1
162 };
163
164 String.prototype.HaveIn = function(words) {
165 var str = this;
166 str = str.trim();
167 str = str.replace(/[\s\n\r]+/g,' ');
168 var sp = str.split(' ');
169 var H = {}; words.forEach(function(v){H[v]=1;});
170 var find = 0;
171 ret = sp.forEach( function(v){ if (v in H) {find=1;return;}} );
172 return find;
173 };
174
175 String.prototype.digCut = function() { //откусывает буквы, оставляя число
176 return parseInt(this.replace(new RegExp('/[^\d]+/', 'g'), ''));
177 };
178
179 Array.prototype.digMax = function() { //возвращает максимальное число в массиве
180 var Max = 0;
181 this.forEach(function(v){if(parseInt(v)>Max) Max = parseInt(v);});
182 return Max;
183 };
184
185 Element.prototype.setTagName=function(strTN) {
186 if (this.tagName.toUpperCase() == strTN.toUpperCase()) return;
187 var newNode = document.createElement(strTN);
188 newNode.innerHTML = this.innerHTML;
189 for (var i = 0, atts = this.attributes, n = atts.length; i < n; i++){
190 newNode.setAttribute(atts[i].nodeName, atts[i].nodeValue);
191 }
192 this.parentElement.replaceChild(newNode,this);
193 }
194
195 var FirstTextLength = 0;
196 FindCandidateNode = 0;
197 var Balls = 3; //по умолчанию баллы за то, что кандидат вверху (может быть сброшен в контексте анализа)
198
199 //бежим по нодам в body
200 nodes = Array.prototype.slice.call(document.body.childNodes);
201 var BreakException = {};
202 try {
203 nodes.forEach(
204 function(currNode, currIndex) {
205 var NodeName = currNode.nodeName.toLowerCase();
206 var Changed = 0;
207
208 if (currNode.nodeType == TEXT_NODE) { //Текстовая нода
209 if (!FindCandidateNode) FirstTextLength += currNode.nodeValue.trim().length;
210 if (FirstTextLength > 3) Balls = 0; //в начале какой-то значимый "голый текст", +3 в баллы не светит (<=3 символа будем считать мусором)
211 RET.push('[INDEX: ' + currIndex + ']' + currNode.nodeValue.trim() + "[FirstTextLength:"+ FirstTextLength +"]");
212 } else { // Видимо element-нода
213 Calc = ParseCandidate(currNode);
214 var Cand = Calc['CALC'];
215 if (!FindCandidateNode && Cand['TextLength'] >= 0 && Cand['TextLength'] <= 3) {
216 FirstTextLength += Cand['TextLength']; //какой-то малозначимый текст в блоке, будем считать, что это мусор в начале
217 } else if (Cand['TextLength'] > 3) {
218
219 //наткнулись на ноду с текстом, хватит перебирать "голый текст" в начале
220 FindCandidateNode++; //
221
222 if (currNode.id) {
223 var ID = currNode.id;
224 if (ID != null && LocalLinks[FILENAME] != null && ID in LocalLinks[FILENAME]) {
225 Calc['BALLS'] += BALLS_LINK;
226 }
227 }
228
229 if (
230 !(NodeName in BlockLevel) || // (!!!) подумать - нужно оно, или мы все элемент-ноды считаем
231 NodeName.match(/^h\d+$/) // <h*> надо пропустить
232 ) return;
233
234 //смотрим, что насчитали по текущему блоку
235 Calc['BALLS'] += Balls; //Сложим баллы по ноде
236 Balls = 0; //следующему кандидату баллы за начало страницы уже не достанутся
237
238 if (Calc['BALLS'] >= BALLS_FOR_TITLE) { // По всей видимости детектировали заголовок
239 currNode.setTagName("h6");
240 Changed = 1;
241 }
242
243 }
244 RET.push(
245 {
246 "DEBUG": '[INDEX:' + currIndex + ']' + currNode.outerHTML + '[DUMP:' + JSON.stringify(Calc) + ']',
247 "BALLS": Calc['BALLS'],
248 "CHANGED": Changed
249 }
250 );
251 if (FindCandidateNode>=2) throw BreakException; //хватит перебирать
252 }
253 }
254 );
255 } catch (e) {
256 if (e !== BreakException) throw e;
257 }
258
259 return RET;
260
261 function ParseCandidate(candidate) {
262 Calc = CalcNodeRecursive(candidate); //калькуляция текущей ноды
263 TopNext = TopNextNodes(candidate); //калькуляция ближайших нод снизу, влияющих на отступ
264
265 //подсчет баллов для установления вероятности заголовка
266 var Cballs = 0;
267 if (Calc['TextLength'] > 0 && Calc['TextLength'] < IsShortLength) Cballs += BALLS_FOR_SHORT;
268 if (Calc['MagicWords'] > 0) Cballs += BALLS_FOR_MAGICK_WORDS;
269 if (Calc['HaveCenter'] > 0) Cballs += BALLS_FOR_CENTER;
270
271 //увеличенный шрифт?
272 var BodyStyle = simpleStyles(document.body);
273 if ('font-size' in BodyStyle) { //вообще так не бывает
274 var MainFsize = BodyStyle['font-size'].digCut();
275 if (Calc['TextSize'].digMax() - MainFsize >= TooMuchFontSize) Cballs += BALLS_FOR_BIG_FONT;
276 }
277
278 //отбивка?
279 var BRSumm=0;
280 var MarginSumm = 0;
281
282 if (Calc['HaveBRbottom'] > 0) {
283 BRSumm += Calc['HaveBRbottom']; //нашли отбивку br по низу
284 }
285
286 //стили отбивки по низу
287 //по умолчанию в блоках маргин по величине шрифта - это норма и выставляется в DOM автоматически, если не указаны стили
288 // в <span> и пр - Top|Bottom - всегда нули, не зависимо от style='margin|padding'
289 if ( Calc['Bottom'].digMax() > Calc['TextSize'].digMax() ) {
290 MarginSumm += (Calc['Bottom'].digMax() - Calc['TextSize'].digMax());
291 }
292
293 //смотрим соседей снизу
294 TopNext['DATA'].forEach(
295 function(v) {
296 if ( v['HaveBRtop'] > 0 ) BRSumm += v['HaveBRtop']; //нашли отбивку br соседа по верху
297 if ( v['Top'].digMax() > v['TextSize'].digMax() ) { //стили отбивки нижнего соседа по верху
298 MarginSumm += (v['Top'].digMax() - v['TextSize'].digMax());
299 }
300 }
301 );
302
303 if (BRSumm >= TooMuchBR || MarginSumm >= TooMuchMargin) Cballs += BALLS_FOR_MARGIN; //нашли достаточную отбивку
304
305 return {
306 'CALC': Calc,
307 'NEXT': TopNext,
308 'BALLS': Cballs
309 };
310 }
311
312 function CalcNodeRecursive(node) {
313 var DBG;
314 var nodes = Array.prototype.slice.call(node.childNodes,0);
315 if (!nodes.length) nodes = [node];
316 //DBG = nodes.length;
317
318 var TL = 0; //длина текста
319 var MW = 0; //наличие волшебных слов
320 var TS = Array(); //размеры текста в ноде
321 var MB = Array(); //отступы снизу margin|padding в ноде
322 var MT = Array(); //отступы вверху margin|padding в ноде
323 var BRB = 0; //имеет <br/> в отбивку снизу
324 var BRT = 0; //имеет <br/> в отбивку сверху
325 var CNT = 0; //имеет текст, выровненный по цетру относительно родительского блок-левел элемента
326
327 nodes.forEach(
328 function(currNode, currIndex) {
329 if (!currNode) return;
330 if (currNode.nodeType == TEXT_NODE) {
331 val = currNode.nodeValue;
332 TL += val.trim().length;
333
334 if ( val.toLowerCase().HaveIn(Array('глава','часть','chapter','part')) ) {
335 MW += 1;
336 }
337
338 var styles = simpleStyles(currNode.parentNode);
339 var block;
340 var PN = currNode.parentNode.nodeName.toLowerCase();
341 if (PN in BlockLevel) block = 1; //для остальных нет эффекта отступов
342
343 if (block && 'text-align' in styles && styles['text-align'].toLowerCase() == 'center') CNT = 1;
344
345 if (styles['font-size']) TS.push(styles['font-size'].digCut());
346
347 var bl = 0;
348 if (styles['margin-bottom'] && block) bl += styles['margin-bottom'].digCut();
349 if (styles['padding-bottom'] && block) bl += styles['padding-bottom'].digCut();
350 MB.push(bl);
351
352 var tl = 0;
353 if (styles['margin-top'] && block) tl += styles['margin-top'].digCut();
354 if (styles['padding-top'] && block) tl += styles['padding-top'].digCut();
355 MT.push(tl);
356
357 if (val.trim().length > 0) BRB = 0; //это уже не отбивка <br> снизу, а межстрочный (голый текст за br)
358
359 } else if (currNode.nodeType == ELEMENT_NODE) {
360
361 var r = {};
362 if (currNode.childNodes
363 && currNode.innerHTML.trim() != '' // почему-то <tag></tag> повергает в бесконечную рекурсию, будто у него есть чайлдноды
364 ) {
365 r = CalcNodeRecursive(currNode);
366 }
367
368 if (currNode.nodeName.toLowerCase() == 'br') {
369 BRB++;
370 if (!( TL > 0 || ("TextLength" in r && r['TextLength']==0) )) BRT++; //br вверху, перед ним нет голого текста или ноды с текстом
371 } else if ("TextLength" in r && r['TextLength'] > 0) {
372 BRB = 0; //и это тоже не отбивка снизу (нода за br, имеющая текст)
373 }
374
375 if ("HaveCenter" in r) MW += r['HaveCenter'];
376 if ("MagicWords" in r) MW += r['MagicWords'];
377
378 // push - избыточно, но полезно для отладки
379 if ("TextLength" in r) {
380 TL += r['TextLength'];
381 for (var i=0;i<r['TextSize'].length;i++) {
382 TS.push(r['TextSize'][i]);
383 }
384 }
385
386 if ("Bottom" in r) {
387 for (var i=0;i<r['Bottom'].length;i++) {
388 MB.push(r['Bottom'][i]);
389 }
390 }
391
392 if ("Top" in r) {
393 for (var i=0;i<r['Top'].length;i++) {
394 MT.push(r['Top'][i]);
395 }
396 }
397
398 }
399 }
400 );
401
402 return {
403 'TextLength': TL,
404 'MagicWords': MW,
405 'TextSize': TS,
406 'Bottom': MB,
407 'Top': MT,
408 'HaveBRbottom': BRB,
409 'HaveBRtop': BRT,
410 'HaveCenter': CNT,
411 'DEBUG': DBG
412 }
413 }
414
415 function TopNextNodes(node) {
416 var el = node.nextSibling;
417 var DATA = Array();
418 var i = 1;
419
420 while (el) {
421 var Calculate = CalcNodeRecursive(el);
422 DATA.push(Calculate);
423 if (Calculate['TextLength'] > 0 ) break; //встретили текст, хватит месить
424 el = el.nextSibling;
425 i++;
426 }
427
428 return {'DATA': DATA};
429 }
430
431 function simpleStyles(node) {
432 var style = window.getComputedStyle(node);
433 var styleMap = {};
434 for (var i = 0; i < style.length; i++) {
435 var prop = style[i];
436 var value = style.getPropertyValue(prop);
437 styleMap[prop] = value;
438 }
439 return styleMap;
440 }
441
442 })(arguments);
443 JS
444
445 my $Changed = 0;
446 foreach (@$Debug) {
447 $Changed = 1 if ref $_ eq 'HASH' && $_->{'CHANGED'};
448 }
449
450 my $CONTENT = $PHJS->content( format => 'html' );
451
452 #Дебаг измененных эвристикой файлов
453 if ($X->{'DebugPath'}
454 ##&& $Changed #всех или измененные
455 ) {
456 my $SrcFile = $X->{'SrcFile'};
457 my $FND = $SrcFile;
458 $FND =~ s/.*?([^\/]+)$/$1/g;
459 $FND = ($X->{'DebugPrefix'} ? "[".$X->{'DebugPrefix'}."]_" : "").$FND;
460
461 #исходник
462 File::Copy::copy($SrcFile, $X->{'DebugPath'}.'/'.$FND.'.src') or FB3::Convert::Error($X, "Can't copy file $SrcFile : $!");
463
464 #после прочитки в DOM
465 open my $Fb,">:utf8",$X->{'DebugPath'}.'/'.$FND.".before";
466 print $Fb $X->{'ContentBefore'};
467 close $Fb;
468
469 #после изменения + debug
470 open my $Fc,">:utf8",$X->{'DebugPath'}.'/'.$FND.".debug";
471 print $Fc "DEBUG\n";
472 print $Fc Data::Dumper::Dumper($Debug);
473 print $Fc "\n============\n";
474 print $Fc "RESULT\n";
475 print $Fc $CONTENT;
476 close $Fc;
477
478 }
479 #//Дебаг измененных эвристикой файлов
480
481 return {
482 'CONTENT' => $CONTENT,
483 'DBG' => $Debug,
484 'CHANGED' => $Changed,
485 }
486
487 }
488
489 1;