34 lines
11 KiB
Plaintext
34 lines
11 KiB
Plaintext
|
Ë
|
|||
|
|
?û gÒ ã ó¢ — d dl Z d dlZd dlZd dlZd dlZd dlZd dlmZ d dlm Z g ej dej j « ¬« ‘ ej dej j « ¬« ‘ ej dej j « ¬« ‘ ej dej j « ¬« ‘d ‘ ej d
|
|||
|
|
ej j « ¬« ‘ ej d ej j « ¬« ‘ ej d ej j « ¬« ‘ ej d
|
|||
|
|
ej j « ¬« ‘ ej dej j « ¬« ‘d‘d‘ ej dej j « ¬« ‘ ej dej j « ¬« ‘ ej dej j « ¬« ‘ ej dej j « ¬« ‘d‘ ej dej j « ¬« ‘ ej dej j « ¬« ‘ ej dej j « ¬« ‘ ej dej j « ¬« ‘d‘ ej dej j « ¬« ‘ ej dej j « ¬« ‘ ej d ej j « ¬« ‘ ej d ej j « ¬« ‘ ej d ej j « ¬« ‘ ej d ej j « ¬« ‘ ej d ej j « ¬« ‘ ej d!ej j « ¬« ‘d"‘ ej d#ej j « ¬« ‘ ej d$ej j « ¬« ‘ ej d%ej j « ¬« ‘ ej d&ej j « ¬« ‘ ej d'ej j « ¬« ‘ ej d(ej j « ¬« ‘ ej d)ej j « ¬« ‘ ej d*ej j « ¬« ‘ ej d+ej j « ¬« ‘ ej d,ej j « ¬« ‘ ej d-ej j « ¬« ‘ ej d.ej j « ¬« ‘ ej d/ej j « ¬« ‘ ej d0ej j « ¬« ‘ ej d1ej j « ¬« ‘Z
|
|||
|
|
ej j d2e
|
|||
|
|
« d3„ « Zd4„ Zd5„ Zej$ j& d=d6ej$ j( d7ed8efd9„« Zej j0 ej j d2e
|
|||
|
|
« ej2 e« ¬:« d2ed;ed8dfd<„« « « Zy)>é N)Ú Tokenizer)Úget_lang_classÚfr)ÚmarksÚafÚarÚbgÚbnÚboÚcaÚcsÚdaÚdeÚelÚenÚesÚetÚfaÚfiÚgaÚheÚhiÚhrÚhuÚidÚitÚknÚlbÚltÚlvÚnbÚnlÚplÚptÚroÚsiÚskÚslÚsqÚsrÚsvÚtaÚteÚtlÚtrÚttÚurÚkmrÚlangc óH — t | « « j }t j d| › d�« }|j D ]V } ||« D �cg c] }|j
|
|||
|
|
rŒ|j ‘Œ }}|j |« D �cg c] }|d ‘Œ }}||k( rŒVJ ‚ y c c}w c c}w )Nz spacy.lang.z .examplesé )r Ú tokenizerÚpytestÚ importorskipÚ sentencesÚis_spaceÚtextÚexplain)r3 r6 ÚexamplesÚsentenceÚtÚtokensÚ debug_tokenss úcC:\Users\garci\AppData\Roaming\Python\Python312\site-packages\spacy/tests/tokenizer/test_explain.pyÚtest_tokenizer_explainrC A sž € à$”˜tÓ$Ó&×0Ñ0€IÜ×"Ñ" [°°°iÐ#@ÓA€HØ ×&Ô&ˆÙ"+¨HÔ"5ÓHÑ"5˜Q¸Q¿Z»Z�!—&“&Ð"5ˆÐHØ&/×&7Ñ&7¸Ô&AÓBÑ&A ˜˜!›Ð&Aˆ ÐBؘ Ó%Ð%Ð%ñ 'ùÚHùÚBs Á
|
|||
|
|
BÁ B B c óN — t j d« }t j d« }dddigi}t | ||j |j ¬« } |d« D �cg c] }|j
|
|||
|
|
‘Œ }}|j
|
|||
|
|
d« D �cg c] }|d ‘Œ }}||k( sJ ‚y c c}w c c}w )Nz[\.]$z[/]za.ÚORTH)ÚrulesÚ
|
|||
|
|
suffix_searchÚinfix_finditerza/a.r5 )ÚreÚcompiler ÚsearchÚfinditerr; r< )Úen_vocabÚ suffix_reÚinfix_rerF r6 r? r@ Úexplain_tokenss rB Ú&test_tokenizer_explain_special_matcherrQ K s € Ü—
|
|||
|
|
‘
|
|||
|
|
˜8Ó$€IÜ�z‰z˜&Ó!€HØ
|
|||
|
|
�V˜T�NÐ#Ð $€EÜØØØ ×&Ñ&Ø ×(Ñ(ô €Iñ (¨Ô /Ó
|
|||
|
|
0Ñ /˜ˆa�f‹fÐ /€FÐ
|
|||
|
|
0Ø$-×$5Ñ$5°fÔ$=Ó>Ñ$=˜q�a˜“dÐ$=€NÐ>Ø �^Ò #Ð#Ñ #ùò 1ùÚ>s Á B  B"c óÒ — dddigi}t | |¬« }d} ||« D �cg c] }|j ‘Œ }}|j |« D �cg c] }|d ‘Œ }}||k( sJ ‚y c c}w c c}w )Nz:]rE )rF z: ]r5 )r r; r< )rM rF r6 r; r? r@ rP s rB Ú1test_tokenizer_explain_special_matcher_whitespacerS Z s� € Ø
|
|||
|
|
�V˜T�NÐ#Ð $€EÜØØô€Ið €DÙ '¨œoÓ
|
|||
|
|
.™o˜ˆa�f‹f˜o€FÐ
|
|||
|
|
.Ø$-×$5Ñ$5°dÔ$;Ó<Ñ$;˜q�a˜“dÐ$;€NÐ<Ø �^Ò #Ð#Ñ #ùò /ùÚ<s ¡A Á A$ÚdrawÚ max_n_wordsÚreturnc ó — dj g t j D �cg c] }t j |« ‘Œ c}¢d‘« }t | t j j d|¬« « « D �cg c]M } | t j j d¬« « | t j j |« « g‘ŒO }}dj |D ��cg c] }|D ] }|‘Œ Œ
|
|||
|
|
c}}« S c c}w c c}w c c}}w )as
|
|||
|
|
Composite strategy for fuzzily generating sentence with varying interpunctation.
|
|||
|
|
|
|||
|
|
draw (hypothesis.strategies.DrawFn): Protocol for drawing function allowing to fuzzily pick from hypothesis'
|
|||
|
|
strategies.
|
|||
|
|
max_n_words (int): Max. number of words in generated sentence.
|
|||
|
|
RETURNS (str): Fuzzily generated sentence.
|
|||
|
|
ú|z\sé )Ú min_valueÚ max_valuer5 )Úmin_sizeú ) ÚjoinÚstringÚ punctuationrI ÚescapeÚrangeÚ
|
|||
|
|
hypothesisÚ
|
|||
|
|
strategiesÚintegersr; Ú
|
|||
|
|
from_regex)rT rU ÚpÚpunctuation_and_space_regexÚ_r> Ú
|
|||
|
|
token_pairÚtokens rB Úsentence_strategyrl f sø € ð #&§(¡(Ø<¤×!3Ò!3Ó
|
|||
|
|
4Ñ!3˜AŒ2�9‰9�Q�<Ð!3Ñ
|
|||
|
|
4Ð<°eÐ<ó#Ð ô Ù ”×&Ñ&×/Ñ/¸!À{Ð/ÓSÓ Tô
|