162 lines
23 KiB
Plaintext
162 lines
23 KiB
Plaintext
|
Ë
|
|||
|
|
>û gz> ã ó” — d dl Z d dlZd dlmZ d dlZ d dlmZ d dl m
|
|||
|
|
Z
|
|||
|
|
m Z m Z m
|
|||
|
|
Z
|
|||
|
|
mZmZmZmZ d dlmZmZ d dlmZmZmZmZ d dlmZ d dl m Z d d l m Z d d
|
|||
|
|
l!m"Z" d d l#m$Z$m%Z% d d l&m'Z'm(Z(m)Z) d d
|
|||
|
|
l*m+Z+ d dl,m-Z-m.Z.m/Z/m0Z0m1Z1 ddlm2Z2m3Z3 ejh d„ « Z5ejl jo d« d„ « Z8ejl jo d« d„ « Z9ejl ju dddg« d„ « Z;ejl ju ddd g« d „ « Z<ejl ju d d g« d „ « Z=dmd%„Z>d&„ Z?d'„ Z@d(„ ZAd)„ ZBd*„ ZCejl ju d+e e d,fe d-e › �d,fd.d/d0d1d2d3d4g « d5„ « ZDejl ju d6g d7¢« d8„ « ZEejl ju d9g d:¢« d;„ « ZFejl ju d<d,d,d=œd>d,d?d,id@œifdAdBdCœdDdAdEdBidFœifdGdHidIdJdKdHiiifg« dL„ « ZGejl ju d<d,d,d=œd>d,d?d,id@œifdAdBdCœdDdAdEdBidFœifdMdKdHiidIdJdKdHiiifg« dN„ « ZHdO„ ZIejl ju dPg dQ¢d#gfg dR¢d!gfg dS¢d#d$gfg dT¢d"gfg dU¢d"gfg dV¢d#d#gfg dW¢d#d#gfg dX¢g dY¢fg dZ¢d#gfg d[¢d!gfg d\¢d$d$gfg d]¢d$d$gfg « d^„ « ZJejl ju dPg d_¢dd$gfg d`¢dd!gfg dU¢dd"gfg da¢g db¢fg dc¢dd$gfg dd¢g de¢fg« df„ « ZKdg„ ZLdh„ ZMdi„ ZNdj„ ZOdk„ ZPdl„ ZQy# e$ r
|
|||
|
|
d dlmZ Y �Œ,w xY w)né N)ÚPath)ÚValidationError)ÚConfigÚConfigValidationErrorÚCupyOpsÚMPSOpsÚNumpyOpsÚ OptimizerÚget_current_opsÚset_current_ops)Ú has_cupy_gpuÚhas_torch_mps_gpu)Ú
|
|||
|
|
prefer_gpuÚ require_cpuÚ require_gpuÚutil)Ú __version__)ÚEnglish)ÚDutch)ÚDEFAULT_CONFIG_PATH)ÚPrecomputableAffineÚ&_backprop_precomputable_affine_padding)ÚConfigSchemaTrainingÚ TokenPatternÚTokenPatternSchema)Úminibatch_by_words)ÚSimpleFrozenListÚ
|
|||
|
|
dot_to_objectÚfind_available_portÚ import_fileÚto_ternary_inté )Úget_random_docÚ make_tempdirc ó¬ — t j « dk( } | S # t $ r/ t j j
|
|||
|
|
j
|
|||
|
|
« dk7 } Y | S w xY w)z/Determine if the tests are run as admin or not.r )ÚosÚgetuidÚAttributeErrorÚctypesÚwindllÚshell32Ú
|
|||
|
|
IsUserAnAdmin)Úadmins úVC:\Users\garci\AppData\Roaming\Python\Python312\site-packages\spacy/tests/test_misc.pyÚis_adminr/ . sQ € ð;Ü— ‘ “ ˜qÑ ˆð €Løô ò ;Ü—
|
|||
|
|
‘
|
|||
|
|
×%Ñ%×3Ñ3Ó5¸Ñ:‰à €Lð;ús ‚ ›4AÁAi? c ó† — | d« }|d d }|dd }|dd }t j |||f« }||v sJ ‚||vsJ ‚||v sJ ‚y )Nz zero one two three four five sixé é é é é )r Ú filter_spans)Ú en_tokenizerÚdocÚs1Ús2Ús3Úresults r. Útest_issue6207r= 9 sl € á
|
|||
|
|
Ð9Ó
|
|||
|
|
:€Cð
|
|||
|
|
|
|||
|
|
ˆRˆaˆ€BØ ˆQˆqˆ€BØ ˆQˆqˆ€Bä
|
|||
|
|
×
|
|||
|
|
Ñ
|
|||
|
|
B¨˜|Ó
|
|||
|
|
,€FØ
|
|||
|
|
�‰<Ј<Ø
|
|||
|
|
�VÑ ÐÐ Ø
|
|||
|
|
�‰<Љ<ó ir c ó¢ — t t « g¬« t j t « 5 t g ¬« ddd« y# 1 sw Y yxY w)z=Test that the non-empty constraint pattern field is respected)ÚpatternN)r r ÚpytestÚraisesr © r> r. Útest_issue6258rD H s3 € ô ¤ £Ð /Õ0ô
|
|||
|
|
� ‰ ”Õ 'Ü 2Õ&÷
|
|||
|
|
(× 'Ñ 'ús ¯
|
|||
|
|
AÁAÚtextz hello/worldz hello worldc óR — t j | « }t |t « sJ ‚y ©N)r Ú ensure_pathÚ
|
|||
|
|
isinstancer )rE Úpaths r. Ú test_util_ensure_path_succeedsrK S s" € ä × Ñ ˜DÓ !€DÜ �dœDÔ !Ð!Ñ !r> zpackage,result)ÚnumpyT)ÚsfkodskfosdkfpsdpofkspdofFc ó6 — t j | « |u sJ ‚y)zHTest that an installed package via pip is recognised by util.is_package.N)r Ú
|
|||
|
|
is_package)Úpackager< s r. Útest_util_is_packagerQ Y s € ô
|
|||
|
|
�?‰?˜7Ó # vÑ -Ð-Ñ -r> rP Úthincc óR — t j | « }t |t « sJ ‚y)z7Test that a Path object is returned for a package name.N)r Úget_package_pathrI r )rP rJ s r. Útest_util_get_package_pathrU a s$ € ô × Ñ Ó )€DÜ �dœDÔ !Ð!Ñ !r> r1 r4 r2 é c óð — t | |||¬« j « }|j d« j || ||fk( sJ ‚|j j d|f« }|j
|
|||
|
|
|« \ }}|j |j d dz || |fk( sJ ‚|j j d| |f« }|j j d|f« } d| d< d|d< |j d « rJ ‚t ||| « }
|
|||
|
|
|
|
|||
|
|
d
|
|||
|
|
d k( sJ ‚| j d « |j d « d|d< d| d< d| d
|
|||
|
|
< d| d< d|d< d| d< d|d< t ||| « }
|
|||
|
|
|
|
|||
|
|
d dk( sJ ‚|
|
|||
|
|
d dk( sJ ‚|
|
|||
|
|
d
|
|||
|
|
dk( sJ ‚y )N)ÚnOÚnIÚnFÚnPÚWé
|
|||
|
|
r r" é éÿÿÿÿ)r" rV Úpad)r rV r r ç ð?ç )r" r" )r" r )rV r r4 rV )r r r r r3 )r r" r r )
|
|||
|
|
r Ú
|
|||
|
|
initializeÚ get_paramÚshapeÚopsÚallocÚ begin_updateÚhas_gradr Úfill) rX rY rZ r[ ÚmodelÚtensorÚYÚget_dXÚdYÚidsÚd_pads r. Útest_PrecomputableAffinerr h s¢ € Ü 2¨"°¸Ô ;× FÑ FÓ H€EØ �?‰?˜3Ó × %Ñ %¨"¨b°"°bÐ)9Ò 9Ð9Ð 9Ø
|
|||
|
|
�Y‰Y�_‰_˜b "˜XÓ
|
|||
|
|
&€FØ×"Ñ" 6Ó*�I€A€vØ �7‰7�v—|‘| A‘¨Ñ*¨B°°BÐ7Ò 7Ð7Ð 7Ø �‰� ‰ ˜"˜b "˜ Ó &€BØ
|
|||
|
|
�)‰)�/‰/˜2˜r˜(Ó
|
|||
|
|
#€CØ€Cˆ�IØ
|
|||
|
|
€B€q�EØ�~‰~˜eÔ$Ð$Ð $Ü 2°5¸"¸cÓ B€EØ �Ñ Ò #Ð#Ð #؇H�HˆS„M؇G�GˆC„LØ
|
|||
|
|
€B€q�EØ€Cˆ�IØ€Cˆ�IØ€Cˆ�IØ
|
|||
|
|
€B€q�EØ€Cˆ�IØ
|
|||
|
|
€B€q�EÜ 2°5¸"¸cÓ B€EØ �Ñ Ò !Ð!Ð !Ø �Ñ Ò !Ð!Ð !Ø �Ñ Ò !Ð!Ñ !r> c óö — t « } t r&t « sJ ‚t t « t « s:J ‚t
|
|||
|
|
r&t « sJ ‚t t « t « sJ ‚t « rJ ‚t | « y rG )r r
|
|||
|
|
r rI r r r r ©Ú current_opss r. Útest_prefer_gpurv „ s] € Ü!Ó#€KÝÜŒ|Ј|Üœ/Ó+¬WÔ5Ð5Ð5Ý ÜŒ|Ј|Üœ/Ó+¬VÔ4Ð4Ð4ä ”<Ð Ð Ü�KÕ r> c óÖ — t « } t r$t « t t « t « s,J ‚t
|
|||
|
|
r$t « t t « t « sJ ‚t | « y rG )r r
|
|||
|
|
r rI r r r r rt s r. Útest_require_gpurx ‘ sH € Ü!Ó#€KÝÜŒ
|
|||
|
|
Üœ/Ó+¬WÔ5Ð5Ð5Ý ÜŒ
|
|||
|
|
Üœ/Ó+¬VÔ4Ð4Ð4Ü�KÕ r> c ó0 — t « } t « t t « t « sJ ‚ dd l}t « t t « t « sJ ‚ t « t t « t « sJ ‚t | « y # t $ r Y Œ;w xY w)Nr ) r r rI r Úcupyr r Ú ImportErrorr )ru rz s r. Útest_require_cpur| œ sx € Ü!Ó#€KÜ„MÜ ”oÓ'¬Ô 2Ð2Ð 2ð
|
|||
|
|
ÛäŒ
|
|||
|
|
Üœ/Ó+¬WÔ5Ð5Ñ5ô „MÜ ”oÓ'¬Ô 2Ð2Ð 2Ü�KÕ øô ò
|
|||
|
|
Ù ð
|
|||
|
|
ús °(B Â BÂBc óÐ — t t « j j } | j d« D ]/ }t d„ |j
|
|||
|
|
D « « rŒ J |j
|
|||
|
|
« ‚ y)z{Test that all filenames in the project are ASCII.
|
|||
|
|
See: https://twitter.com/_inesmontani/status/1177941471632211968
|
|||
|
|
z**/*c 3 ó8 K — | ] }t |« d k –— Œ yw)é€ N)Úord)Ú.0Úcs r. ú <genexpr>z'test_ascii_filenames.<locals>.<genexpr>² s è ø€ Ð3© A”3�q“6˜C•<©ùs ‚N)r Ú__file__ÚparentÚglobÚallÚname)ÚrootrJ s r. Útest_ascii_filenamesrŠ ¬ sM € ô ”‹>× Ñ × 'Ñ '€DØ— ‘ ˜&Ö!ˆÜÑ3¨¯ªÓ3Õ3Ð>°T·Y±YÓ>Ð3ñ "r> c ó~ — t j d« } | j dk( sJ ‚| j g k( sJ ‚t j
|
|||
|
|
t « 5 t j d« ddd« t j
|
|||
|
|
t « 5 t j d« ddd« y# 1 sw Y ŒAxY w# 1 sw Y yxY w)z`Test that using a model name like "blank:en" works as a shortcut for
|
|||
|
|
spacy.blank("en").
|
|||
|
|
zblank:enÚenz blank:zxxNzblank:fjsfijsdof)r Ú
|
|||
|
|
load_modelÚlangÚpipelinerA rB r{ )Únlps r. Ú test_load_model_blank_shortcutr‘ µ sŠ € ô �/‰/˜*Ó
|
|||
|
|
%€CØ �8‰8�tÒ ÐÐ Ø �<‰<˜2Ò Ð Ð ô
|
|||
|
|
� ‰ ”{Õ #Ü �‰˜ Ô$÷
|
|||
|
|
$ô
|
|||
|
|
� ‰ ”{Õ #Ü �‰Ð*Ô+÷
|
|||
|
|
$Ð #÷
|
|||
|
|
$Ð #ú÷
|
|||
|
|
$Ð #ús ÁB'ÂB3Â'B0Â3B<z version,constraint,compatibleTz>=)ú3.0.0z2.0.0F)ú3.2.1z>=2.0.0T)z2.2.10a1z>=1.0.0,<2.1.1F)z
|
|||
|
|
3.0.0.dev3ú>=1.2.3,<4.5.6T)ún/ar” N)z1.2.3r• N)r• r• Nc ó8 — t j | |« |u sJ ‚y rG )r Úis_compatible_version)ÚversionÚ
|
|||
|
|
constraintÚ
|
|||
|
|
compatibles r. Útest_is_compatible_versionr› Æ s € ô × %Ñ % g¨zÓ :¸jÑ HÐHÑ Hr> zconstraint,expected) )r’ F)z==3.0.0F)z>=2.3.0T)z>2.0.0T)z<=2.0.0T)z
|
|||
|
|
>2.0.0,<3.0.0F)z>=2.0.0,<3.0.0F)z!=1.1,>=1.0,~=1.0T)r• Nc ó6 — t j | « |u sJ ‚y rG )r Úis_unconstrained_version)r™ Úexpecteds r. Ú test_is_unconstrained_versionrŸ Ø s € ô × (Ñ (¨Ó 4¸Ñ @Ð@Ñ @r> za1,a2,b1,b2,is_match))r’ ú3.0z3.0.1r T)z3.1.0z3.1r“ z3.2F)ÚxxxNz
|
|||
|
|
1.2.3.dev0z1.2Fc óÔ — t j | « |k( sJ ‚t j |« |k( sJ ‚t j | |« |u sJ ‚t j ||« |u sJ ‚y rG )r Úget_minor_versionÚis_minor_version_match)Úa1Úa2Úb1Úb2Úis_matchs r. Útest_minor_versionrª ê sl € ô × !Ñ ! "Ó %¨Ò +Ð+Ð +Ü × !Ñ ! "Ó %¨Ò +Ð+Ð +Ü × &Ñ & r¨2Ó .°(Ñ :Ð:Ð :Ü × &Ñ & r¨2Ó .°(Ñ :Ð:Ñ :r> zdot_notation,expected)z token.posz token._.xyzÚtokenÚxyz)ÚposÚ_r g{®Gáz„?)ztraining.batch_sizez training.optimizer.learn_rateÚtrainingÚ
|
|||
|
|
learn_rate)Ú
|
|||
|
|
batch_sizeÚ optimizerz attribute_ruler.scorer.@scorerszspacy.tagger_scorer.v1Úattribute_rulerÚscorerz@scorersc óp — t j | « }||k( sJ ‚t j |« | k( sJ ‚y rG ©r Ú dot_to_dictÚ dict_to_dot©Ú dot_notationrž r< s r. Útest_dot_to_dictr» ù s; € ô$ ×
|
|||
|
|
Ñ
|
|||
|
|
˜lÓ
|
|||
|
|
+€FØ �XÒ Ð Ð Ü × Ñ ˜FÓ # |Ò 3Ð3Ñ 3r> zattribute_ruler.scorerc ót — t j | « }||k( sJ ‚t j |d¬« | k( sJ ‚y )NT)Ú
|
|||
|
|
for_overridesr¶ r¹ s r. Útest_dot_to_dict_overridesr¾ s= € ô$ ×
|
|||
|
|
Ñ
|
|||
|
|
˜lÓ
|
|||
|
|
+€FØ �XÒ Ð Ð Ü × Ñ ˜F°$Ô 7¸<Ò GÐGÑ Gr> c ó — dddidœdddiidœ} t j t « 5 t j | d d
|
|||
|
|
« d d d « t j t « 5 t j | d d
|
|||
|
|
« d d d « t j t « 5 t j | d d
|
|||
|
|
« d d d « t j | d
|
|||
|
|
d
|
|||
|
|
« | d d d
|
|||
|
|
k( sJ ‚t j | dddi« | d d d d dk( sJ ‚| d d d dk( sJ ‚t j | dd« | d dk( sJ ‚t j | dd« t | « dddœk( sJ ‚y # 1 sw Y �Œ(xY w# 1 sw Y ŒûxY w# 1 sw Y ŒÎxY w)Nr" ÚxÚy©ÚbarÚbazÚaÚbr‚ )ÚfooÚtestz foo.bar.bazéd z hello.worldz
|
|||
|
|
test.a.b.czfoo.barrÇ rà z foo.baz.xÚhelloÚworldrÄ rÈ é{ )rA rB ÚKeyErrorr Úset_dot_to_objectÚdict)Úconfigs r. Útest_set_dot_to_objectrÑ ' sh € Ø ¨¨S zÑ2¸SÀ3ÈÀ*Ð<MÑ
|
|||
|
|
N€FÜ � ‰ ”xÕ Ü × Ñ ˜v }°cÔ:÷
|
|||
|
|
!ä � ‰ ”xÕ Ü × Ñ ˜v }°cÔ:÷
|
|||
|
|
!ä � ‰ ”xÕ Ü × Ñ ˜v |°SÔ9÷
|
|||
|
|
!ä×ј6 9¨cÔ2Ø �%‰=˜Ñ 3Ò &Ð&Ð &Ü×ј6 ;°¸'Ð0BÔCØ �%‰=˜Ñ Ñ $ WÑ -°Ò 8Ð8Ð 8Ø �&‰>˜#Ñ ˜sÑ # sÒ *Ð*Ð *Ü×ј6 5¨#Ô.Ø �%‰=˜CÒ Ð Ð Ü×ј6 6¨7Ô3Ü �‹< 3°Ñ8Ò 8Ð8Ñ 8÷
|
|||
|
|
!Ñ úç Ð úç Ð ús# ¨E&Á!E3ÂE?Å&E0Å3E<Å?Fzdoc_sizes, expected_batches)é� rÒ éÇ )rÒ rÒ rÓ r2 )rÒ rÒ rÓ r2 éÈ )rÒ rÒ rÓ r2 r" )rÒ rÒ rÓ r2 r" iÜ )rÒ rÒ rÓ r2 r" rÔ )rÒ rÒ rÓ r2 r" éç )rÒ rÒ rÓ r2 r" rÕ rÕ )r2 rV r" r" )r" rV rÕ )r" rV rÕ r" )r" rÔ rÕ r" )r" rÕ rÔ r" c ó2 — | D �cg c]
|
|||
|
|
}t |« ‘Œ }}d}d}t t |||d¬« « }|D �cg c]
|
|||
|
|
}t |« ‘Œ c}|k( sJ ‚|||z z }|D ]) }t |D � cg c]
|
|||
|
|
} t | « ‘Œ c} « |k rŒ)J ‚ y c c}w c c}w c c} w )Nçš™™™™™É?éè T©ÚsizeÚ toleranceÚdiscard_oversize)r# Úlistr ÚlenÚsum)
|
|||
|
|
Ú doc_sizesÚexpected_batchesÚdoc_sizeÚdocsÚtolr± ÚbatchesÚbatchÚmax_sizer8 s
|
|||
|
|
r. Útest_util_minibatchrè : s³ € ñ$ 6?Ó ?±Y¨ŒN˜8Õ $°Y€DÐ ?Ø
|
|||
|
|
|
|||
|
|
€CØ€JÜܘ4 j¸CÐRVÔWó€Gñ %,Ó ,¡G˜5ŒC��J GÑ ,Ð0@Ò @Ð@Ð @à˜J¨Ñ ,Ñ,€HۈܩÓ.© ”C˜•H¨Ñ.Ó/°(Ó:Ð:Ð:ñ ùò @ùò -ùò /s …B
|
|||
|
|
¹BÁ)B
|
|||
|
|
)rÒ i rÓ )rÒ rÒ rÓ é¸ rÔ )rÒ rÒ rÓ ré éÐ rÔ rÔ )r" r" r2 rV )r" rV i' )rê r" rê r" r" r" rê )r" r" r" r1 c ó¼ — | D �cg c]
|
|||
|
|
}t |« ‘Œ }}d}d}t t |||d¬« « }|D �cg c]
|
|||
|
|
}t |« ‘Œ c}|k( sJ ‚yc c}w c c}w )z=Test that oversized documents are returned in their own batchr× rØ FrÙ N)r# rÝ r rÞ )rà rá râ rã rä r± rå ræ s r. Ú test_util_minibatch_oversizerì Y so € ñ 6?Ó ?±Y¨ŒN˜8Õ $°Y€DÐ ?Ø
|
|||
|
|
|
|||
|
|
€CØ€JÜܘ4 j¸CÐRWÔXó€Gñ %,Ó ,¡G˜5ŒC��J GÑ ,Ð0@Ò @Ð@Ñ @ùò
|
|||
|
|
@ùò -s
|
|||
|
|
…A¹Ac óÔ — d} t « j | « }t j |d¬« }t « j t
|
|||
|
|
« }d|d d< t j |d¬« }t
|
|||
|
|
|t « sJ ‚t
|
|||
|
|
|t « sJ ‚|j g k( sJ ‚|j dgk( sJ ‚|j d« j j d d u sJ ‚|j d d
|
|||
|
|
dgk( sJ ‚|j d d
|
|||
|
|
g k( sJ ‚t j t « 5 t# |j d « d d d « t j t « 5 t# |j d « d d d « t j$ j' |j d
|
|||
|
|
t( ¬« }t
|
|||
|
|
t# d
|
|||
|
|
|id« t* « sJ ‚y # 1 sw Y Œ’xY w# 1 sw Y ŒfxY w)Na)
|
|||
|
|
[nlp]
|
|||
|
|
lang = "en"
|
|||
|
|
pipeline = ["textcat"]
|
|||
|
|
|
|||
|
|
[components]
|
|||
|
|
|
|||
|
|
[components.textcat]
|
|||
|
|
factory = "textcat"
|
|||
|
|
|
|||
|
|
[components.textcat.model]
|
|||
|
|
@architectures = "spacy.TextCatBOW.v3"
|
|||
|
|
exclusive_classes = true
|
|||
|
|
length = 262144
|
|||
|
|
ngram_size = 1
|
|||
|
|
no_output_layer = false
|
|||
|
|
T)Ú auto_fillÚnlr� rŽ ÚtextcatÚ multi_labelFr� znlp.pipeline.taggerznlp.unknownattributer¯ )Úschemaútraining.optimizer)r Úfrom_strr Úload_model_from_configÚ from_diskr rI r r Ú
|
|||
|
|
pipe_namesÚget_piperk ÚattrsrÐ rA rB rÍ r ÚregistryÚresolver r
|
|||
|
|
)Ú
|
|||
|
|
cfg_stringÚ
|
|||
|
|
nlp_configÚen_nlpÚdefault_configÚnl_nlpÚTs r. Útest_util_dot_sectionr o sž € ð€Jô" “×"Ñ" :Ó.€JÜ
|
|||
|
|
×
|
|||
|
|
(Ñ
|
|||
|
|
(¨¸tÔ
|
|||
|
|
D€FÜ“X×'Ñ'Ô(;Ó<€NØ$(€N�5ј&Ñ!Ü
|
|||
|
|
×
|
|||
|
|
(Ñ
|
|||
|
|
(¨ À4Ô
|
|||
|
|
H€Fä �fœgÔ &Ð&Ð &Ü �fœeÔ $Ð$Ð $Ø × Ñ Ò "Ð"Ð "Ø × Ñ Ò +Ð+Ð +à �?‰?˜9Ó %× +Ñ +× 1Ñ 1°-Ñ @ÀEÑ IÐIÐ Ià �=‰=˜Ñ
|
|||
|
|
Ñ +° ¨{Ò :Ð:Ð :Ø �=‰=˜Ñ
|
|||
|
|
Ñ +¨rÒ 1Ð1Ð 1ä � ‰ ”xÕ Ü�f—m‘mÐ%:Ô;÷
|
|||
|
|
!ä � ‰ ”xÕ Ü�f—m‘mÐ%;Ô<÷
|
|||
|
|
!ä �
|
|||
|
|
‰
|