66 lines
8.7 KiB
Plaintext
66 lines
8.7 KiB
Plaintext
|
Ë
|
|||
|
|
>û g ã óú — d dl Z d dlZd dlmZmZmZmZmZ d dlm Z ej j d« d„ « Z d„ Z
|
|||
|
|
d„ Zd„ Zd „ Zd
|
|||
|
|
„ Zd „ Zej j' d d
|
|||
|
|
dgdg« d„ « Zd„ Zd„ Zy)é N)ÚDEPÚMORPHÚORTHÚPOSÚSHAPE)ÚDoci› c ó — g d¢}g d¢}g d¢}|D �cg c] }| j j |« ‘Œ }}|D �cg c] }| j j |« ‘Œ }}t | |¬« }|j dt j
|
|||
|
|
|d¬« « |j dt j
|
|||
|
|
|d¬« « |D � cg c] } | j ‘Œ c} |k( sJ ‚|D � cg c] } | j ‘Œ c} |k( sJ ‚|j ddg« }
|
|||
|
|
t |j |¬« j ddg|
|
|||
|
|
« } | D � cg c] } | j ‘Œ c} |k( sJ ‚| D � cg c] } | j ‘Œ c} |k( sJ ‚y c c}w c c}w c c} w c c} w c c} w c c} w )
|
|||
|
|
z5Test that lemmas are set correctly in doc.from_array.)ÚIz'llÚsurvive)ÚPRPÚMDÚVB)z-PRON-Úwillr ©ÚwordsÚTAGÚuint64)ÚdtypeÚLEMMAN)
|
|||
|
|
ÚstringsÚaddr Ú
|
|||
|
|
from_arrayÚnumpyÚarrayÚtag_Úlemma_Úto_arrayÚvocab) Úen_vocabr ÚtagsÚlemmasÚtagÚtag_idsÚlemmaÚ lemma_idsÚdocÚtÚ doc_arrayÚnew_docs ú[C:\Users\garci\AppData\Roaming\Python\Python312\site-packages\spacy/tests/doc/test_array.pyÚtest_issue2203r+ sl € ò
|
|||
|
|
$€EÚ €DÚ
|
|||
|
|
*€FÙ48Ó9±D¨Sˆx× Ñ ×#Ñ# CÕ(°D€GÐ9Ù:@ÓA¹&°�×!Ñ!×%Ñ% eÕ,¸&€IÐAÜ
|
|||
|
|
|
|||
|
|
ˆh˜eÔ
|
|||
|
|
$€Cà‡N�N�5œ%Ÿ+™+ g°XÔ>Ô?؇N�N�7œEŸK™K¨ ¸Ô BÔCÙ Ó ™C�qˆA�F‹F˜CÑ DÒ (Ð(Ð (Ù !Ó "™c˜ˆA�H‹H˜cÑ " fÒ ,Ð,Ð ,à— ‘ ˜e WÐ -Ó.€IÜ�#—)‘) 5Ô)×4Ñ4°e¸WÐ5EÀyÓQ€GÙ #Ó $™G�qˆA�F‹F˜GÑ $¨Ò ,Ð,Ð ,Ù %Ó &™g˜ˆA�H‹H˜gÑ &¨&Ò 0Ð0Ñ 0ùò :ùÚAùò
|
|||
|
|
!ùÚ "ùò %ùÚ &s" ‘"E1¹"E6Â<E;ÃF Ä6FÅF
|
|||
|
|
c óø — t | g d¢¬« }|j d }|j |j k7 sJ ‚|j t
|
|||
|
|
t f« }|d d |d d k7 sJ ‚|d d |d d k7 sJ ‚y )N©ÚAnÚexampleÚsentencer r/ r é ©r r ÚorthÚshaper r r ©r r& r/ Ú feats_arrays r* Ú test_doc_array_attr_of_tokenr7 s… € Ü
|
|||
|
|
|
|||
|
|
ˆhÒ ;Ô
|
|||
|
|
<€CØ�i‰i˜ Ñ"€GØ �<‰<˜7Ÿ=™=Ò (Ð(Ð (Ø—,‘,¤¤e˜}Ó-€KØ �q‰>˜!Ñ ¨A¡¨qÑ 1Ò 1Ð1Ð 1Ø �q‰>˜!Ñ ¨A¡¨qÑ 1Ò 1Ð1Ñ 1ó c ó — t | g d¢¬« }|j d }|j |j k7 sJ ‚|j t
|
|||
|
|
t f« }|j d« }|d d |d d k( sJ ‚|d d |d d k( sJ ‚y )Nr- r r/ )r r r r1 r2 )r r& r/ r6 Úfeats_array_stringys r* Ú$test_doc_stringy_array_attr_of_tokenr; & s— € Ü
|
|||
|
|
|
|||
|
|
ˆhÒ ;Ô
|
|||
|
|
<€CØ�i‰i˜ Ñ"€GØ �<‰<˜7Ÿ=™=Ò (Ð(Ð (Ø—,‘,¤¤e˜}Ó-€KØ Ÿ,™,Ð'8Ó9ÐØ ˜qÑ ! !Ñ $¨ °A©°qÑ(9Ò 9Ð9Ð 9Ø ˜qÑ ! !Ñ $¨ °A©°qÑ(9Ò 9Ð9Ñ 9r8 c ó — t | g d¢¬« }|j d }|j |j k7 sJ ‚|j t
|
|||
|
|
« }|j dk( sJ ‚y )Nr- r r/ )é )r r r3 r4 r r r5 s r* Ú test_doc_scalar_attr_of_tokenr> 0 sU € Ü
|
|||
|
|
|
|||
|
|
ˆhÒ ;Ô
|
|||
|
|
<€CØ�i‰i˜ Ñ"€GØ �<‰<˜7Ÿ=™=Ò (Ð(Ð (Ø—,‘,œtÓ$€KØ × Ñ Ò $Ð$Ñ $r8 c óÊ — g d¢}g d¢}t | ||¬« }|d j |d j cxk7 r&|d j cxk7 r|d j k7 sJ ‚ J ‚|j t t f« }|d d |d j k( sJ ‚|d d |d j k( sJ ‚|d d |d j k( sJ ‚|d d |d j k( sJ ‚y )N©ÚAÚnicer0 ú.)ÚDETÚADJÚNOUNÚPUNCT)r Úposr r1 é r= )r rH r r r )r r rH r& r6 s r* Útest_doc_array_tagrJ 8 sæ € Ú *€EÚ
|
|||
|
|
)€CÜ
|
|||
|
|
|
|||
|
|
ˆh˜e¨Ô
|
|||
|
|
-€CØ ˆq‰6�:‰:˜˜Q™Ÿ™Ô ? s¨1¡v§z¡zÔ ?°S¸±V·Z±ZÒ ?Ð?Ñ ?Ð?Ð ?Ø—,‘,¤¤c˜{Ó+€KØ �q‰>˜!Ñ A¡§
|
|||
|
|
¡
|
|||
|
|
Ò *Ð*Ð *Ø �q‰>˜!Ñ A¡§
|
|||
|
|
¡
|
|||
|
|
Ò *Ð*Ð *Ø �q‰>˜!Ñ A¡§
|
|||
|
|
¡
|
|||
|
|
Ò *Ð*Ð *Ø �q‰>˜!Ñ A¡§
|
|||
|
|
¡
|
|||
|
|
Ò *Ð*Ñ *r8 c óþ — g d¢}g d¢}t | ||¬« }|d t |d j « k( sJ ‚|d t |d j « k( sJ ‚|d t |d j « k( sJ ‚|j t t
|
|||
|
|
f« }|d d |d j j k( sJ ‚|d d |d j j k( sJ ‚|d d |d j j k( sJ ‚y )N)ÚEatÚblueÚham)zFeat=VzFeat=JzFeat=N)r Úmorphsr r1 rI )r ÚstrÚmorphr r r Úkey)r r rQ r& r6 s r* Útest_doc_array_morphrS D sø € Ú "€EÚ *€EÜ
|
|||
|
|
|
|||
|
|
ˆh˜e¨EÔ
|
|||
|
|
2€CØ �‰8”s˜3˜q™6Ÿ<™<Ó(Ò (Ð(Ð (Ø �‰8”s˜3˜q™6Ÿ<™<Ó(Ò (Ð(Ð (Ø �‰8”s˜3˜q™6Ÿ<™<Ó(Ò (Ð(Ð (à—,‘,¤¤e˜}Ó-€KØ �q‰>˜!Ñ A¡§ ¡ × 0Ñ 0Ò 0Ð0Ð 0Ø �q‰>˜!Ñ A¡§ ¡ × 0Ñ 0Ò 0Ð0Ð 0Ø �q‰>˜!Ñ A¡§ ¡ × 0Ñ 0Ò 0Ð0Ñ 0r8 c ó6 — g d¢}g d¢}t | ||¬« }|j t t f« }|d d |d j k( sJ ‚|d d |d j k( sJ ‚|d d |d j k( sJ ‚|d d |d j k( sJ ‚y )Nr@ )ÚdetÚamodÚROOTÚpunct)r Údepsr r1 rI r= )r r r r Údep)r r rY r& r6 s r* Útest_doc_array_depr[ R s¨ € Ú *€EÚ +€DÜ
|
|||
|
|
|
|||
|
|
ˆh˜e¨$Ô
|
|||
|
|
/€CØ—,‘,¤¤c˜{Ó+€KØ �q‰>˜!Ñ A¡§
|
|||
|
|
¡
|
|||
|
|
Ò *Ð*Ð *Ø �q‰>˜!Ñ A¡§
|
|||
|
|
¡
|
|||
|
|
Ò *Ð*Ð *Ø �q‰>˜!Ñ A¡§
|
|||
|
|
¡
|
|||
|
|
Ò *Ð*Ð *Ø �q‰>˜!Ñ A¡§
|
|||
|
|
¡
|
|||
|
|
Ò *Ð*Ñ *r8 Úattrsr r ÚIS_ALPHAc ó~ — g d¢}t | |¬« }t | |¬« j ||j |« « y)z|Test that both Doc.to_array and Doc.from_array accept string attrs,
|
|||
|
|
as well as single attrs and sequences of attrs.
|
|||
|
|
r- r N)r r r )r r\ r r& s r* Ú#test_doc_array_to_from_string_attrsr_ ] s5 € ò
|
|||
|
|
|
|||
|
|
*€EÜ
|
|||
|
|
|
|||
|
|
ˆh˜eÔ
|
|||
|
|
$€C܈˜Ô ×)Ñ)¨%°· ± ¸eÓ1DÕEr8 c ó€ — g d¢}t | |¬« j d« }|d dk( sJ ‚|d dk( sJ ‚|d dk( sJ ‚y )
|
|||
|
|
z7Test that Doc.to_array can retrieve token start indicesr- r ÚIDXr r1 r= rI é N)r r )r r Úoffsetss r* Útest_doc_array_idxrd g sP € â )€EÜ�( %Ô(×1Ñ1°%Ó8€GØ �1‰:˜Š?Ј?Ø �1‰:˜Š?Ј?Ø �1‰:˜Ò ÐÑ r8 c ó — g d¢}t | |¬« }|D ] }|d |_ Œ |j dg« }t | |¬« }|j dg|« |j dg« }t j
|