42 lines
5.3 KiB
Plaintext
42 lines
5.3 KiB
Plaintext
|
Ë
|
|||
|
|
?û gÛ ã óâ — d dl Z d dlmZ d dlmZ d dlmZmZ ddlm Z e j d„ « Z e j d„ « Z d „ Z
|
|||
|
|
d
|
|||
|
|
„ Zd „ Zd „ Ze j" j% d
|
|||
|
|
« d„ « Zy)é N)ÚLanguage)Úmerge_subtokens)ÚDocÚSpané )Úclean_underscorec ó8 — g d¢}g d¢}g d¢}t | |||¬« S )N)ÚThisÚisÚaÚsentenceú.r
|
|||
|
|
r Úanotherr
|
|||
|
|
r ÚAndr Úthirdr )é r é r r é r é r r é é é
|
|||
|
|
r )ÚnsubjÚROOTÚsubtokÚattrÚpunctr r r r r r r r r )ÚwordsÚheadsÚdeps)r )Úen_vocabr r r s údC:\Users\garci\AppData\Roaming\Python\Python312\site-packages\spacy/tests/pipeline/test_functions.pyÚdocr#
|
|||
|
|
s* € ò
|
|||
|
|
u€EÚ :€Eò M€Dô ˆx˜u¨E¸Ô =Ð=ó c óz — g d¢}g d¢}g d¢}g d¢}g d¢}t | |||||¬« }t |ddd ¬
|
|||
|
|
« g|_ |S ) N)ÚIÚlikeÚNewÚYorkÚinÚAutumnr )r r r r r é r )ÚPRPÚINÚNNPr/ r. r/ r )ÚPRONÚVERBÚPROPNr2 ÚADPr2 ÚPUNCT)r ÚprepÚcompoundÚpobjr5 r7 r )r r ÚtagsÚposr r r, ÚGPE)Úlabel)r r Úents)r! r r r8 r9 r r# s r" Údoc2r= sI € â =€EÚ !€EÚ 8€DÚ
|
|||
|
|
E€CÚ H€DÜ
|
|||
|
|
|
|||
|
|
ˆh˜e¨5°tÀÈ4Ô
|
|||
|
|
P€CÜ�S˜!˜Q eÔ,Ð-€C„HØ €Jr$ c óf — t | « } | D �cg c] }|j ‘Œ c}g d¢k( sJ ‚y c c}w )N) r
|
|||
|
|
r z
|
|||
|
|
a sentencer r
|
|||
|
|
r zanother sentencer z
|
|||
|
|
And a third .)r Útext)r# Úts r" Útest_merge_subtokensrA ! s3 € Ü
|
|||
|
|
˜#Ó
|
|||
|
|
€Cñ Ó ™C�qˆA�F‹F˜CÑ Ò$}Ò }Ð}Ñ }ùÒ s �.c ó² — t | « dk( sJ ‚t « }|j d« } || « t | « dk( sJ ‚| d j dk( sJ ‚y )Né Úmerge_noun_chunksr r úNew York)Úlenr Ú create_piper? )r= ÚnlprD s r" Ú test_factories_merge_noun_chunksrI ) sW € Ü ˆt‹9˜Š>Ј>Ü
|
|||
|
|
‹*€CØŸ™Ð(;Ó<ÐÙ�dÔÜ ˆt‹9˜Š>Ј>Ø �‰7�<‰<˜:Ò %Ð%Ñ %r$ c ó> — t | « dk( sJ ‚t t | j « « dk( sJ ‚t « }|j d« } || « t | « dk( sJ ‚t t | j « « dk( sJ ‚| d j
|
|||
|
|
dk( sJ ‚y )NrC r Úmerge_entitiesr r rE )rF Úlistr< r rG r? )r= rH rK s r" Útest_factories_merge_entsrM 2 sŒ € Ü ˆt‹9˜Š>Ј>Ü Œt�D—I‘I‹Ó 1Ò $Ð$Ð $Ü
|
|||
|
|
‹*€CØ—_‘_Ð%5Ó6€NÙ�4ÔÜ ˆt‹9˜Š>Ј>Ü Œt�D—I‘I‹Ó 1Ò $Ð$Ð $Ø �‰7�<‰<˜:Ò %Ð%Ñ %r$ c ó. ‡— t « } dddœ}| j d|¬« Š | d« }|D �cg c] }|j ‘Œ c}g d¢k( sJ ‚ | d« }|D �cg c] }|j ‘Œ c}g d ¢k( sJ ‚t ˆfd
|
|||
|
|
„|D « « sJ ‚y c c}w c c}w ) Né é )Ú
|
|||
|
|
min_lengthÚ split_lengthÚtoken_splitter©Úconfigzaaaaabbbbbcccccdddd e f g)ÚaaaaabbbbbcccccddddÚeÚfÚgz!aaaaabbbbbcccccdddddeeeeeff g h i) ÚaaaaaÚbbbbbÚcccccÚdddddÚeeeeeÚffrY ÚhÚic 3 ób •K — | ]& }t |j « ‰j k –— Œ( y w)N)rF r? rR )Ú.0r@ rS s €r" ú <genexpr>z&test_token_splitter.<locals>.<genexpr>O s% øè ø€ ÐGÁ3¸aŒs�1—6‘6‹{˜n× 9Ñ 9Õ9Á3ùs ƒ,/)r Úadd_piper? Úall)rH rU r# r@ rS s @r" Útest_token_splitterrg = s§ ø€ Ü
|
|||
|
|
‹*€CØ °Ñ
|
|||
|
|
2€FØ—\‘\Ð"2¸6�\ÓB€NÙ
|
|||
|
|
|
|||
|
|
Ð)Ó
|
|||
|
|
*€CÙ Ó ™C�qˆA�F‹F˜CÑ Ò$JÒ JÐJÐ JÙ
|
|||
|
|
|
|||
|
|
Ð1Ó
|
|||
|
|
2€CÙ Ó ™C�qˆA�F‹F˜CÑ ò
|
|||
|
|
%ò
|
|||
|
|
ð
|
|||
|
|
ð
|
|||
|
|
ô ÓGÁ3ÓGÔ GÐGÑ Gùò !ùâ s °B
|
|||
|
|
ÁBr c ó> — t « } | j d« | j d« }g d¢|_ | |« }|j �J ‚t « } | j dddi¬« t j
|
|||
|
|
t « 5 | d« }d d d « t j dd¬ « t « } | j dd
|
|||
|
|
d d ii¬« | j d« }d
|
|||
|
|
|j _
|