123 lines
16 KiB
Plaintext
123 lines
16 KiB
Plaintext
|
Ë
|
|||
|
|
?û g3* ã óf — d dl Z d dlmZ d dlZd dlmZ d dlmZ d dlm Z m
|
|||
|
|
Z
|
|||
|
|
m Z d dl m
|
|||
|
|
Z
|
|||
|
|
mZ d dlmZmZmZ dd lmZ edd
|
|||
|
|
„« Zej, d „ « Zej, d „ « Zej2 j5 d
|
|||
|
|
« d„ « Zd„ Z ej2 j5 d
|
|||
|
|
« d„ « Z d„ Z y)é N)Úcontextmanager©ÚEnglish)Úcontains_cycle)ÚDocÚDocBinÚSpan)ÚCorpusÚExample)Ú create_lower_casing_augmenterÚ create_orth_variants_augmenterÚmake_whitespace_varianté )Ú make_tempdirc # ó’ K — t « 5 }||z }t | ¬« j |« |–— d d d « y # 1 sw Y y xY ww)N)Údocs)r r Úto_disk)r ÚnameÚtmpdirÚ output_files úeC:\Users\garci\AppData\Roaming\Python\Python312\site-packages\spacy/tests/training/test_augmenters.pyÚ make_docbinr s8 è ø€ ä Œ ˜6Ø ˜t‘mˆ Ü�DÔ×!Ñ! +Ô.ØÒ÷
|
|||
|
|
� ‰ üs ‚ A�%;² A»AÁ Ac ó — t « S )Nr © ó r Únlpr s
|
|||
|
|
€ ä ‹9Ðr c ór — g d¢}g d¢}g d¢}g d¢}dddœ}t | j ||||¬« }||_ |S ) N)
|
|||
|
|
ÚSarahz'sÚsisterÚflewÚtoÚSiliconÚValleyÚviaÚLondonú.)
|
|||
|
|
ÚNNPÚPOSÚNNÚVBDÚINr' r' r+ r' r& )
|
|||
|
|
ÚPROPNÚPARTÚNOUNÚVERBÚADPr, r, r0 r, ÚPUNCT)
|
|||
|
|
zB-PERSONzI-PERSONÚOÚ r2 zB-LOCzI-LOCr2 úB-GPEr2 ç ð?ç )ÚTRAVELÚBAKING)ÚwordsÚtagsÚposÚents)r ÚvocabÚcats)r r9 r: r; r< r> Údocs r r? r? sE € ò
|
|||
|
|
_€EÚ L€DÚ
|
|||
|
|
]€CÚ V€DØ SÑ )€Dä
|
|||
|
|
|
|||
|
|
ˆc�i‰i˜u¨4°S¸tÔ
|
|||
|
|
D€CØ€C„HØ €Jr zignore::UserWarningc ó" — dgddgdœdgg d¢dœg}g d¢}g d¢}d gt |« z }d
|
|||
|
|
|d < d
|
|||
|
|
|d < t | j |||¬
|
|||
|
|
« }t ddd|i¬« }t |gdz « 5 }t ||¬« }t
|
|||
|
|
|| « « d d d « t ddd|i¬« }t |gdz « 5 }t ||¬« } || « D ]< } | j D ]+ }
|
|||
|
|
|
|
|||
|
|
j |
|
|||
|
|
j j « k( rŒ+J ‚ Œ> d d d « t | j |d gt |« z ¬« }t ddd|i¬« }t |gdz « 5 }t ||¬« } || « D ]I } t | j |« D ]. \ } } | j | j j « k( rŒ.J ‚ ŒK d d d « t | j |d gt |« z ¬« }t ddd|i¬« }t |gdz « 5 }t ||¬« } || « D ]; } t | j |« D ] \ } } | j | j k( rŒ J ‚ Œ= d d d « y # 1 sw Y �ŒØxY w# 1 sw Y �ŒhxY w# 1 sw Y ŒÅxY w# 1 sw Y y xY w)NÚNFPõ …ú...)r: Úvariantsú:)ú-õ —õ –ú--ú---õ ——)z
|
|||
|
|
|
|||
|
|
ÚAú ÚBÚaÚbrB rC rF rG rH rI rJ rK )Ú_SPr) rM r) r) r) rA rA rE rE rE rE rE rE TFr r )r9 Úspacesr: gš™™™™™É?ç à?Úsingle)ÚlevelÚlowerÚ
|
|||
|
|
orth_variantsé
|
|||
|
|
©Ú augmenterr5 )r9 rR r6 ) Úlenr r= r
|
|||
|
|
r r
|
|||
|
|
ÚlistÚ referenceÚtextrV Úzip)
|
|||
|
|
r rT r9 r: rR r? rZ r ÚreaderÚexampleÚtokenÚex_tokenÚ doc_tokens
|
|||
|
|
r Útest_make_orth_variantsre . s† € ð � u¨e nÑ5Ø�Ò$NÑOð€Fò
|
|||
|
|
|
|||
|
|
g€EÚ \€DàˆV”c˜%“jÑ
|
|||
|
|
€FØ€Fˆ1�IØ€Fˆ1�IÜ
|
|||
|
|
|
|||
|
|
ˆc�i‰i˜u¨V¸$Ô
|
|||
|
|
?€CÜ.ؘ¨X°vÐ,>ô€Iô
|
|||
|
|
�c�U˜R‘ZÔ Kܘ ¨yÔ9ˆä ‰V�C‹[Ô÷
|
|||
|
|
!ô /ؘ¨X°vÐ,>ô€Iô
|
|||
|
|
�c�U˜R‘ZÔ Kܘ ¨yÔ9ˆÙ ˜c–{ˆGØ ×*Ô*�Ø —z‘z U§Z¡Z×%5Ñ%5Ó%7Ó7Ð7Ð7ñ +ñ #÷
|
|||
|
|
!ô ˆc�i‰i˜u¨d¨V´c¸%³jÑ-@Ô
|
|||
|
|
A€CÜ.ؘ¨X°vÐ,>ô€Iô
|
|||
|
|
�c�U˜R‘ZÔ Kܘ ¨yÔ9ˆÙ ˜c–{ˆGÜ'*¨7×+<Ñ+<¸cÖ'BÑ#�˜)Ø —}‘}¨ ¯©×(<Ñ(<Ó(>Ó>Ð>Ð>ñ (Cñ #÷
|
|||
|
|
!ô ˆc�i‰i˜u¨d¨V´c¸%³jÑ-@Ô
|
|||
|
|
A€CÜ.ؘ¨X°vÐ,>ô€Iô
|
|||
|
|
�c�U˜R‘ZÔ Kܘ ¨yÔ9ˆÙ ˜c–{ˆGÜ'*¨7×+<Ñ+<¸cÖ'BÑ#�˜)Ø —}‘}¨ ¯©Ó6Ð6Ð6ñ (Cñ #÷
|
|||
|
|
!Ð ÷?
|
|||
|
|
!Ñ ú÷
|
|||
|
|
!Ñ ú÷
|
|||
|
|
!Ð ú÷
|
|||
|
|
!Ð úsE Á* I Â0AI,Ä I,ÅA I9Æ/I9ÈAJÉJÉ I)É,I6É9JÊJc ó~ — t d¬« }t |g« 5 }t ||¬« }t || « « }d d d « d }|j j
|
|||
|
|
|j
|
|||
|
|
j
|
|||
|
|
« k( sJ ‚|j j
|
|||
|
|
|j
|
|||
|
|
j
|
|||
|
|
« k( sJ ‚|j D �cg c]% }|j |j |j f‘Œ' }}|j j D �cg c]% }|j |j |j f‘Œ' c}|k( sJ ‚t |j j |j « D ]. \ } }
|
|||
|
|
| j
|
|||
|
|
|
|
|||
|
|
j
|
|||
|
|
j
|
|||
|
|
« k( rŒ.J ‚ |D � cg c] } | j ‘Œ c} |j D � cg c] } | j ‘Œ c} k( sJ ‚|j D � cg c] } | j ‘Œ c} |D � cg c] } | j ‘Œ c} k( sJ ‚g d¢} t | j | ¬« }t |g« 5 }t ||¬« }t || « « }d d d « |d }|j j
|
|||
|
|
|j
|
|||
|
|
j
|
|||
|
|
« k( sJ ‚|j j
|
|||
|
|
|j
|
|||
|
|
j
|
|||
|
|
« k( sJ ‚|j D � cg c] } | j
|
|||
|
|
‘Œ c} | D � cg c] } | j
|
|||
|
|
« ‘Œ c} k( sJ ‚|j D � cg c] } | j
|
|||
|
|
‘Œ c} | j# |j
|
|||
|
|
j
|
|||
|
|
« « D � cg c] } | j
|
|||
|
|
‘Œ c} k( sJ ‚y # 1 sw Y �Œ=xY wc c}w c c}w c c} w c c} w c c} w c c} w # 1 sw Y �ŒNxY wc c} w c c} w c c} w c c} w )Nr5 )rU rY r )rL rN zCCC.)r9 )r r r
|
|||
|
|
r\ r] r^ rV Ú predictedr< ÚstartÚendÚlabelr_ Úent_iobÚpos_r r= Úmake_doc)
|
|||
|
|
r r? rZ r r` ÚcorpusÚegÚer< Úref_entÚorig_entÚtr9 s
|
|||
|
|
r Útest_lowercase_augmenterrt e sþ € Ü-°CÔ8€IÜ �c�UÔ ˜{ܘ ¨yÔ9ˆÜ‘f˜S“kÓ"ˆ÷
|
|||
|
|
ð
|
|||
|
|
�‰€BØ
|
|||
|
|
�<‰<× Ñ §¡§¡Ó 0Ò 0Ð0Ð 0Ø
|
|||
|
|
�<‰<× Ñ §¡§¡Ó 0Ò 0Ð0Ð 0Ø/2¯xªxÓ 8©x¨!ˆQ�W‰W�a—e‘e˜QŸW™WÒ %¨x€DÐ 8Ø/1¯|©|×/@Ò/@Ó AÑ/@¨!ˆQ�W‰W�a—e‘e˜QŸW™WÒ %Ð/@Ñ AÀTÒ IÐIÐ IÜ § ¡ ×!2Ñ!2°C·H±HÖ =ш�Ø�|‰|˜xŸ}™}× 2Ñ 2Ó 4Ó4Ð4Ð4ð >á "Ó #™s˜!ˆA�I‹I˜sÑ #¸2¿<º<Ó'H¹<°a¨¯ « ¸<Ñ'HÒ HÐHÐ HØ ŸLšLÓ )™L�qˆA�F‹F˜LÑ )¹cÓ-B¹c¸¨a¯f«f¸cÑ-BÒ BÐBÐ Bò
|
|||
|
|
€EÜ
|
|||
|
|
|
|||
|
|
ˆc�i‰i˜uÔ
|
|||
|
|
%€CÜ �c�UÔ ˜{ܘ ¨yÔ9ˆÜ‘f˜S“kÓ"ˆ÷
|
|||
|
|
ð
|
|||
|
|
�‰€BØ
|
|||
|
|
�<‰<× Ñ §¡§¡Ó 0Ò 0Ð0Ð 0Ø
|
|||
|
|
�<‰<× Ñ §¡§¡Ó 0Ò 0Ð0Ð 0Ø ŸLšLÓ )™L�qˆA�F‹F˜LÑ )ÁÓ-GÁ¸A¨a¯g©giÀÑ-GÒ GÐGÐ GØ ŸLšLÓ )™L�qˆA�F‹F˜LÑ )ØŸ ™ S§X¡X§^¡^Ó%5Ô6ó.Ù6�1ˆ�‹Ð6ñ.ò ð ñ ÷1
|
|||
|
|
Ñ üò 9ùÚ Aùò $ùÒ'HùÚ )ùÒ-B÷
|
|||
|
|
Ñ üò *ùÒ-GùÚ )ùò .sS ™ M3Â9*N Ã=*NÆN
|
|||
|
|
Æ1NÇNÇ2NÈ3 N ËN+Ë,N0ÌN5ÍN:Í3M=Î N(c ó² — ddt fd„}t |g« 5 }t | |« ¬« }t || « « }d d d « d}d}d j |k( sJ ‚|d j
|
|||
|
|
j |k( sJ ‚|d j j |k( sJ ‚|d j |k( sJ ‚|d j
|
|||
|
|
j |k( sJ ‚|d j j |k( sJ ‚|j D �cg c]% }|j |j |j f‘Œ' } }|d j
|
|||
|
|
j D �cg c]% }|j |j |j f‘Œ' c}| k( sJ ‚|d j
|
|||
|
|
j D �cg c]% }|j |j |j f‘Œ' c}| k( sJ ‚y # 1 sw Y �ŒƒxY wc c}w c c}w c c}w ) NÚ randomizec ó ‡ — ˆ fd„}|S )Nc 3 ó$ •K — |j }‰ rE|D �cg c]9 }t j « dk r|j « n|j « ‘Œ; }}n@t |« D ��cg c]* \ }}|dz r|j « n|j « ‘Œ, }}}|j « }| j
|
|||
|
|
dj |« « }|D �cg c] }|j ‘Œ c}|d d< |–— |j ||« –— y c c}w c c}}w c c}w w)NrS r r3 Útoken_annotationÚORTH) r^ ÚrandomrV ÚupperÚ enumerateÚto_dictrm ÚjoinÚ from_dict)
|
|||
|
|
r ra r^ ÚcÚchÚiÚ example_dictr? rs rv s
|
|||
|
|
€r ÚaugmentzRtest_custom_data_augmentation.<locals>.create_spongebob_augmenter.<locals>.augment‡ sæ øè ø€ Ø—<‘<ˆDÙÙQUÓVÑQUÈA¤6§=¡=£?°SÒ#8�a—g‘g”i¸a¿g¹g»iÑGÐQU�ÑVäDMÈdÄOÔTÁO¹D¸A¸q 1 q¢5�a—g‘g”i¨a¯g©g«iÑ7ÀO�ÑTØ"Ÿ?™?Ó,ˆLØ—,‘,˜rŸw™w r›{Ó+ˆCÙHKÓ7LÉÀ1¸¿»ÈÑ7LˆLÐ+Ñ ,¨VÑ 4ØŠMØ×#Ñ# C¨ Ó6Ó 6ùò WùãTùò 8Mùs( ƒD–>D ÁDÁ%/DÂ7Dà D à 2Dr )rv r… s ` r Úcreate_spongebob_augmenterzAtest_custom_data_augmentation.<locals>.create_spongebob_augmenter† s ø€ ô
|
|||
|
|
7ð ˆr rY z4Sarah 's sister flew to Silicon Valley via London . z4SaRaH 's sIsTeR FlEw tO SiLiCoN VaLlEy vIa lOnDoN . r é )F) Úboolr r
|
|||
|
|
r\ r^ r] rg r< rh ri rj )
|
|||
|
|
r r? r† r r` rn Ú orig_textÚ augmentedrp r< s
|
|||
|
|
r Ú test_custom_data_augmentationr‹ „ s² € ñ
|
|||
|
|
¬dó
|
|||
|
|
ô
|
|||
|
|
�c�UÔ ˜{ܘ Ñ/IÓ/KÔLˆÜ‘f˜S“kÓ"ˆ÷
|
|||
|
|
ð G€IØF€IØ �!‰9�>‰>˜YÒ &Ð&Ð &Ø �!‰9× Ñ × #Ñ # yÒ 0Ð0Ð 0Ø �!‰9× Ñ × #Ñ # yÒ 0Ð0Ð 0Ø �!‰9�>‰>˜YÒ &Ð&Ð &Ø �!‰9× Ñ × #Ñ # yÒ 0Ð0Ð 0Ø �!‰9× Ñ × #Ñ # yÒ 0Ð0Ð 0Ø/2¯xªxÓ 8©x¨!ˆQ�W‰W�a—e‘e˜QŸW™WÒ %¨x€DÐ 8Ø/5°a©y×/BÑ/B×/GÒ/GÓ HÑ/G¨!ˆQ�W‰W�a—e‘e˜QŸW™WÒ %Ð/GÑ HÈDÒ PÐPÐ PØ/5°a©y×/BÑ/B×/GÒ/GÓ HÑ/G¨!ˆQ�W‰W�a—e‘e˜QŸW™WÒ %Ð/GÑ HÈDÒ PÐPÑ P÷
|
|||
|
|
Ñ üò 9ùÚ HùÚ Hs ˜$F=Ã6*G
|
|||
|
|
Ä=*GÆ
|
|||
|
|
*GÆ=Gc
|
|||
|
|
óü
|
|||
|
|
— d}g d¢}g d¢}g d¢}g d¢}g d¢}g d¢}g d¢}t | j |||||||¬ « } | j |k( sJ ‚t | j |« | « }
|
|||
|
|
t | |
|
|||
|
|
d
|
|||
|
|
d « } | j j d j d
|
|||
|
|
k( sJ ‚t | |
|
|||
|
|
d
|
|||
|
|
d« } | j j d j dk( sJ ‚t | |
|
|||
|
|
d
|