10 lines
3.3 KiB
Plaintext
10 lines
3.3 KiB
Plaintext
|
Ë
|
|||
|
|
?û g ã ó° — d dl Z d dlZd„ Zej j dddg« d„ « Zej j dg d¢« d„ « Zd „ Zy)
|
|||
|
|
é Nc ó` — d} | |« }|d j dk( sJ ‚|d j dk( sJ ‚|d j dk( sJ ‚|d j d k( sJ ‚|d
|
|||
|
|
j d k( sJ ‚|d j d
|
|||
|
|
k( sJ ‚|d j dk( sJ ‚|d j dk( sJ ‚|d j dk( sJ ‚|d j dk( sJ ‚|d j dk( sJ ‚|d j dk( sJ ‚|d j dk( sJ ‚|d j d k( sJ ‚|d j d k( sJ ‚|d j d!k( sJ ‚|d" j d#k( sJ ‚|d$ j d%k( sJ ‚|d& j d'k( sJ ‚|d( j d)k( sJ ‚|d* j d+k( sJ ‚y ),NzI:o :/ :'( >:o (: :) >.< XD -__- o.O ;D :-) @_@ :P 8D :1 >:( :D =| :> ....r z:oé z:/é z:'(é z>:oé z(:é z:)é z>.<é ÚXDé z-__-é zo.Oé
|
|||
|
|
z;Dé z:-)é z@_@é
|
|||
|
|
z:Pé Ú8Dé z:1é z>:(é z:Dé z=|é z:>é z....)Útext)Ú tokenizerr Útokenss úfC:\Users\garci\AppData\Roaming\Python\Python312\site-packages\spacy/tests/tokenizer/test_exceptions.pyÚ test_tokenizer_handles_emoticonsr sæ € ð Xð ñ �t‹_€FØ �!‰9�>‰>˜TÒ !Ð!Ð !Ø �!‰9�>‰>˜TÒ !Ð!Ð !Ø �!‰9�>‰>˜UÒ "Ð"Ð "Ø �!‰9�>‰>˜UÒ "Ð"Ð "Ø �!‰9�>‰>˜TÒ !Ð!Ð !Ø �!‰9�>‰>˜TÒ !Ð!Ð !Ø �!‰9�>‰>˜UÒ "Ð"Ð "Ø �!‰9�>‰>˜TÒ !Ð!Ð !Ø �!‰9�>‰>˜VÒ #Ð#Ð #Ø �!‰9�>‰>˜UÒ "Ð"Ð "Ø �"‰:�?‰?˜dÒ "Ð"Ð "Ø �"‰:�?‰?˜eÒ #Ð#Ð #Ø �"‰:�?‰?˜eÒ #Ð#Ð #Ø �"‰:�?‰?˜dÒ "Ð"Ð "Ø �"‰:�?‰?˜dÒ "Ð"Ð "Ø �"‰:�?‰?˜dÒ "Ð"Ð "Ø �"‰:�?‰?˜eÒ #Ð#Ð #Ø �"‰:�?‰?˜dÒ "Ð"Ð "Ø �"‰:�?‰?˜dÒ "Ð"Ð "Ø �"‰:�?‰?˜dÒ "Ð"Ð "Ø �"‰:�?‰?˜fÒ $Ð$Ñ $ó z text,length)z108)r )ÚXDNr c ó4 — | |« }t |« |k( sJ ‚y )N)Úlen©r r Úlengthr s r Ú+test_tokenizer_excludes_false_pos_emoticonsr% # s € á
|
|||
|
|
�t‹_€FÜ ˆv‹;˜&Ò Ð Ñ r ))u" can you still dunk?ðŸ�•ðŸ�”😵LOLr )u i💙your )u 🤘🤘yay!r c ó\ — t j dk\ r | |« }t |« |k( sJ ‚y y )Niÿÿ )ÚsysÚ
|
|||
|
|
maxunicoder" r# s r Ú test_tokenizer_handles_emojir) ) s0 € ô
|
|||
|
|
‡~�~˜Ò Ù˜4“ ˆÜ�6‹{˜fÒ$Ð$Ñ$ð !r c óÞ — dD ]^ } | d|› d�« D �cg c] }|j ‘Œ c}d|› dgk( sJ ‚| j d|› d�« D �cg c] }|d ‘Œ c}d|› dgk( rŒ^J ‚ y c c}w c c}w )NÚcfkCFKõ °ú.r )r Úexplain)r ÚuÚts r Útest_tokenizer_degreer1 3 sŠ € Û
|