15 lines
2.6 KiB
Plaintext
15 lines
2.6 KiB
Plaintext
|
Ë
|
|||
|
|
?û g< ã óö — d dl Z e j j ddg« d„ « Ze j j ddg« d„ « Ze j j ddg« d„ « Ze j j dd g« d
|
|||
|
|
„ « Ze j j dd g« d „ « Ze j j dd
|
|||
|
|
g« d„ « Ze j j ddg« d„ « Z y)é NÚtextz lorem ipsumc ó4 — | |« }t |« dk( sJ ‚y )Né ©Úlen©Ú tokenizerr Útokenss úfC:\Users\garci\AppData\Roaming\Python\Python312\site-packages\spacy/tests/tokenizer/test_whitespace.pyÚ"test_tokenizer_splits_single_spacer ó € á
|
|||
|
|
�t‹_€FÜ ˆv‹;˜!Ò ÐÑ ó z lorem ipsumc ó\ — | |« }t |« dk( sJ ‚|d j dk( sJ ‚y )Né é ú ©r r r s r Ú"test_tokenizer_splits_double_spacer
|
|||
|
|
s3 € á
|
|||
|
|
�t‹_€FÜ ˆv‹;˜!Ò ÐÐ Ø �!‰9�>‰>˜SÒ Ð Ñ r z
|
|||
|
|
lorem ipsum c óZ — | |« }t |j « t |« k( sJ ‚y )N)ÚreprÚ text_with_wsr s r Ú)test_tokenizer_handles_double_trailing_wsr s( € á
|
|||
|
|
�t‹_€FÜ �×#Ñ#Ó $¬¨T«
|
|||
|
|
Ò 2Ð2Ñ 2r z lorem
|
|||
|
|
ipsumc ó\ — | |« }t |« dk( sJ ‚|d j dk( sJ ‚y )Nr r ú
|
|||
|
|
r r s r Ú test_tokenizer_splits_newliner s3 € á
|
|||
|
|
�t‹_€FÜ ˆv‹;˜!Ò ÐÐ Ø �!‰9�>‰>˜TÒ !Ð!Ñ !r z lorem
|
|||
|
|
ipsumc ó4 — | |« }t |« dk( sJ ‚y ©Nr r r s r Ú#test_tokenizer_splits_newline_spacer r
|
|||
|
|
r z
|