59 lines
8.4 KiB
Plaintext
59 lines
8.4 KiB
Plaintext
|
Ë
|
|||
|
|
=û g ã óV — d dl Z d dlZd dlmZ ddlmZ ddlmZ e j d« j Z
|
|||
|
|
e dj d « « Z
|
|||
|
|
d
|
|||
|
|
ed efd „Zd
|
|||
|
|
ed efd
|
|||
|
|
„Zd
|
|||
|
|
ed efd„Zd
|
|||
|
|
ed efd„Zd
|
|||
|
|
ed efd„Zd
|
|||
|
|
ed efd„Zd
|
|||
|
|
ed efd„Zd
|
|||
|
|
ed efd„Zd
|
|||
|
|
ed efd„Zd
|
|||
|
|
ed efd„Zd
|
|||
|
|
ed efd„Zded efd„Zded efd„Z ded efd„Z ded efd„Z ded efd „Z ded efd „Z ded efd „Z!ded efd „Z"ded efd „Z# e « fded!ee d efd"„Z$d%d
|
|||
|
|
ed#ed efd$„Z%i ejL e“ejN e“ejP e “ejR e “ejT e “ejV e “ejX e “ejZ e!“ej\ e"“ej^ e#“ej` e$“ejb e“ejd e“ejf e“ejh e“ejj e“ejl e“ejn eejp eejr eejt eejv ei¥Z<y)&é N)ÚSeté )Úattrsé )Ú URL_MATCHz0([a-zA-Z0-9_.+-]+@[a-zA-Z0-9-]+\.[a-zA-Z0-9-.]+)aY com|org|edu|gov|net|mil|aero|asia|biz|cat|coop|info|int|jobs|mobi|museum|name|pro|tel|travel|xyz|icu|xxx|ac|ad|ae|af|ag|ai|al|am|an|ao|aq|ar|as|at|au|aw|ax|az|ba|bb|bd|be|bf|bg|bh|bi|bj|bm|bn|bo|br|bs|bt|bv|bw|by|bz|ca|cc|cd|cf|cg|ch|ci|ck|cl|cm|cn|co|cr|cs|cu|cv|cx|cy|cz|dd|de|dj|dk|dm|do|dz|ec|ee|eg|eh|er|es|et|eu|fi|fj|fk|fm|fo|fr|ga|gb|gd|ge|gf|gg|gh|gi|gl|gm|gn|gp|gq|gr|gs|gt|gu|gw|gy|hk|hm|hn|hr|ht|hu|id|ie|il|im|in|io|iq|ir|is|it|je|jm|jo|jp|ke|kg|kh|ki|km|kn|kp|kr|kw|ky|kz|la|lb|lc|li|lk|lr|ls|lt|lu|lv|ly|ma|mc|md|me|mg|mh|mk|ml|mm|mn|mo|mp|mq|mr|ms|mt|mu|mv|mw|mx|my|mz|na|nc|ne|nf|ng|ni|nl|no|np|nr|nu|nz|om|pa|pe|pf|pg|ph|pk|pl|pm|pn|pr|ps|pt|pw|py|qa|re|ro|rs|ru|rw|sa|sb|sc|sd|se|sg|sh|si|sj|sk|sl|sm|sn|so|sr|ss|st|su|sv|sy|sz|tc|td|tf|tg|th|tj|tk|tl|tm|tn|to|tp|tr|tt|tv|tw|tz|ua|ug|uk|us|uy|uz|va|vc|ve|vg|vi|vn|vu|wf|ws|ye|yt|za|zm|zwú|ÚtextÚreturnc ó^ — | D ]( }t j |« j d« rŒ( y y)NÚPFT)Ú unicodedataÚcategoryÚ
|
|||
|
|
startswith©r Úchars úUC:\Users\garci\AppData\Roaming\Python\Python312\site-packages\spacy/lang/lex_attrs.pyÚis_punctr s- € ÛˆÜ×#Ñ# DÓ)×4Ñ4°SÕ9Ùð ð ó c ó2 — | D ] }t |« dk\ sŒ y y)Né€ FT)Úordr s r Úis_asciir s € ÛˆÜ ˆt‹9˜Ó Ùð ð r c ó( — | j d« r| dd } | j dd« j dd« } | j « ry| j d« dk( r5| j d« \ }}|j « r|j « ryy) N)ú+ú-õ ±ú~r ú,Ú ú.Tú/F)r ÚreplaceÚisdigitÚcountÚsplit)r ÚnumÚdenoms r Úlike_numr( ' s{ € Ø ‡�Ð,Ô-Ø�A�Bˆxˆà �<‰<˜˜RÓ × (Ñ (¨¨bÓ 1€DØ ‡|�|„~ØØ ‡z�z�#ƒ˜!ÒØ—Z‘Z “_‰
|
|||
|
|
ˆˆUØ �;‰;Œ=˜UŸ]™]œ_ØØ r c ó — d}| |v S )N)ú(ú)ú[ú]ú{ú}ú<ú>© )r Úbracketss r Ú
|
|||
|
|
is_bracketr4 5 s € Ø7€HØ �8Ð Ðr c ó — d}| |v S )N)ú"ú'ú`õ «õ »õ ‘õ ’õ ‚õ ‛õ “õ â€�õ „õ ‟õ ‹õ ›õ â�®õ â�¯ú''ú``r2 )r Úquotess r Úis_quoterJ : s € ð I€Fà �6ˆ>Ðr c ó — d}| |v S )N)r* r, r. r0 r6 r7 r9 r; r= r> r? rA rB rC rE rH r2 )r Ú
|
|||
|
|
left_puncts r Ú
|
|||
|
|
is_left_punctrM A s € às€Jà �:Ð Ð r c ó — d}| |v S )N) r+ r- r/ r1 r6 r7 r: r< r@ rD rF rG r2 )r Ú right_puncts r Úis_right_punctrP H s € ØX€KØ �;Ð Ð r c óF — | D ] }t j |« dk7 sŒ y y)NÚScFT)r
|
|||
|
|
r r s r Ú is_currencyrS M s' € ãˆÜ × Ñ Ó %¨Ó -Ùð ð r c ó* — t t | « « S ©N)ÚboolÚ _like_email)r s r Ú
|
|||
|
|
like_emailrX U s € Ü ” ˜DÓ!Ó "Ð"r c ó¼ — | j d« s| j d« ry| j d« rt | « dk\ ry| d dk( s| d dk( ry d
|
|||
|
|
| v ry t t | « « D ] }| | dk( sŒ n y | j dd « d j d d « d }|j d
|
|||
|
|
« ry|j
|
|||
|
|
« r |t v ryt | « ryy )Nzhttp://zhttps://Tzwww.é r r éÿÿÿÿFú@r ú:r! ) r ÚlenÚrangeÚrsplitr% ÚendswithÚisalphaÚ_tldsr )r ÚiÚtlds r Úlike_urlrf Y sÖ € ð ‡��yÔ! T§_¡_°ZÔ%@ØØ
|
|||
|
|
� ‰ ˜Ô ¤S¨£Y°!¢^ØØ ˆA�w�#‚~˜˜b™ Sš ØØ
|
|||
|
|
ˆd�{ð Ü
|
|||
|
|
”3�t“9Ö
|
|||
|
|
ˆØ �‰7�c‹>Ù ð ð Ø
|
|||
|
|
�+‰+�c˜1Ó
|
|||
|
|
˜aÑ
|
|||
|
|
×
|
|||
|
|
&Ñ
|
|||
|
|
& s¨AÓ
|
|||
|
|
.¨qÑ
|
|||
|
|
1€CØ
|
|||
|
|
‡|�|�CÔØØ
|
|||
|
|
‡{�{„}˜¤™ ØÜ�„ØØ r c ó" — t | « dk\ ryg }d}d}d}| D ]c }|j « r|j « rd}nd}n|j « rd}n|}||k( r|dz
|
|||
|
|
}nd}|}|d k sŒS|j |« Œe dj |« S )
|
|||
|
|
Néd ÚLONGr r ÚXÚxÚdr é )r^ rb Úisupperr# ÚappendÚjoin)r ÚshapeÚlastÚ
|
|||
|
|
shape_charÚseqr s r Ú
|
|||
|
|
word_shaperu u sœ € Ü
|
|||
|
|
ˆ4ƒy�CÒØØ €EØ
|
|||
|
|
€DØ€JØ
|
|||
|
|
€CÛˆØ �<‰<Œ>Ø�|‰|Œ~Ø ‘
|
|||
|
|
à ‘
|
|||
|
|
Ø
|
|||
|
|
�\‰\Œ^Ø ‰Jà ˆJØ ˜Ò Ø �1‰H‰CàˆCØ ˆDØ �‹7Ø �L‰L˜Õ $ð! ð" �7‰7�5‹>Ðr Ústringc ó" — | j « S rU ©Úlower©rv s r ry ry � s € Ø �<‰<‹>Ðr c ó — | d S )Nr r2 rz s r Úprefixr| ” s € Ø �!‰9Ðr c ó — | dd S )Néýÿÿÿr2 rz s r Úsuffixr ˜ s € Ø �"�#ˆ;Ðr c ó" — | j « S rU )rb rz s r Úis_alphar� œ ó € Ø �>‰>Ó Ðr c ó" — | j « S rU )r# rz s r Úis_digitr„ r‚ r c ó" — | j « S rU )Úislowerrz s r Úis_lowerr‡ ¤ r‚ r c ó" — | j « S rU )Úisspacerz s r Úis_spacerŠ ¨ r‚ r c ó" — | j « S rU )Úistitlerz s r Úis_titler� ¬ r‚ r c ó" — | j « S rU )rn rz s r Úis_upperr� ° r‚ r Ústopsc ó& — | j « |v S rU rx )rv r� s r Úis_stopr’ ´ s € Ø �<‰<‹>˜UÐ "Ð"r Úlangc ó — |S rU r2 )r r“ s r Úget_langr• ¸ s € ð €Kr )r )=Úrer
|
|||
|
|
Útypingr r r Útokenizer_exceptionsr ÚcompileÚmatchrW Úsetr% rc ÚstrrV r r r( r4 rJ rM rP rS rX rf ru ry r| r r� r„ r‡ rŠ r� r� r’ r• ÚLOWERÚNORMÚPREFIXÚSUFFIXÚIS_ALPHAÚIS_DIGITÚIS_LOWERÚIS_SPACEÚIS_TITLEÚIS_UPPERÚIS_STOPÚ
|
|||
|
|
LIKE_EMAILÚLIKE_NUMÚIS_PUNCTÚIS_ASCIIÚSHAPEÚ
|
|||
|
|
IS_BRACKETÚIS_QUOTEÚ
|
|||
|
|
IS_LEFT_PUNCTÚIS_RIGHT_PUNCTÚ IS_CURRENCYÚLIKE_URLÚ LEX_ATTRSr2 r r ú<module>r´ sS ðÛ Û Ý å Ý +àˆb�j‰jÐLÓM×SÑS€ Ù ð ?÷ @E¹uÀS»zó
|
|||
|
|
€ð �3ð ˜4ó ð�3ð ˜4ó ð �3ð ˜4ó ð �Sð ˜Tó ð
|
|||
|
|
�3ð ˜4ó ð ˜ð ó ð ˜ð ó ð
|
|||
|
|
�cð ˜dó ð#�Sð #˜Tó #ð�3ð ˜4ó ð8�Sð ˜Só ð6�#ð ˜#ó ð�3ð ˜3ó ð�3ð ˜3ó ð �Sð ˜Tó ð �Sð ˜Tó ð �Sð ˜Tó ð �Sð ˜Tó ð �Sð ˜Tó ð �Sð ˜Tó ñ ,/«5ñ #�Cð # C¡ð #°Tó #ñ�3ð ˜cð ¨3ó ð
|
|||
|
|
Ø ‡K�K�ð
|
|||
|
|
à ‡J�J�ð
|