76 lines
12 KiB
Plaintext
76 lines
12 KiB
Plaintext
|
Ë
|
|||
|
|
?û gò& ã ó¼ — d dl Z d dlZd dlmZ d dlmZ d dlmZmZm Z m
|
|||
|
|
Z
|
|||
|
|
m Z d dl Z d dl
|
|||
|
|
mZmZmZmZmZmZ d dlmZ d dlmZ dd lmZ dd
|
|||
|
|
lmZ dd l m Z dd l m Z m Z m!Z! d
|
|||
|
|
dl"m#Z# d(dedede
|
|||
|
|
e de
|
|||
|
|
e$ de$de%de%fd„Z&dee e e#f de e fd„Z' d)dedede
|
|||
|
|
e$ de%de$f
|
|||
|
|
d„Z(ded ee d ed ede)f
|
|||
|
|
d „Z*d „ Z+d!„ Z, G d"„ d#« Z- d*d$e e)e$f d%e$d&e$de.fd'„Z/y)+é N)ÚCounter)ÚPath)ÚCallableÚIterableÚListÚOptionalÚUnion)ÚConfigÚModelÚ OptimizerÚfix_random_seedÚset_dropout_rateÚset_gpu_allocator)ÚConfigValidationError)ÚPrinteré )ÚErrors)ÚConfigSchemaPretrain)ÚDoc)Ú
|
|||
|
|
dot_to_objectÚload_model_from_configÚregistryé )ÚExampleÚconfigÚ
|
|||
|
|
output_dirÚ resume_pathÚ epoch_resumeÚuse_gpuÚsilentÚ skip_lastc óz ‡‡‡‡— t |¬« }| d d �t | d d « | d d }|dk\ r
|
|||
|
|
|r t |« d | d d< t | « } | j j « }
|
|||
|
|
t
|
|||
|
|
j |
|
|||
|
|
d t ¬ « } t |
|
|||
|
|
| d
|
|||
|
|
« } t
|
|||
|
|
j d
|
|||
|
|
| i« d
|
|||
|
|
} | d }
|
|||
|
|
t | | « Š| d Š|�t ‰|||¬
|
|||
|
|
« }nd}‰j d }t d¬« Š| d r |j d|› d| d › d�« n|j d|› �« dddœ} |j d i |¤Ž d!ˆˆˆˆfd„ } t! || d « D ]± }t# |
|
|||
|
|
| | « « « D ]b \ }}t% |« }t' ‰|‰|« }‰j) |||« }|r |j |fi |¤Ž | d sŒM|| d z dk( sŒY ||d¬ « Œd | d r || d z dk( s || d d z
|
|||
|
|
k( r ||« n ||« d ‰_ Œ³ |s || d d¬ « y y # |s || d d¬ « w w xY w)"N©Úno_printÚtrainingÚseedÚ
|
|||
|
|
gpu_allocatorr Ú
|
|||
|
|
initializeÚ init_tok2vecÚ pretraining)ÚschemaÚcorpusÚbatcherÚ optimizer)r Úlossi' )Ú frequencyÚ n_save_epochz/Pre-training tok2vec layer - starting at epoch z - saving every z epoch)é é
|
|||
|
|
r3 é é )Úrr6 r6 r6 r6 )ÚwidthsÚalignsc ó* •— |rdnd}‰j ‰j « 5 |r‰ dz }n ‰ d| › |› d�z }|j d« 5 }|j ‰j d« j « « d d d « ‰
|
|||
|
|
j ‰
|
|||
|
|
j ‰
|
|||
|
|
j | dœ}‰ d z j d
|
|||
|
|
« 5 }|j t j |« d z « d d d « d d d « y # 1 sw Y Œ{xY w# 1 sw Y Œ xY w# 1 sw Y y xY w) Nz.tempÚ zmodel-last.binÚmodelz.binÚwbÚtok2vec)Únr_wordr/ Ú
|
|||
|
|
epoch_lossÚepochz log.jsonlÚaú
|
|||
|
|
) Ú
|
|||
|
|
use_paramsÚaveragesÚopenÚwriteÚget_refÚto_bytesr> r/ r? ÚsrslyÚ
|
|||
|
|
json_dumps) r@ Úis_tempÚis_lastÚ is_temp_strÚ save_pathÚfile_Úlogr; r. r Útrackers €€€€úXC:\Users\garci\AppData\Roaming\Python\Python312\site-packages\spacy/training/pretrain.pyÚ _save_modelz pretrain.<locals>._save_modelF sõ ø€ Ù!(‘g¨bˆ Ø
|
|||
|
|
×
|
|||
|
|
Ñ
|
|||
|
|
˜i× 0Ñ 0Õ
|
|||
|
|
1ÙØ &¨>Ñ :‘ à &¨5°°¸ °}ÀDÐ)IÑ I� Ø×!Ñ! $Ô'¨5Ø— ‘ ˜EŸM™M¨)Ó 4× =Ñ =Ó ?Ô@÷ (ð #Ÿ?™?Ø Ÿ ™ Ø %× 0Ñ 0Ø ñ ˆCð ˜{Ñ*×0Ñ0°Ô5¸Ø— ‘ œE× ,Ñ ,¨SÓ 1°DÑ 8Ô9÷ 6÷ 2Ð
|
|||
|
|
1÷
|
|||
|
|
(Ð'ú÷ 6Ð5ú÷ 2Ð
|
|||
|
|
1ús< £%D Á/C1Á7AD Â8(C=Ã D Ã1C: Ã6D Ã=D ÄD Ä DÚ
|
|||
|
|
max_epochsÚ n_save_everyT)rK r ç )rL ))ú#z# Wordsz
|
|||
|
|
Total LossÚLosszw/s)FF)r r
|
|||
|
|
r r r Ú interpolater Úresolver r Úcreate_pretraining_modelÚ
|
|||
|
|
_resume_modelÚattrsÚProgressTrackerÚdividerÚrowÚrangeÚ enumerateÚ ensure_docsÚ make_updateÚupdater? )r r r r r r r! ÚmsgÚ allocatorÚnlpÚ_configÚPr, r- Ú objectiveÚ row_settingsrS r@ Úbatch_idÚbatchÚdocsr/ Úprogressr; r. rQ s ` @@@rR Úpretrainrq s� û€ ô ˜6Ô
|
|||
|
|
"€CØ
|
|||
|
|
ˆjј&Ñ!Ð-ܘ˜zÑ*¨6Ñ2Ô3Ø�zÑ" ?Ñ3€IØ�!‚|™ ܘ)Ô$à+/€Fˆ<ј Ñ(Ü
|
|||
|
|
Ó
|
|||
|
|
(€CØ�j‰j×$Ñ$Ó&€GÜ×ј Ñ/Ô8LÔM€AÜ
|
|||
|
|
˜7 A h¡KÓ
|
|||
|
|
0€FÜ
|
|||
|
|
×
|
|||
|
|
Ñ
|
|||
|
|
˜x¨Ð 0Ó
|
|||
|
|
1°(Ñ
|
|||
|
|
;€FØ� ‰l€GÜ $ S¨!Ó ,€EØ�+‘€IàÐ Ü$ U¨K¸ ÈfÔU‰ ð ˆ à— ‘ ˜FÑ#€Iä ¨Ô.€G؈ ÒØ � ‰ Ø=¸l¸^ÐK[Ð\]Ð^lÑ\mÐ[nÐntÐ uõ
|
|||
|
|
ð � ‰ ÐEÀlÀ^ÐTÔUØ /Ð;TÑU€LØ €C‡G�GÑJ¸\ÒJ÷:ð :ð(7ܘ<¨¨<© Ö9ˆEÜ#,©W±V¸C³[Ó-AÖ#B‘�˜%Ü" 5Ó)�Ü" 5¨$° ¸9ÓE�Ø"Ÿ>™>¨%°°tÓ<�ÙØ�C—G‘G˜HÑ5¨ Ò5Ø�^Ó$¨(°Q°~Ñ5FÑ*FÈ!Ó*KÙ ¨tÖ4ð $Cð � Ò Ø˜1˜^Ñ,Ñ,°Ò1°U¸aÀ ¹oÐPQÑ>QÒ5QÙ Õ&á˜EÔ"Ø!$ˆGÕ ñ :ñ" Ù ˜˜,™°Ö 6ð ø‰yÙ ˜˜,™°Ö 6ð ús ÅA5H( Ç H( ÇAH( È(H:Úexamples_or_docsÚreturnc ó’ — g }| D ]? }t |t « r|j |« Œ%|j |j « ŒA |S ©N)Ú
|
|||
|
|
isinstancer ÚappendÚ reference)rr ro Ú eg_or_docs rR rc rc p s@ € Ø
|
|||
|
|
€DÛ%ˆ Ü �i¤Ô %Ø �K‰K˜ Õ "à �K‰K˜ ×+Ñ+Õ ,ð &ð
|
|||
|
|
€Kó r; c óÚ — t |¬« }|j d|› �« |j d« 5 }|j « }| j d« j |« d d d « |€^t
|
|||
|
|
j dt |« « }|r$t |j d« dd d d « d z }nt t j « ‚|j d
|
|||
|
|
|› �« |S # 1 sw Y ŒxY w) Nr# z Resume training tok2vec from: Úrbr= z
|
|||
|
|
model\d+\.binr é éüÿÿÿr zResuming from epoch: )r ÚinforE ÚreadrG Ú
|
|||
|
|
from_bytesÚreÚsearchÚstrÚintÚgroupÚ
|
|||
|
|
ValueErrorr ÚE1020)r; r r r rf rO Ú weights_dataÚ
|
|||
|
|
model_names rR r\ r\ z sÖ € ô ˜6Ô
|
|||
|
|
"€C؇H�HÐ-¨k¨]Ð
|
|||
|
|
;Ô<Ø × Ñ ˜$Ô 5Ø —z‘z“|ˆ Ø
|
|||
|
|
�
|
|||
|
|
‰
|
|||
|
|
�iÓ ×+Ñ+¨LÔ9÷
|
|||
|
|
ð Ðä—Y‘YÐ /´°[Ó1AÓBˆ
|