U
    "c                  E   @   s  d Z ddlmZ ddlmZ ddlmZ ddlmZ	 e	
 Zejdddd	ejd
dZejdddeejejdddddejdejdddddejdejdddddejdejdddddejdgddddd
Zee ejdddeejejdddddejdejdddddejdejdddddejdejd ddddejdejd!dd"ddejdejd#d$d$ddejdgddd%d&d
Zee ejd'd(dedejejd)d*ddd+d+dd,g dddd,ddeejd-ejd.d/dd0d+d+dd,d1d2dddd,ddeejd-ejd3d4ddd+d+dd,d1d2dddd,ddeejd-ejd5d6ddd7d8dd9ddddd,ddeejd-ejd:d;ddd$ddd9d<dddd,ddeejd-ejd=d>d$d$d+d+dd,g dddd,ddeejd-ejd?d@d"d"d$ddd9ddddd,ddeejd-ejdAdBd0dCd8d0dd9d,dddd,ddeejd-ejdDdEd8dFdd"dd9eddddd,ddeejd-ejdGdHd+dIdddd9ddddd,ddeejd-ejdJdKdLdLdd"dd9edMdddd,ddeejd-ejdNdOdPdPdddd9ddddd,ddeejd-ejdQdRdSdTd8d0dd9d9dddd,ddeejd-ejdUdVdWdSd$ddd,ddddd,ddXeejd-ejdYdZd7dWd$ddd,ddddd,ddXeejd-ejd[d\d]d7d$ddd9d^dddd,ddeejd-ejd_d`dad]dd"dd9edbdddd,ddeejd-ejdcdddedfd$ddd9dgdddd,ddeejd-ejdhdidfdad$ddd9dadddd,ddeejd-ejdjdkdTded$ddd9ddddd,ddeejd-ejdldmdndnd$ddd9dadddd,ddeejd-ejdodpdqdqd8d0dd9d9dddd,ddeejd-ejdrdsdtdud8d0dd9d9dddd,ddeejd-ejdvdwdudtd8d0dd9d9dddd,ddeejd-ejdxdydzdzd8d0dd9d,dddd,ddeejd-ejd{d|d}d~d8d0dd9d,dddd,ddeejd-ejddd~d}d8d0dd9d,dddd,ddeejd-ejddddd+d+dd,g dddd,ddeejd-ejddddd+d+dd,g dddd,ddeejd-ejddddd+d+dd,d1d2dddd,ddeejd-ejddddd8d0dd9d,dddd,ddeejd-ejddddd8d0dd9d9dddd,ddeejd-ejddddd8d0dd9d9dddd,ddeejd-ejddddd8d0dd9d,dddd,ddeejd-ejddddd$ddd9ddddd,ddeejd-ejddddd$ddd9ddddd,ddeejd-ejddddd$ddd9ddddd,ddeejd-ejddddd$ddd9ddddd,ddeejd-ejddddd+d+dd9dd2dddd,ddeejd-ejddddd+d+dd9dd2dddd,ddeejd-ejddddd+d+dd9dd2dddd,ddeejd-ejddddd+d+dd9dd2dddd,ddeejd-ejddddd+d+dd9dd2dddd,ddeejd-ejddddd8d0dd9d,dddd,ddeejd-g,g g egdd9ddgg dddZejdddedejejddddd+d+dd,d1d2dddd,ddeejd-ejdddddSd+dd,d1dddd,ddeejd-ejddddd8d0dd9d9dddd,ddeejd-ejddddd8d0dd9d9dddd,ddeejd-ejdddd$d8d0dd9d9dddd,ddeejd-ejddd$d"d+d+dd,d1d2dddd,ddeejd-gg g g dd9ddgg dddZejdddedejejd)dddd+d+dd,d1d2dddd,ddeejd-ejddddd+d+dd,d1d2dddd,ddeejd-gg g g dd,dg g dddZejdddedejejdddddPdLdd,g dddd,ddeejd-gg egg dd9ddgg dddZejdddedejejddddd+d+dd,d1d2dddd,ddeejd-ejdddddd"dd,eddddd,ddeejd-ejddddd7d8dd9ddddd,ddeejd-gg g egdd9ddgg dddZejdddedejejdddddPdLdd,g dddd,ddeejd-ejdddddPdLdd,ddddd,ddeejd-ejdddddPdLdd,ddddd,ddeejd-ejdddddPdLdd,ddddd,ddeejd-ejdddd$dPdLdd,ddddd,ddeejd-gg egg dd9ddgg dddZeejd5 _ee_ ee_ eejd _!eejd _ee_ ee_ eejd _!eejd _!eejd _!eejd _!eejd _!eej"d'< eej"d< eej"d< eej"d< e#e e$d'ej%feddZ&e'e& e$dej%feddZ(e'e( e$dej%fe$dej%feddeddZ)e'e) e'e)j* e$dej%fe$dej%feddeddZ+e'e+ e'e+j, de_-dejdU _-dejdY _-dS )zGenerated protocol buffer code.    )
descriptor)message)
reflection)symbol_databasezsentencepiece_model.protoZsentencepieceZproto2s   Hs\	  
sentencepiece_model.protosentencepiece"
TrainerSpec
input (	
input_format (	
model_prefix (	A

model_type (2$.sentencepiece.TrainerSpec.ModelType:UNIGRAM

vocab_size (:8000
accept_language (	 
self_test_sample_size (:0*
enable_differential_privacy2 (:false+
 differential_privacy_noise_level3 (:02
'differential_privacy_clipping_threshold4 (:0"
character_coverage
 (:0.9995
input_sentence_size (:0$
shuffle_input_sentence (:true 
mining_sentence_size (B"
training_sentence_size (B(
seed_sentencepiece_size (:1000000
shrinking_factor (:0.75!
max_sentence_length (:4192
num_threads (:16
num_sub_iterations (:2$
max_sentencepiece_length (:16%
split_by_unicode_script (:true
split_by_number (:true!
split_by_whitespace (:true)
treat_whitespace_as_suffix (:false+
allow_whitespace_only_pieces (:false
split_digits (:false
control_symbols (	
user_defined_symbols (	
required_chars$ (	
byte_fallback# (:false+
vocabulary_output_piece_score  (:true
hard_vocab_limit! (:true
use_all_vocab" (:false
unk_id( (:0
bos_id) (:1
eos_id* (:2
pad_id+ (:-1
	unk_piece- (	:<unk>
	bos_piece. (	:<s>
	eos_piece/ (	:</s>
	pad_piece0 (	:<pad>
unk_surface, (	: ⁇ +
train_extremely_large_corpus1 (:false"5
	ModelType
UNIGRAM
BPE
WORD
CHAR*	"
NormalizerSpec
name (	
precompiled_charsmap (
add_dummy_prefix (:true&
remove_extra_whitespaces (:true 
escape_whitespaces (:true
normalization_rule_tsv (	*	"y
SelfTestData3
samples (2".sentencepiece.SelfTestData.Sample)
Sample
input (	
expected (	*	"

ModelProto7
pieces (2'.sentencepiece.ModelProto.SentencePiece0
trainer_spec (2.sentencepiece.TrainerSpec6
normalizer_spec (2.sentencepiece.NormalizerSpec3
self_test_data (2.sentencepiece.SelfTestData8
denormalizer_spec (2.sentencepiece.NormalizerSpec
SentencePiece
piece (	
score (B
type (2,.sentencepiece.ModelProto.SentencePiece.Type:NORMAL"T
Type

NORMAL
UNKNOWN
CONTROL
USER_DEFINED
BYTE

UNUSED*	*	BH)namepackagesyntaxserialized_options
create_keyZserialized_pbZ	ModelTypez#sentencepiece.TrainerSpec.ModelTypeNZUNIGRAM   )r   indexnumberr	   typer
   ZBPE   ZWORD   ZCHAR   i  i  )
r   	full_namefilenamefiler
   valuescontaining_typer	   serialized_startserialized_endTypez+sentencepiece.ModelProto.SentencePiece.TypeNORMALUNKNOWNCONTROLZUSER_DEFINEDZBYTE   ZUNUSED   i  iB	  TrainerSpeczsentencepiece.TrainerSpecinputzsentencepiece.TrainerSpec.input	   F)r   r   r   r   r   Zcpp_typelabelZhas_default_valuedefault_valuemessage_type	enum_typer   Zis_extensionZextension_scoper	   r   r
   Zinput_formatz&sentencepiece.TrainerSpec.input_format       zutf-8Zmodel_prefixz&sentencepiece.TrainerSpec.model_prefixZ
model_typez$sentencepiece.TrainerSpec.model_type      TZ
vocab_sizez$sentencepiece.TrainerSpec.vocab_sizei@  Zaccept_languagez)sentencepiece.TrainerSpec.accept_languageZself_test_sample_sizez/sentencepiece.TrainerSpec.self_test_sample_sizeZenable_differential_privacyz5sentencepiece.TrainerSpec.enable_differential_privacy2   Z differential_privacy_noise_levelz:sentencepiece.TrainerSpec.differential_privacy_noise_level3   Z'differential_privacy_clipping_thresholdzAsentencepiece.TrainerSpec.differential_privacy_clipping_threshold4   Zcharacter_coveragez,sentencepiece.TrainerSpec.character_coverage
   gCl?Zinput_sentence_sizez-sentencepiece.TrainerSpec.input_sentence_size   Zshuffle_input_sentencez0sentencepiece.TrainerSpec.shuffle_input_sentence      Zmining_sentence_sizez.sentencepiece.TrainerSpec.mining_sentence_size   s   Ztraining_sentence_sizez0sentencepiece.TrainerSpec.training_sentence_sizeZseed_sentencepiece_sizez1sentencepiece.TrainerSpec.seed_sentencepiece_size   i@B Zshrinking_factorz*sentencepiece.TrainerSpec.shrinking_factor   g      ?Zmax_sentence_lengthz-sentencepiece.TrainerSpec.max_sentence_length      i`  Znum_threadsz%sentencepiece.TrainerSpec.num_threadsZnum_sub_iterationsz,sentencepiece.TrainerSpec.num_sub_iterationsZmax_sentencepiece_lengthz2sentencepiece.TrainerSpec.max_sentencepiece_length   Zsplit_by_unicode_scriptz1sentencepiece.TrainerSpec.split_by_unicode_script   Zsplit_by_numberz)sentencepiece.TrainerSpec.split_by_number      Zsplit_by_whitespacez-sentencepiece.TrainerSpec.split_by_whitespaceZtreat_whitespace_as_suffixz4sentencepiece.TrainerSpec.treat_whitespace_as_suffix   Zallow_whitespace_only_piecesz6sentencepiece.TrainerSpec.allow_whitespace_only_pieces      Zsplit_digitsz&sentencepiece.TrainerSpec.split_digitsZcontrol_symbolsz)sentencepiece.TrainerSpec.control_symbols      Zuser_defined_symbolsz.sentencepiece.TrainerSpec.user_defined_symbols      Zrequired_charsz(sentencepiece.TrainerSpec.required_chars   $   Zbyte_fallbackz'sentencepiece.TrainerSpec.byte_fallback#   Zvocabulary_output_piece_scorez7sentencepiece.TrainerSpec.vocabulary_output_piece_score    Zhard_vocab_limitz*sentencepiece.TrainerSpec.hard_vocab_limit!   Zuse_all_vocabz'sentencepiece.TrainerSpec.use_all_vocab"   Zunk_idz sentencepiece.TrainerSpec.unk_id(   Zbos_idz sentencepiece.TrainerSpec.bos_id)   Zeos_idz sentencepiece.TrainerSpec.eos_id*   Zpad_idz sentencepiece.TrainerSpec.pad_id%   +   Z	unk_piecez#sentencepiece.TrainerSpec.unk_piece&   -   s   <unk>Z	bos_piecez#sentencepiece.TrainerSpec.bos_piece'   .   s   <s>Z	eos_piecez#sentencepiece.TrainerSpec.eos_piece/   s   </s>Z	pad_piecez#sentencepiece.TrainerSpec.pad_piece0   s   <pad>Zunk_surfacez%sentencepiece.TrainerSpec.unk_surface,   s    ⁇ Ztrain_extremely_large_corpusz6sentencepiece.TrainerSpec.train_extremely_large_corpus1   )   i    i  )r   r   r   r   r   r
   fields
extensionsZnested_types
enum_typesr	   Zis_extendabler   Zextension_rangesZoneofsr   r   NormalizerSpeczsentencepiece.NormalizerSpecr   z!sentencepiece.NormalizerSpec.nameZprecompiled_charsmapz1sentencepiece.NormalizerSpec.precompiled_charsmapZadd_dummy_prefixz-sentencepiece.NormalizerSpec.add_dummy_prefixZremove_extra_whitespacesz5sentencepiece.NormalizerSpec.remove_extra_whitespacesZescape_whitespacesz/sentencepiece.NormalizerSpec.escape_whitespacesZnormalization_rule_tsvz3sentencepiece.NormalizerSpec.normalization_rule_tsvi  i  Samplez!sentencepiece.SelfTestData.Samplez'sentencepiece.SelfTestData.Sample.inputexpectedz*sentencepiece.SelfTestData.Sample.expectedi#  iL  SelfTestDatazsentencepiece.SelfTestDataZsamplesz"sentencepiece.SelfTestData.samplesi  iW  SentencePiecez&sentencepiece.ModelProto.SentencePieceZpiecez,sentencepiece.ModelProto.SentencePiece.pieceZscorez,sentencepiece.ModelProto.SentencePiece.scorer   z+sentencepiece.ModelProto.SentencePiece.typei{  iM	  
ModelProtozsentencepiece.ModelProtopieceszsentencepiece.ModelProto.piecesZtrainer_specz%sentencepiece.ModelProto.trainer_specZnormalizer_specz(sentencepiece.ModelProto.normalizer_specZself_test_dataz'sentencepiece.ModelProto.self_test_dataZdenormalizer_specz*sentencepiece.ModelProto.denormalizer_speciZ  iX	  Zsentencepiece_model_pb2)
DESCRIPTOR
__module__)rZ   r`   ra   )r]   r`   ra   ).__doc__Zgoogle.protobufr   Z_descriptorr   _messager   Z_reflectionr   Z_symbol_databaseZDefaultZ_sym_dbZFileDescriptorZ_internal_create_keyr`   ZEnumDescriptorZEnumValueDescriptorZ_TRAINERSPEC_MODELTYPEZRegisterEnumDescriptorZ_MODELPROTO_SENTENCEPIECE_TYPEZ
DescriptorZFieldDescriptordecodefloatZ_TRAINERSPECZ_NORMALIZERSPECZ_SELFTESTDATA_SAMPLEZ_SELFTESTDATAZ_MODELPROTO_SENTENCEPIECEZ_MODELPROTOZfields_by_namer%   r   r$   Zmessage_types_by_nameZRegisterFileDescriptorZGeneratedProtocolMessageTypeMessager   ZRegisterMessagerY   r\   rZ   r^   r]   _options rh   rh   I/tmp/pip-unpacked-wheel-qq0nn8u8/sentencepiece/sentencepiece_model_pb2.py<module>   sX          !
             +
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        8    P                                                                  ,C                      &           	                                  .                                                       %;








