parent
96de7a2fb3
commit
a7272d4c93
|
@ -56,7 +56,7 @@ class InvalidScoreLogitsProcessor(LogitsProcessor):
|
||||||
def __call__(self, input_ids: torch.LongTensor, scores: torch.FloatTensor) -> torch.FloatTensor:
|
def __call__(self, input_ids: torch.LongTensor, scores: torch.FloatTensor) -> torch.FloatTensor:
|
||||||
if torch.isnan(scores).any() or torch.isinf(scores).any():
|
if torch.isnan(scores).any() or torch.isinf(scores).any():
|
||||||
scores.zero_()
|
scores.zero_()
|
||||||
scores[..., 20005] = 5e4
|
scores[..., 5] = 5e4
|
||||||
return scores
|
return scores
|
||||||
|
|
||||||
|
|
||||||
|
|
|
@ -170,9 +170,9 @@ class ChatGLMTokenizer(PreTrainedTokenizer):
|
||||||
vocab_file,
|
vocab_file,
|
||||||
do_lower_case=False,
|
do_lower_case=False,
|
||||||
remove_space=False,
|
remove_space=False,
|
||||||
bos_token='sop',
|
bos_token='<sop>',
|
||||||
eos_token='eos',
|
eos_token='</s>',
|
||||||
eop_token='eop',
|
eop_token='<eop>',
|
||||||
mask_token='[MASK]',
|
mask_token='[MASK]',
|
||||||
gmask_token='[gMASK]',
|
gmask_token='[gMASK]',
|
||||||
padding_side="left",
|
padding_side="left",
|
||||||
|
@ -183,6 +183,12 @@ class ChatGLMTokenizer(PreTrainedTokenizer):
|
||||||
do_lower_case=do_lower_case,
|
do_lower_case=do_lower_case,
|
||||||
remove_space=remove_space,
|
remove_space=remove_space,
|
||||||
padding_side=padding_side,
|
padding_side=padding_side,
|
||||||
|
bos_token=bos_token,
|
||||||
|
eos_token=eos_token,
|
||||||
|
eop_token=eop_token,
|
||||||
|
mask_token=mask_token,
|
||||||
|
gmask_token=gmask_token,
|
||||||
|
num_image_tokens=num_image_tokens,
|
||||||
**kwargs
|
**kwargs
|
||||||
)
|
)
|
||||||
|
|
||||||
|
|
Loading…
Reference in New Issue