Keeping the vocab to 99.
This commit is contained in:
parent
af496b2775
commit
b965c5deee
646
merges.txt
646
merges.txt
|
@ -1,647 +1 @@
|
||||||
#version: 0.2 - Trained by `huggingface/tokenizers`
|
#version: 0.2 - Trained by `huggingface/tokenizers`
|
||||||
Ġ t
|
|
||||||
Ġt h
|
|
||||||
Ġ a
|
|
||||||
Ġth e</w>
|
|
||||||
i n
|
|
||||||
Ġ o
|
|
||||||
Ġ ,</w>
|
|
||||||
Ġ s
|
|
||||||
e d</w>
|
|
||||||
Ġ w
|
|
||||||
e r
|
|
||||||
Ġ .</w>
|
|
||||||
Ġ i
|
|
||||||
r e
|
|
||||||
Ġ c
|
|
||||||
n d</w>
|
|
||||||
Ġ f
|
|
||||||
Ġ b
|
|
||||||
a t
|
|
||||||
Ġo f</w>
|
|
||||||
e r</w>
|
|
||||||
e n
|
|
||||||
a r
|
|
||||||
o r
|
|
||||||
i t
|
|
||||||
Ġ p
|
|
||||||
Ġ h
|
|
||||||
Ġa nd</w>
|
|
||||||
o n
|
|
||||||
in g</w>
|
|
||||||
a n
|
|
||||||
r o
|
|
||||||
Ġ m
|
|
||||||
Ġ d
|
|
||||||
e s</w>
|
|
||||||
Ġi n</w>
|
|
||||||
o n</w>
|
|
||||||
Ġt o</w>
|
|
||||||
o u
|
|
||||||
i s
|
|
||||||
Ġ a</w>
|
|
||||||
i c
|
|
||||||
Ġ T
|
|
||||||
a l
|
|
||||||
Ġ l
|
|
||||||
Ġ =</w>
|
|
||||||
Ġ re
|
|
||||||
Ġ "</w>
|
|
||||||
e s
|
|
||||||
Ġ S
|
|
||||||
a s</w>
|
|
||||||
a l</w>
|
|
||||||
i l
|
|
||||||
e l
|
|
||||||
i on</w>
|
|
||||||
Ġ A
|
|
||||||
Ġ C
|
|
||||||
Ġ 1
|
|
||||||
Ġ Ċ</w>
|
|
||||||
u r
|
|
||||||
ĠT h
|
|
||||||
Ġ n
|
|
||||||
a s
|
|
||||||
Ġ @
|
|
||||||
e c
|
|
||||||
o m
|
|
||||||
a c
|
|
||||||
Ġ e
|
|
||||||
Ġw as</w>
|
|
||||||
Ġ M
|
|
||||||
o r</w>
|
|
||||||
a n</w>
|
|
||||||
a m
|
|
||||||
e n</w>
|
|
||||||
o l
|
|
||||||
Ġ in
|
|
||||||
Ġ g
|
|
||||||
Ġ '</w>
|
|
||||||
Ġ B
|
|
||||||
l y</w>
|
|
||||||
a t</w>
|
|
||||||
i v
|
|
||||||
t s</w>
|
|
||||||
ĠTh e</w>
|
|
||||||
u s
|
|
||||||
- @</w>
|
|
||||||
Ġ@ -@</w>
|
|
||||||
i s</w>
|
|
||||||
Ġ I
|
|
||||||
Ġw h
|
|
||||||
i g
|
|
||||||
Ġ H
|
|
||||||
Ġs t
|
|
||||||
o s
|
|
||||||
u n
|
|
||||||
t h
|
|
||||||
Ġ P
|
|
||||||
Ġw it
|
|
||||||
Ġth at</w>
|
|
||||||
i r
|
|
||||||
Ġa s</w>
|
|
||||||
e m
|
|
||||||
Ġo n</w>
|
|
||||||
r a
|
|
||||||
Ġf or</w>
|
|
||||||
Ġ R
|
|
||||||
e t
|
|
||||||
o w
|
|
||||||
Ġ 2
|
|
||||||
i d
|
|
||||||
Ġ D
|
|
||||||
l e</w>
|
|
||||||
Ġwit h</w>
|
|
||||||
l a
|
|
||||||
en t</w>
|
|
||||||
i m
|
|
||||||
Ġ F
|
|
||||||
e a
|
|
||||||
i on
|
|
||||||
Ġb y</w>
|
|
||||||
Ġ )</w>
|
|
||||||
Ġ (</w>
|
|
||||||
Ġa l
|
|
||||||
Ġc on
|
|
||||||
en t
|
|
||||||
Ġ W
|
|
||||||
Ġi s</w>
|
|
||||||
er e</w>
|
|
||||||
Ġ G
|
|
||||||
Ġ N
|
|
||||||
Ġ L
|
|
||||||
Ġh a
|
|
||||||
er s</w>
|
|
||||||
r i
|
|
||||||
t h</w>
|
|
||||||
t ed</w>
|
|
||||||
u c
|
|
||||||
Ġ J
|
|
||||||
Ġ1 9
|
|
||||||
e v
|
|
||||||
u l
|
|
||||||
Ġ v
|
|
||||||
c e</w>
|
|
||||||
at ion</w>
|
|
||||||
ro m</w>
|
|
||||||
Ġb e
|
|
||||||
Ġ E
|
|
||||||
i n</w>
|
|
||||||
Ġth e
|
|
||||||
Ġf rom</w>
|
|
||||||
Ġ O
|
|
||||||
t er</w>
|
|
||||||
Ġp ro
|
|
||||||
Ġa r
|
|
||||||
a d
|
|
||||||
Ġc om
|
|
||||||
i c</w>
|
|
||||||
a g
|
|
||||||
Ġh is</w>
|
|
||||||
Ġs h
|
|
||||||
Ġa t</w>
|
|
||||||
o v
|
|
||||||
i es</w>
|
|
||||||
o o
|
|
||||||
p p
|
|
||||||
s t
|
|
||||||
c h
|
|
||||||
Ġ r
|
|
||||||
Ġ2 0
|
|
||||||
a y</w>
|
|
||||||
i f
|
|
||||||
Ġw ere</w>
|
|
||||||
Ġc h
|
|
||||||
u t</w>
|
|
||||||
s t</w>
|
|
||||||
u t
|
|
||||||
d s</w>
|
|
||||||
o p
|
|
||||||
u m
|
|
||||||
Ġi t</w>
|
|
||||||
o c
|
|
||||||
t er
|
|
||||||
l e
|
|
||||||
ig h
|
|
||||||
u d
|
|
||||||
Ġe x
|
|
||||||
ion s</w>
|
|
||||||
at e</w>
|
|
||||||
it y</w>
|
|
||||||
at ed</w>
|
|
||||||
Ġ un
|
|
||||||
e p
|
|
||||||
q u
|
|
||||||
Ġn o
|
|
||||||
Ġ K
|
|
||||||
iv e</w>
|
|
||||||
is t
|
|
||||||
Ġo n
|
|
||||||
am e</w>
|
|
||||||
ou n
|
|
||||||
i r</w>
|
|
||||||
a b
|
|
||||||
Ġ â
|
|
||||||
in g
|
|
||||||
Ġh e</w>
|
|
||||||
l d</w>
|
|
||||||
u g
|
|
||||||
ic h</w>
|
|
||||||
Ġa n</w>
|
|
||||||
e d
|
|
||||||
Ġ k
|
|
||||||
Ġâ Ģ
|
|
||||||
Ġha d</w>
|
|
||||||
v e</w>
|
|
||||||
a in
|
|
||||||
Ġs e
|
|
||||||
t ion</w>
|
|
||||||
or e</w>
|
|
||||||
re s
|
|
||||||
Ġwh ich</w>
|
|
||||||
ĠI n</w>
|
|
||||||
o d
|
|
||||||
th er</w>
|
|
||||||
a k
|
|
||||||
Ġs p
|
|
||||||
a r</w>
|
|
||||||
Ġ y
|
|
||||||
ĠC h
|
|
||||||
on g</w>
|
|
||||||
Ġa c
|
|
||||||
es t</w>
|
|
||||||
Ġ U
|
|
||||||
a p
|
|
||||||
f f
|
|
||||||
al ly</w>
|
|
||||||
r it
|
|
||||||
ĠS t
|
|
||||||
u b
|
|
||||||
g e</w>
|
|
||||||
b er</w>
|
|
||||||
e t</w>
|
|
||||||
Ġb e</w>
|
|
||||||
e ar
|
|
||||||
Ġre c
|
|
||||||
er s
|
|
||||||
Ġf ir
|
|
||||||
o t
|
|
||||||
Ġar e</w>
|
|
||||||
Ġa n
|
|
||||||
c h</w>
|
|
||||||
o g
|
|
||||||
i a</w>
|
|
||||||
es t
|
|
||||||
in e</w>
|
|
||||||
il l
|
|
||||||
an d
|
|
||||||
e l</w>
|
|
||||||
ar y</w>
|
|
||||||
e w</w>
|
|
||||||
i d</w>
|
|
||||||
Ġf or
|
|
||||||
Ġ ;</w>
|
|
||||||
Ġcom p
|
|
||||||
Ġ V
|
|
||||||
Ġin c
|
|
||||||
t r
|
|
||||||
Ġ20 0
|
|
||||||
Ġthe ir</w>
|
|
||||||
u s</w>
|
|
||||||
Ġb ut</w>
|
|
||||||
r an
|
|
||||||
ic al</w>
|
|
||||||
Ġfir st</w>
|
|
||||||
Ġd e
|
|
||||||
Ġin t
|
|
||||||
Ġ ro
|
|
||||||
s o</w>
|
|
||||||
ĠâĢ ĵ</w>
|
|
||||||
Ġno t</w>
|
|
||||||
d ing</w>
|
|
||||||
f ter</w>
|
|
||||||
ur e</w>
|
|
||||||
Ġp ar
|
|
||||||
Ġ :</w>
|
|
||||||
i an</w>
|
|
||||||
Ġt w
|
|
||||||
ou ld</w>
|
|
||||||
Ġal so</w>
|
|
||||||
Ġi ts</w>
|
|
||||||
Ġw or
|
|
||||||
u m</w>
|
|
||||||
Ġo r</w>
|
|
||||||
os t</w>
|
|
||||||
0 0</w>
|
|
||||||
ou r
|
|
||||||
ar d</w>
|
|
||||||
Ġre s
|
|
||||||
m p
|
|
||||||
u e</w>
|
|
||||||
Ġa b
|
|
||||||
is h</w>
|
|
||||||
Ġcon t
|
|
||||||
Ġa d
|
|
||||||
ow n</w>
|
|
||||||
al l</w>
|
|
||||||
ou g
|
|
||||||
Ġh er</w>
|
|
||||||
as t</w>
|
|
||||||
Ġ en
|
|
||||||
om e</w>
|
|
||||||
al l
|
|
||||||
d ed</w>
|
|
||||||
o w</w>
|
|
||||||
Ġha ve</w>
|
|
||||||
Ġ us
|
|
||||||
ea r</w>
|
|
||||||
ac k</w>
|
|
||||||
d uc
|
|
||||||
i al</w>
|
|
||||||
s s
|
|
||||||
en ts</w>
|
|
||||||
a in</w>
|
|
||||||
t ing</w>
|
|
||||||
Ġon e</w>
|
|
||||||
es s
|
|
||||||
Ġh as</w>
|
|
||||||
igh t</w>
|
|
||||||
a v
|
|
||||||
Ġe v
|
|
||||||
ou t</w>
|
|
||||||
a y
|
|
||||||
en ce</w>
|
|
||||||
Ġbe en</w>
|
|
||||||
e w
|
|
||||||
Ġtw o</w>
|
|
||||||
Ġc l
|
|
||||||
d er</w>
|
|
||||||
im e</w>
|
|
||||||
k s</w>
|
|
||||||
es s</w>
|
|
||||||
is h
|
|
||||||
. @</w>
|
|
||||||
Ġ@ .@</w>
|
|
||||||
Ġp la
|
|
||||||
Ġp l
|
|
||||||
Ġo r
|
|
||||||
u p</w>
|
|
||||||
m ent</w>
|
|
||||||
ur ing</w>
|
|
||||||
ol l
|
|
||||||
ĠI n
|
|
||||||
Ġth is</w>
|
|
||||||
Ġb ec
|
|
||||||
Ġcom m
|
|
||||||
Ġd is
|
|
||||||
at er</w>
|
|
||||||
ag e</w>
|
|
||||||
Ġa pp
|
|
||||||
ou s</w>
|
|
||||||
e y</w>
|
|
||||||
i l</w>
|
|
||||||
p er
|
|
||||||
ĠA l
|
|
||||||
ion al</w>
|
|
||||||
l ud
|
|
||||||
el y</w>
|
|
||||||
t t
|
|
||||||
il e</w>
|
|
||||||
i z
|
|
||||||
Ġ j
|
|
||||||
Ġwh o</w>
|
|
||||||
Ġa g
|
|
||||||
i b
|
|
||||||
Ġthe y</w>
|
|
||||||
f or
|
|
||||||
Ġo v
|
|
||||||
at h
|
|
||||||
e g
|
|
||||||
Ġs c
|
|
||||||
i p
|
|
||||||
Ġ20 1
|
|
||||||
Ġ 3
|
|
||||||
Ġp er
|
|
||||||
or y</w>
|
|
||||||
Ġd es
|
|
||||||
id e</w>
|
|
||||||
Ġs er
|
|
||||||
s e</w>
|
|
||||||
ĠH e</w>
|
|
||||||
la nd</w>
|
|
||||||
at ions</w>
|
|
||||||
r ic
|
|
||||||
i t</w>
|
|
||||||
re s</w>
|
|
||||||
er ed</w>
|
|
||||||
Ġp re
|
|
||||||
ĠS h
|
|
||||||
an ce</w>
|
|
||||||
or t</w>
|
|
||||||
an t</w>
|
|
||||||
, @</w>
|
|
||||||
Ġ@ ,@</w>
|
|
||||||
el l</w>
|
|
||||||
Ġ Y
|
|
||||||
n ed</w>
|
|
||||||
el l
|
|
||||||
it e</w>
|
|
||||||
Ġinc lud
|
|
||||||
Ġre p
|
|
||||||
Ġa fter</w>
|
|
||||||
Ġs uc
|
|
||||||
re e</w>
|
|
||||||
an y</w>
|
|
||||||
i m</w>
|
|
||||||
or t
|
|
||||||
Ġ1 8
|
|
||||||
Ġs u
|
|
||||||
ad e</w>
|
|
||||||
ou r</w>
|
|
||||||
ĠU n
|
|
||||||
ĠI t</w>
|
|
||||||
i k
|
|
||||||
ĠM ar
|
|
||||||
em ber</w>
|
|
||||||
Ġ 1</w>
|
|
||||||
e en</w>
|
|
||||||
a nd</w>
|
|
||||||
Ġs ec
|
|
||||||
ic e</w>
|
|
||||||
Ġt ime</w>
|
|
||||||
ĠA n
|
|
||||||
Ġint o</w>
|
|
||||||
Ġf in
|
|
||||||
Ġo ther</w>
|
|
||||||
Ġa tt
|
|
||||||
il l</w>
|
|
||||||
re n
|
|
||||||
ac h
|
|
||||||
as s
|
|
||||||
er al</w>
|
|
||||||
es e</w>
|
|
||||||
s h
|
|
||||||
al s</w>
|
|
||||||
it ion</w>
|
|
||||||
oug h</w>
|
|
||||||
l es</w>
|
|
||||||
am p
|
|
||||||
Ġw ould</w>
|
|
||||||
Ġm ore</w>
|
|
||||||
ro ug
|
|
||||||
ri b
|
|
||||||
er y</w>
|
|
||||||
ac e</w>
|
|
||||||
Ġ A</w>
|
|
||||||
Ġpla y
|
|
||||||
it ed</w>
|
|
||||||
k ed</w>
|
|
||||||
is t</w>
|
|
||||||
i ed</w>
|
|
||||||
Ġ 2</w>
|
|
||||||
as ed</w>
|
|
||||||
ing s</w>
|
|
||||||
an g
|
|
||||||
a m</w>
|
|
||||||
i p</w>
|
|
||||||
Ġb o
|
|
||||||
ab le</w>
|
|
||||||
t y</w>
|
|
||||||
Ġch ar
|
|
||||||
Ġc ent
|
|
||||||
et w
|
|
||||||
at es</w>
|
|
||||||
ro p
|
|
||||||
Ġ I</w>
|
|
||||||
u nd</w>
|
|
||||||
ĠA m
|
|
||||||
c es</w>
|
|
||||||
o in
|
|
||||||
Ġin ter
|
|
||||||
u p
|
|
||||||
c t
|
|
||||||
on e</w>
|
|
||||||
Ġt ra
|
|
||||||
an t
|
|
||||||
ec t
|
|
||||||
Ġal l</w>
|
|
||||||
e f
|
|
||||||
Ġcon s
|
|
||||||
ub l
|
|
||||||
n ing</w>
|
|
||||||
an s</w>
|
|
||||||
Ġf e
|
|
||||||
us t</w>
|
|
||||||
Ġ 0
|
|
||||||
Ġre m
|
|
||||||
as e</w>
|
|
||||||
on g
|
|
||||||
Ġwh en</w>
|
|
||||||
e b
|
|
||||||
ĠW h
|
|
||||||
Ġe ar
|
|
||||||
ev er</w>
|
|
||||||
Ġov er</w>
|
|
||||||
Ġk n
|
|
||||||
a us
|
|
||||||
Ġp os
|
|
||||||
a d</w>
|
|
||||||
er m
|
|
||||||
Ġsh e</w>
|
|
||||||
Ġ ra
|
|
||||||
Ġd uring</w>
|
|
||||||
as on</w>
|
|
||||||
v i
|
|
||||||
Ġex p
|
|
||||||
Ġl ea
|
|
||||||
Ġ el
|
|
||||||
Ġ 4
|
|
||||||
Ġon ly</w>
|
|
||||||
o nd</w>
|
|
||||||
Ġd ec
|
|
||||||
Ġac c
|
|
||||||
Ġo ff
|
|
||||||
is s
|
|
||||||
Ġf l
|
|
||||||
ĠE n
|
|
||||||
o t</w>
|
|
||||||
en s
|
|
||||||
os e</w>
|
|
||||||
ak e</w>
|
|
||||||
o m</w>
|
|
||||||
Ġs ev
|
|
||||||
ac h</w>
|
|
||||||
etw een</w>
|
|
||||||
er n
|
|
||||||
Ġ 3</w>
|
|
||||||
Ġp r
|
|
||||||
Ġg ro
|
|
||||||
r uc
|
|
||||||
Ġd i
|
|
||||||
Ġ19 9
|
|
||||||
ĠA r
|
|
||||||
Ġg ame</w>
|
|
||||||
Ġh im</w>
|
|
||||||
oo k</w>
|
|
||||||
Ġ up</w>
|
|
||||||
Ġab out</w>
|
|
||||||
Ġre l
|
|
||||||
for m
|
|
||||||
Ġth ree</w>
|
|
||||||
at t
|
|
||||||
ĠC om
|
|
||||||
Ġs a
|
|
||||||
ear s</w>
|
|
||||||
Ġ 5
|
|
||||||
r y</w>
|
|
||||||
Ġi mp
|
|
||||||
Ġm ost</w>
|
|
||||||
f er
|
|
||||||
Ġp res
|
|
||||||
Ġf il
|
|
||||||
Ġb etween</w>
|
|
||||||
Ġbe g
|
|
||||||
p h
|
|
||||||
or s</w>
|
|
||||||
Ġth an</w>
|
|
||||||
Ġrec or
|
|
||||||
o b
|
|
||||||
er ic
|
|
||||||
at ing</w>
|
|
||||||
Ġth roug
|
|
||||||
k ing</w>
|
|
||||||
Ġo ut</w>
|
|
||||||
Ġn um
|
|
||||||
oo d</w>
|
|
||||||
oll ow
|
|
||||||
ac t
|
|
||||||
u il
|
|
||||||
Ġc re
|
|
||||||
ol og
|
|
||||||
at ional</w>
|
|
||||||
Ġpro duc
|
|
||||||
Ġwh ile</w>
|
|
||||||
Ġl ater</w>
|
|
||||||
Ġw rit
|
|
||||||
e x
|
|
||||||
Ġst ar
|
|
||||||
Ġsp ec
|
|
||||||
e e
|
|
||||||
ish ed</w>
|
|
||||||
Ġre g
|
|
||||||
is ion</w>
|
|
||||||
ou th</w>
|
|
||||||
Ġre le
|
|
||||||
Ġa ss
|
|
||||||
Ġse ason</w>
|
|
||||||
Ġm ade</w>
|
|
||||||
il y</w>
|
|
||||||
r u
|
|
||||||
o y
|
|
||||||
t ur
|
|
||||||
t e</w>
|
|
||||||
Ġ qu
|
|
||||||
Ġm ov
|
|
||||||
ur y</w>
|
|
||||||
ĠAm eric
|
|
||||||
em ent</w>
|
|
||||||
c c
|
|
||||||
ou nd</w>
|
|
||||||
Ġl ar
|
|
||||||
Ġfor m
|
|
||||||
ec t</w>
|
|
||||||
Ġde f
|
|
||||||
Ġm us
|
|
||||||
ĠP ar
|
|
||||||
Ġm e
|
|
||||||
Ġs ub
|
|
||||||
w ay</w>
|
|
||||||
o p</w>
|
|
||||||
o h
|
|
||||||
el d</w>
|
|
||||||
i e</w>
|
|
||||||
em p
|
|
||||||
am es</w>
|
|
||||||
er n</w>
|
|
||||||
Ġn or
|
|
||||||
iv ed</w>
|
|
||||||
ev el
|
|
||||||
Ġsuc h</w>
|
|
||||||
ar ds</w>
|
|
||||||
Ġin d
|
|
||||||
ik e</w>
|
|
||||||
Ġg en
|
|
||||||
er t
|
|
||||||
Ġy ear</w>
|
|
||||||
Ġus ed</w>
|
|
||||||
Ġn ew</w>
|
|
||||||
Ġ 5</w>
|
|
||||||
Ġal b
|
|
||||||
s p
|
|
||||||
y p
|
|
||||||
Ġwit h
|
|
||||||
Ġwh ere</w>
|
|
||||||
ic s</w>
|
|
||||||
ĠTh is</w>
|
|
||||||
Ġthe m</w>
|
|
||||||
w n</w>
|
|
||||||
|
|
1902
tokenizer.json
1902
tokenizer.json
File diff suppressed because it is too large
Load Diff
96
vocab.json
96
vocab.json
File diff suppressed because one or more lines are too long
Loading…
Reference in New Issue