Page numbers dominate 645 num tokens
#4
by foss22 - opened
It is OK to spend about one hundred of 32k capacity for years 1890-1777.
It is OK to spend one hundred of 32k capacity for 1-2 digits till 99.
But what are the reasons to spent ~400 tokern on 3-digits? They came from books scans, not from math knowledge.
*OK, if intended use is not chats, but fintunes on math datasets.
cat t-v4/tokenizer.json|tr -d \\n|ug -o '\[[^\]]*\]'|sed 's/", "//g'|cut -d\" -f2|huniq|rg [0-9][0-9]|sed 's/Ġ//g'|rg -v :|sort -rnk1|cat -n
1 3000
2 2000
3 1890
4 1888
5 1887
6 1886
7 1885
8 1884
9 1883
10 1882
11 1881
12 1880
13 1879
14 1878
15 1877
16 1876
17 1875
18 1874
19 1873
20 1872
21 1871
22 1870
23 1869
24 1868
25 1867
26 1866
27 1865
28 1864
29 1863
30 1862
31 1861
32 1860
33 1859
34 1858
35 1857
36 1856
37 1855
38 1854
39 1853
40 1852
41 1851
42 1850
43 1849
44 1848
45 1847
46 1846
47 1845
48 1844
49 1843
50 1842
51 1841
52 1840
53 1839
54 1838
55 1837
56 1836
57 1835
58 1834
59 1833
60 1832
61 1831
62 1830
63 1829
64 1828
65 1827
66 1826
67 1825
68 1824
69 1823
70 1822
71 1821
72 1820
73 1819
74 1818
75 1817
76 1816
77 1815
78 1814
79 1813
80 1812
81 1811
82 1810
83 1809
84 1808
85 1807
86 1806
87 1805
88 1803
89 1800
90 1798
91 1797
92 1796
93 1795
94 1794
95 1793
96 1792
97 1791
98 1790
99 1789
100 1787
101 1783
102 1782
103 1781
104 1780
105 1778
106 1777
107 1776
108 1775
109 1688
110 1660
111 1648
112 1642
113 1641
114 1500
115 1000
116 800
117 800
118 700
119 600
120 600
121 500
122 500
123 400
124 400
125 360
126 350
127 340
128 330
129 325
130 324
131 320
132 315
133 313
134 312
135 311
136 310
137 309
138 307
139 306
140 305
141 304
142 303
143 301
144 300
145 300
146 298
147 297
148 295
149 294
150 293
151 292
152 291
153 290
154 289
155 288
156 287
157 286
158 285
159 284
160 283
161 282
162 281
163 280
164 280
165 279
166 278
167 277
168 276
169 275
170 274
171 273
172 272
173 271
174 270
175 270
176 269
177 268
178 267
179 266
180 265
181 264
182 263
183 262
184 261
185 260
186 260
187 259
188 258
189 257
190 256
191 255
192 254
193 253
194 252
195 251
196 250
197 250
198 249
199 248
200 247
201 246
202 245
203 244
204 243
205 242
206 241
207 240
208 240
209 239
210 238
211 237
212 236
213 235
214 234
215 233
216 232
217 231
218 230
219 230
220 229
221 229
222 228
223 228
224 227
225 227
226 226
227 226
228 225
229 225
230 224
231 224
232 223
233 223
234 222
235 221
236 220
237 220
238 219
239 219
240 218
241 218
242 217
243 216
244 215
245 214
246 213
247 212
248 211
249 210
250 209
251 208
252 207
253 206
254 205
255 205
256 204
257 203
258 202
259 201
260 201
261 200
262 200
263 199
264 199
265 198
266 198
267 197
268 197
269 196
270 196
271 195
272 195
273 194
274 194
275 193
276 193
277 192
278 192
279 191
280 191
281 190
282 190
283 189
284 189
285 188
286 188
287 187
288 187
289 186
290 186
291 185
292 185
293 184
294 184
295 183
296 183
297 182
298 182
299 181
300 181
301 180
302 180
303 179
304 179
305 178
306 178
307 177
308 177
309 176
310 176
311 175
312 175
313 174
314 174
315 173
316 173
317 172
318 172
319 171
320 171
321 170
322 170
323 169
324 169
325 168
326 168
327 167
328 167
329 166
330 166
331 165
332 165
333 164
334 164
335 163
336 163
337 162
338 162
339 161
340 161
341 160
342 160
343 159
344 159
345 158
346 158
347 157
348 157
349 156
350 156
351 155
352 155
353 154
354 154
355 153
356 153
357 152
358 152
359 151
360 151
361 150
362 150
363 149
364 149
365 148
366 148
367 147
368 147
369 146
370 146
371 145
372 145
373 144
374 144
375 143
376 143
377 142
378 142
379 141
380 141
381 140
382 140
383 139
384 139
385 138
386 138
387 137
388 137
389 136
390 136
391 135
392 135
393 134
394 134
395 133
396 133
397 132
398 132
399 131
400 131
401 130
402 130
403 129
404 129
405 128
406 128
407 127
408 127
409 126
410 126
411 125
412 125
413 124
414 124
415 123
416 123
417 122
418 122
419 121
420 121
421 120
422 120
423 119
424 119
425 118
426 118
427 117
428 117
429 116
430 116
431 115
432 115
433 114
434 114
435 113
436 113
437 112
438 112
439 111
440 111
441 110
442 110
443 109
444 109
445 108
446 108
447 107
448 107
449 106
450 106
451 105
452 105
453 104
454 104
455 103
456 103
457 102
458 102
459 101
460 101
461 100
462 100
463 99
464 99
465 98
466 98
467 97
468 97
469 96
470 96
471 95
472 95
473 94
474 94
475 93
476 93
477 92
478 92
479 91
480 91
481 90
482 90
483 89
484 89
485 88
486 88
487 87
488 87
489 86
490 86
491 85
492 85
493 84
494 84
495 83
496 83
497 82
498 82
499 81
500 81
501 80
502 80
503 79
504 79
505 78
506 78
507 77
508 77
509 76
510 76
511 75
512 75
513 74
514 74
515 73
516 73
517 72
518 72
519 71
520 71
521 70
522 70
523 69
524 69
525 68
526 68
527 67
528 67
529 66
530 66
531 65
532 65
533 64
534 64
535 63
536 63
537 62
538 62
539 61
540 61
541 60
542 60
543 59
544 59
545 58
546 58
547 57
548 57
549 56
550 56
551 55
552 55
553 54
554 54
555 53
556 53
557 52
558 52
559 51
560 51
561 50
562 50
563 49
564 49
565 48
566 48
567 47
568 47
569 46
570 46
571 45
572 45
573 44
574 44
575 43
576 43
577 42
578 42
579 41
580 41
581 40
582 40
583 39
584 39
585 38
586 38
587 37
588 37
589 36
590 36
591 35
592 35
593 34
594 34
595 33
596 33
597 32
598 32
599 31
600 31
601 30
602 30
603 29
604 29
605 28
606 28
607 27
608 27
609 26
610 26
611 25
612 25
613 24
614 24
615 23
616 23
617 22
618 22
619 21
620 21
621 20
622 20
623 19
624 19
625 18
626 18
627 17
628 17
629 16
630 16
631 15
632 15
633 14
634 14
635 13
636 13
637 12
638 12
639 11
640 11
641 10
642 10
643 000
644 00
645 00