tiktoken/src/common/special_tokens_set library
Classes
- SpecialTokensSet
- Convenient and type-safe way to represent and manipulate BPE special tokens.
- bpe package
- documentation
- tiktoken/src/common/special_tokens_set.dart
bpe package
- Libraries
- bpe
- tiktoken/src/common/byte_array
- tiktoken/src/common/special_tokens_set
- tiktoken/src/common/utils
- tiktoken/src/core_bpe
- tiktoken/src/core_bpe_constructor
- tiktoken/src/error/tiktoken_error
- tiktoken/src/ranks/cl100k_base.tiktoken
- tiktoken/src/ranks/cl100k_base/cl100k_base_1.g
- tiktoken/src/ranks/cl100k_base/cl100k_base_2.g
- tiktoken/src/ranks/cl100k_base/cl100k_base_3.g
- tiktoken/src/ranks/cl100k_base/cl100k_base_4.g
- tiktoken/src/ranks/cl100k_base/cl100k_base_5.g
- tiktoken/src/ranks/cl100k_base/cl100k_base_6.g
- tiktoken/src/ranks/cl100k_base/cl100k_base_7.g
- tiktoken/src/ranks/cl100k_base/cl100k_base_8.g
- tiktoken/src/ranks/cl100k_base/cl100k_base_9.g
- tiktoken/src/ranks/cl100k_base/cl100k_base_10.g
- tiktoken/src/ranks/cl100k_base/cl100k_base_11.g
- tiktoken/src/ranks/index
- tiktoken/src/ranks/o200k_base.tiktoken
- tiktoken/src/ranks/o200k_base/o200k_base_1
- tiktoken/src/ranks/o200k_base/o200k_base_2
- tiktoken/src/ranks/o200k_base/o200k_base_3
- tiktoken/src/ranks/o200k_base/o200k_base_4
- tiktoken/src/ranks/o200k_base/o200k_base_5
- tiktoken/src/ranks/o200k_base/o200k_base_6
- tiktoken/src/ranks/o200k_base/o200k_base_7
- tiktoken/src/ranks/o200k_base/o200k_base_8
- tiktoken/src/ranks/o200k_base/o200k_base_9
- tiktoken/src/ranks/o200k_base/o200k_base_10
- tiktoken/src/ranks/o200k_base/o200k_base_11
- tiktoken/src/ranks/o200k_base/o200k_base_12
- tiktoken/src/ranks/o200k_base/o200k_base_13
- tiktoken/src/ranks/o200k_base/o200k_base_14
- tiktoken/src/ranks/o200k_base/o200k_base_15
- tiktoken/src/ranks/o200k_base/o200k_base_16
- tiktoken/src/ranks/o200k_base/o200k_base_17
- tiktoken/src/ranks/o200k_base/o200k_base_18
- tiktoken/src/ranks/o200k_base/o200k_base_19
- tiktoken/src/ranks/o200k_base/o200k_base_20
- tiktoken/src/tiktoken_encoder
- tiktoken/src/word_counter
- tiktoken/tiktoken_tokenizer_gpt4o_o1