tokenize method

List<int> tokenize(
  1. String text, {
  2. bool bos = false,
  3. bool eos = false,
})

Tokenizes the text.

Implementation

List<int> tokenize(String text, {bool bos = false, bool eos = false}) {
  List<int> tokenIds =
      textToTokens(text).map((token) => s2i[token]!).toList();
  if (bos) tokenIds.insert(0, bosTokenId);
  if (eos) tokenIds.add(eosTokenId);
  return tokenIds;
}