setTokenizer method

void setTokenizer(
  1. DonutTokenizer tok
)

Set the tokenizer.

Implementation

void setTokenizer(DonutTokenizer tok) {
  tokenizer = tok;
  decoder.tokenizer = tok;
}