llama_sample_top_k method

void llama_sample_top_k(
  1. Pointer<llama_context> ctx,
  2. Pointer<llama_token_data_array> candidates,
  3. int k,
  4. int min_keep,
)

@details Top-K sampling described in academic paper "The Curious Case of Neural Text Degeneration" https://arxiv.org/abs/1904.09751

Implementation

void llama_sample_top_k(
  ffi.Pointer<llama_context> ctx,
  ffi.Pointer<llama_token_data_array> candidates,
  int k,
  int min_keep,
) {
  return _llama_sample_top_k(
    ctx,
    candidates,
    k,
    min_keep,
  );
}