llama_kv_cache_seq_keep method

void llama_kv_cache_seq_keep(
  1. Pointer<llama_context> ctx,
  2. int seq_id
)

Removes all tokens that do not belong to the specified sequence

Implementation

void llama_kv_cache_seq_keep(
  ffi.Pointer<llama_context> ctx,
  int seq_id,
) {
  return _llama_kv_cache_seq_keep(
    ctx,
    seq_id,
  );
}