llama_eval method

int llama_eval(
  1. Pointer<llama_context> ctx,
  2. Pointer<llama_token> tokens,
  3. int n_tokens,
  4. int n_past,
)

Run the llama inference to obtain the logits and probabilities for the next token(s). tokens + n_tokens is the provided batch of new tokens to process n_past is the number of tokens to use from previous eval calls Returns 0 on success DEPRECATED: use llama_decode() instead

Implementation

int llama_eval(
  ffi.Pointer<llama_context> ctx,
  ffi.Pointer<llama_token> tokens,
  int n_tokens,
  int n_past,
) {
  return _llama_eval(
    ctx,
    tokens,
    n_tokens,
    n_past,
  );
}