llama_n_threads function

  1. @Native<Int32 Function(Pointer<llama_context>)>(ffi.Pointer<llama_context>)>()
int llama_n_threads(
  1. Pointer<llama_context> ctx
)

Get the number of threads used for generation of a single token.

Implementation

@ffi.Native<ffi.Int32 Function(ffi.Pointer<llama_context>)>()
external int llama_n_threads(
  ffi.Pointer<llama_context> ctx,
);