llama_set_warmup function

  1. @Native<Void Function(Pointer<llama_context>, Bool)>(ffi.Pointer<llama_context>, ffi.Bool)>()
void llama_set_warmup(
  1. Pointer<llama_context> ctx,
  2. bool warmup
)

Set whether the model is in warmup mode or not If true, all model tensors are activated during llama_decode() to load and cache their weights.

Implementation

@ffi.Native<ffi.Void Function(ffi.Pointer<llama_context>, ffi.Bool)>()
external void llama_set_warmup(
  ffi.Pointer<llama_context> ctx,
  bool warmup,
);