llama_state_get_size function

  1. @Native<Size Function(Pointer<llama_context>)>(ffi.Pointer<llama_context>)>()
int llama_state_get_size(
  1. Pointer<llama_context> ctx
)

Returns the actual size in bytes of the state (logits, embedding and memory) Only use when saving the state, not when restoring it, otherwise the size may be too small.

Implementation

@ffi.Native<ffi.Size Function(ffi.Pointer<llama_context>)>()
external int llama_state_get_size(
  ffi.Pointer<llama_context> ctx,
);