llama_set_causal_attn function

  1. @Native<Void Function(Pointer<llama_context>, Bool)>(ffi.Pointer<llama_context>, ffi.Bool)>()
void llama_set_causal_attn(
  1. Pointer<llama_context> ctx,
  2. bool causal_attn
)

Set whether to use causal attention or not If set to true, the model will only attend to the past tokens

Implementation

@ffi.Native<ffi.Void Function(ffi.Pointer<llama_context>, ffi.Bool)>()
external void llama_set_causal_attn(
  ffi.Pointer<llama_context> ctx,
  bool causal_attn,
);