cmd

type HFResult struct {
	GeneratedText string `json:"generated_text,omitempty"`
}

type OptionsStruct struct {
	UseCache     bool `json:"use_cache,omitempty"`
	WaitForModel bool `json:"wait_for_model,omitempty"`
}

type ParametersStruct struct {
	MaxNewTokens      int     `json:"max_new_tokens,omitempty"`
	TopK              float32 `json:"top_k,omitempty"`
	TopP              float32 `json:"top_p,omitempty"`
	Temperature       float32 `json:"temperature,omitempty"`
	DoSample          bool    `json:"do_sample,omitempty"`
	Seed              int     `json:"seed,omitempty"`
	EarlyStopping     bool    `json:"early_stopping,omitempty"`
	NoRepeatNgramSize int     `json:"no_repeat_ngram_size,omitempty"`
	NumBeams          int     `json:"num_beams,omitempty"`
	ReturnFullText    bool    `json:"return_full_text,omitempty"`
}

type RequestStruct struct {
	Inputs     string           `json:"inputs,omitempty"`
	Parameters ParametersStruct `json:"parameters,omitempty"`
	Options    OptionsStruct    `json:"options,omitempty"`
}