models

type Artifact struct {
	Id     primitive.ObjectID   `bson:"_id" json:"_id"`
	Col    string               `bson:"_col" json:"_col"`
	Del    bool                 `bson:"_del" json:"_del"`
	TagIds []primitive.ObjectID `bson:"_tid" json:"_tid"`
	Sys    *ArtifactSys         `bson:"_sys" json:"_sys"`
	Obj    interface{}          `bson:"_obj" json:"_obj"`
}

type ArtifactSys struct {
	CreateTs  time.Time          `json:"create_ts" bson:"create_ts"`
	CreateUid primitive.ObjectID `json:"create_uid" bson:"create_uid"`
	UpdateTs  time.Time          `json:"update_ts" bson:"update_ts"`
	UpdateUid primitive.ObjectID `json:"update_uid" bson:"update_uid"`
	DeleteTs  time.Time          `json:"delete_ts" bson:"delete_ts"`
	DeleteUid primitive.ObjectID `json:"delete_uid" bson:"delete_uid"`
}

type BaseModel struct {
	Id   primitive.ObjectID `json:"_id" bson:"_id"`
	Tags []Tag              `json:"tags" bson:"-"`
}

type DataCollection struct {
	Id   primitive.ObjectID `json:"_id" bson:"_id"`
	Name string             `json:"name" bson:"name"`
}

type DataField struct {
	Id   primitive.ObjectID `json:"_id" bson:"_id"`
	Key  string             `json:"key" bson:"key"`
	Name string             `json:"name" bson:"name"`
}

type DataSource struct {
	Id   primitive.ObjectID `json:"_id" bson:"_id"`
	Name string             `json:"name" bson:"name"`
}

type Env struct {
	Name  string `json:"name" bson:"name"`
	Value string `json:"value" bson:"value"`
}

type ExtraValue struct {
	Id       primitive.ObjectID `json:"_id" bson:"_id"`
	ObjectId primitive.ObjectID `json:"oid" bson:"oid"`
	Model    string             `json:"model" bson:"m"`
	Type     string             `json:"type" bson:"t"`
	Value    interface{}        `json:"value" bson:"v"`
}

type Git struct {
	Id       primitive.ObjectID `json:"_id" bson:"_id"`
	Url      string             `json:"url" bson:"url"`
	AuthType string             `json:"auth_type" bson:"auth_type"`
	Username string             `json:"username" bson:"username"`
	Password string             `json:"password" bson:"password"`
}

type Job struct {
	Id     primitive.ObjectID `bson:"_id" json:"_id"`
	TaskId primitive.ObjectID `bson:"task_id" json:"task_id"`
}

type ModelListMap struct {
	Artifacts       []Artifact
	Tags            []Tag
	Nodes           []Node
	Projects        []Project
	Spiders         []Spider
	Tasks           []Task
	Jobs            []Job
	Schedules       []Schedule
	Users           []User
	Settings        []Setting
	Tokens          []Token
	Variables       []Variable
	TaskQueueItems  []TaskQueueItem
	TaskStats       []TaskStat
	Plugins         []Plugin
	SpiderStats     []SpiderStat
	DataSources     []DataSource
	DataCollections []DataCollection
	Results         []Result
	Passwords       []Password
	ExtraValues     []ExtraValue
	PluginStatus    []PluginStatus
	Gits            []Git
}

type ModelMap struct {
	Artifact       Artifact
	Tag            Tag
	Node           Node
	Project        Project
	Spider         Spider
	Task           Task
	Job            Job
	Schedule       Schedule
	User           User
	Setting        Setting
	Token          Token
	Variable       Variable
	TaskQueueItem  TaskQueueItem
	TaskStat       TaskStat
	Plugin         Plugin
	SpiderStat     SpiderStat
	DataSource     DataSource
	DataCollection DataCollection
	Result         Result
	Password       Password
	ExtraValue     ExtraValue
	PluginStatus   PluginStatus
	Git            Git
}

type Node struct {
	Id               primitive.ObjectID `json:"_id" bson:"_id"`
	Key              string             `json:"key" bson:"key"`
	Name             string             `json:"name" bson:"name"`
	Ip               string             `json:"ip" bson:"ip"`
	Port             string             `json:"port" bson:"port"`
	Mac              string             `json:"mac" bson:"mac"`
	Hostname         string             `json:"hostname" bson:"hostname"`
	Description      string             `json:"description" bson:"description"`
	IsMaster         bool               `json:"is_master" bson:"is_master"`
	Status           string             `json:"status" bson:"status"`
	Enabled          bool               `json:"enabled" bson:"enabled"`
	Active           bool               `json:"active" bson:"active"`
	ActiveTs         time.Time          `json:"active_ts" bson:"active_ts"`
	AvailableRunners int                `json:"available_runners" bson:"available_runners"`
	MaxRunners       int                `json:"max_runners" bson:"max_runners"`
	Tags             []Tag              `json:"tags" bson:"-"`
}

type Password struct {
	Id       primitive.ObjectID `json:"_id" bson:"_id"`
	Password string             `json:"password" bson:"p"`
}

type Plugin struct {
	Id            primitive.ObjectID         `json:"_id" bson:"_id"`
	Name          string                     `json:"name" bson:"name"`
	FullName      string                     `json:"full_name" bson:"full_name"`
	Description   string                     `json:"description" bson:"description"`
	Proto         string                     `json:"proto" bson:"proto"`
	Active        bool                       `json:"active" bson:"active"`
	Endpoint      string                     `json:"endpoint" bson:"endpoint"`
	Cmd           string                     `json:"cmd" bson:"cmd"`
	EventKey      entity.PluginEventKey      `json:"event_key" bson:"event_key"`
	InstallType   string                     `json:"install_type" bson:"install_type"`
	InstallUrl    string                     `json:"install_url" bson:"install_url"`
	DeployMode    string                     `json:"deploy_mode" bson:"deploy_mode"`
	AutoStart     bool                       `json:"auto_start" bson:"auto_start"`
	UIComponents  []entity.PluginUIComponent `json:"ui_components" bson:"ui_components"`
	UISidebarNavs []entity.PluginUINav       `json:"ui_sidebar_navs" bson:"ui_sidebar_navs"`
	UIAssets      []entity.PluginUIAsset     `json:"ui_assets" bson:"ui_assets"`
	LangUrl       string                     `json:"lang_url" bson:"lang_url"`
	Status        []PluginStatus             `json:"status" bson:"-"`
}

type PluginStatus struct {
	Id       primitive.ObjectID `json:"_id" bson:"_id"`
	PluginId primitive.ObjectID `json:"plugin_id" bson:"plugin_id"`
	NodeId   primitive.ObjectID `json:"node_id" bson:"node_id"`
	Status   string             `json:"status" bson:"status"`
	Pid      int                `json:"pid" bson:"pid"`
	Error    string             `json:"error" bson:"error"`
	Node     *Node              `json:"node,omitempty" bson:"-"`
}

type Project struct {
	Id          primitive.ObjectID `json:"_id" bson:"_id"`
	Name        string             `json:"name" bson:"name"`
	Description string             `json:"description" bson:"description"`
	Tags        []Tag              `json:"tags" bson:"-"`
	Spiders     int                `json:"spiders" bson:"-"`
}

type Result bson.M

type Schedule struct {
	Id             primitive.ObjectID   `json:"_id" bson:"_id"`
	Name           string               `json:"name" bson:"name"`
	Description    string               `json:"description" bson:"description"`
	SpiderId       primitive.ObjectID   `json:"spider_id" bson:"spider_id"`
	Cron           string               `json:"cron" bson:"cron"`
	EntryId        cron.EntryID         `json:"entry_id" bson:"entry_id"`
	Cmd            string               `json:"cmd" bson:"cmd"`
	Param          string               `json:"param" bson:"param"`
	Mode           string               `json:"mode" bson:"mode"`
	NodeIds        []primitive.ObjectID `json:"node_ids" bson:"node_ids"`
	NodeTags       []string             `json:"node_tags" bson:"node_tags"`
	Priority       int                  `json:"priority" bson:"priority"`
	Enabled        bool                 `json:"enabled" bson:"enabled"`
	UserId         primitive.ObjectID   `json:"user_id" bson:"user_id"`
	ScrapySpider   string               `json:"scrapy_spider" bson:"scrapy_spider"`
	ScrapyLogLevel string               `json:"scrapy_log_level" bson:"scrapy_log_level"`
	Tags           []string             `json:"tags" bson:"-"`
}

type Setting struct {
	Id    primitive.ObjectID `json:"_id" bson:"_id"`
	Key   string             `json:"key" bson:"key"`
	Value bson.M             `json:"value" bson:"value"`
}

type Spider struct {
	Id          primitive.ObjectID   `json:"_id" bson:"_id"`                 // spider id
	Name        string               `json:"name" bson:"name"`               // spider name
	Type        string               `json:"type" bson:"type"`               // spider type
	ColId       primitive.ObjectID   `json:"col_id" bson:"col_id"`           // data collection id
	ColName     string               `json:"col_name,omitempty" bson:"-"`    // data collection name
	Description string               `json:"description" bson:"description"` // description
	ProjectId   primitive.ObjectID   `json:"project_id" bson:"project_id"`   // Project.Id
	Mode        string               `json:"mode" bson:"mode"`               // default Task.Mode
	NodeIds     []primitive.ObjectID `json:"node_ids" bson:"node_ids"`       // default Task.NodeIds
	NodeTags    []string             `json:"node_tags" bson:"node_tags"`     // default Task.NodeTags
	Tags        []Tag                `json:"tags" bson:"-"`                  // tags
	Stat        *SpiderStat          `json:"stat,omitempty" bson:"-"`
	GitId       primitive.ObjectID   `json:"git_id" bson:"git_id"`

	IsPublic bool  `json:"is_public" bson:"is_public"` // 是否公开
	Envs     []Env `json:"envs" bson:"envs"`           // 环境变量

	// 自定义爬虫
	Cmd      string `json:"cmd" bson:"cmd"`     // 执行命令
	Param    string `json:"param" bson:"param"` // default task param
	Priority int    `json:"priority" bson:"priority"`

	// Scrapy 爬虫（属于自定义爬虫）
	IsScrapy    bool     `json:"is_scrapy" bson:"is_scrapy"`       // 是否为 Scrapy 爬虫
	SpiderNames []string `json:"spider_names" bson:"spider_names"` // 爬虫名称列表

	// 可配置爬虫
	Template string `json:"template" bson:"template"` // Spiderfile模版

	// Git 设置
	IsGit            bool   `json:"is_git" bson:"is_git"`                         // 是否为 Git
	GitUrl           string `json:"git_url" bson:"git_url"`                       // Git URL
	GitBranch        string `json:"git_branch" bson:"git_branch"`                 // Git 分支
	GitHasCredential bool   `json:"git_has_credential" bson:"git_has_credential"` // Git 是否加密
	GitUsername      string `json:"git_username" bson:"git_username"`             // Git 用户名
	GitPassword      string `json:"git_password" bson:"git_password"`             // Git 密码
	GitAutoSync      bool   `json:"git_auto_sync" bson:"git_auto_sync"`           // Git 是否自动同步
	GitSyncFrequency string `json:"git_sync_frequency" bson:"git_sync_frequency"` // Git 同步频率
	GitSyncError     string `json:"git_sync_error" bson:"git_sync_error"`         // Git 同步错误

	// 长任务
	IsLongTask bool `json:"is_long_task" bson:"is_long_task"` // 是否为长任务

	// 去重
	IsDedup     bool   `json:"is_dedup" bson:"is_dedup"`         // 是否去重
	DedupField  string `json:"dedup_field" bson:"dedup_field"`   // 去重字段
	DedupMethod string `json:"dedup_method" bson:"dedup_method"` // 去重方式

	// Web Hook
	IsWebHook  bool   `json:"is_web_hook" bson:"is_web_hook"`   // 是否开启 Web Hook
	WebHookUrl string `json:"web_hook_url" bson:"web_hook_url"` // Web Hook URL
}

type SpiderStat struct {
	Id                     primitive.ObjectID `json:"_id" bson:"_id"`
	LastTaskId             primitive.ObjectID `json:"last_task_id" bson:"last_task_id,omitempty"`
	LastTask               *Task              `json:"last_task,omitempty" bson:"-"`
	Tasks                  int                `json:"tasks" bson:"tasks"`
	Results                int                `json:"results" bson:"results"`
	WaitDuration           int64              `json:"wait_duration" bson:"wait_duration,omitempty"`       // in second
	RuntimeDuration        int64              `json:"runtime_duration" bson:"runtime_duration,omitempty"` // in second
	TotalDuration          int64              `json:"total_duration" bson:"total_duration,omitempty"`     // in second
	AverageWaitDuration    int64              `json:"average_wait_duration" bson:"-"`                     // in second
	AverageRuntimeDuration int64              `json:"average_runtime_duration" bson:"-"`                  // in second
	AverageTotalDuration   int64              `json:"average_total_duration" bson:"-"`                    // in second
}

type Tag struct {
	Id          primitive.ObjectID `json:"_id" bson:"_id"`
	Name        string             `json:"name" bson:"name"`
	Color       string             `json:"color" bson:"color"`
	Description string             `json:"description" bson:"description"`
	Col         string             `json:"col" bson:"col"`
}

type Task struct {
	Id         primitive.ObjectID   `json:"_id" bson:"_id"`
	SpiderId   primitive.ObjectID   `json:"spider_id" bson:"spider_id"`
	Status     string               `json:"status" bson:"status"`
	NodeId     primitive.ObjectID   `json:"node_id" bson:"node_id"`
	Cmd        string               `json:"cmd" bson:"cmd"`
	Param      string               `json:"param" bson:"param"`
	Error      string               `json:"error" bson:"error"`
	Pid        int                  `json:"pid" bson:"pid"`
	ScheduleId primitive.ObjectID   `json:"schedule_id" bson:"schedule_id"` // Schedule.Id
	Type       string               `json:"type" bson:"type"`
	Mode       string               `json:"mode" bson:"mode"`           // running mode of Task
	NodeIds    []primitive.ObjectID `json:"node_ids" bson:"node_ids"`   // list of Node.Id
	NodeTags   []string             `json:"node_tags" bson:"node_tags"` // list of Node.Tag
	ParentId   primitive.ObjectID   `json:"parent_id" bson:"parent_id"` // parent Task.Id if it'Spider a sub-task
	Priority   int                  `json:"priority" bson:"priority"`
	Stat       *TaskStat            `json:"stat,omitempty" bson:"-"`
	HasSub     bool                 `json:"has_sub" json:"has_sub"` // whether to have sub-tasks
	SubTasks   []Task               `json:"sub_tasks,omitempty" bson:"-"`
	UserId     primitive.ObjectID   `json:"-" bson:"-"`
}

type TaskDailyItem struct {
	Date               string  `json:"date" bson:"_id"`
	TaskCount          int     `json:"task_count" bson:"task_count"`
	AvgRuntimeDuration float64 `json:"avg_runtime_duration" bson:"avg_runtime_duration"`
}

type TaskQueueItem struct {
	Id       primitive.ObjectID `json:"_id" bson:"_id"`
	Priority int                `json:"p" bson:"p"`
}

type TaskStat struct {
	Id              primitive.ObjectID `json:"_id" bson:"_id"`
	CreateTs        time.Time          `json:"create_ts" bson:"create_ts,omitempty"`
	StartTs         time.Time          `json:"start_ts" bson:"start_ts,omitempty"`
	EndTs           time.Time          `json:"end_ts" bson:"end_ts,omitempty"`
	WaitDuration    int64              `json:"wait_duration" bson:"wait_duration,omitempty"`       // in millisecond
	RuntimeDuration int64              `json:"runtime_duration" bson:"runtime_duration,omitempty"` // in millisecond
	TotalDuration   int64              `json:"total_duration" bson:"total_duration,omitempty"`     // in millisecond
	ResultCount     int64              `json:"result_count" bson:"result_count"`
	ErrorLogCount   int64              `json:"error_log_count" bson:"error_log_count"`
}

type Token struct {
	Id    primitive.ObjectID `json:"_id" bson:"_id"`
	Name  string             `json:"name" bson:"name"`
	Token string             `json:"token" bson:"token"`
}

type User struct {
	Id       primitive.ObjectID `json:"_id" bson:"_id"`
	Username string             `json:"username" bson:"username"`
	Password string             `json:"password,omitempty" bson:"-"`
	Role     string             `json:"role" bson:"role"`
	Email    string             `json:"email" bson:"email"`
	Name     string             `json:"name" bson:"name"`
}

type Variable struct {
	Id     primitive.ObjectID `json:"_id" bson:"_id"`
	Key    string             `json:"key" bson:"key"`
	Value  string             `json:"value" bson:"value"`
	Remark string             `json:"remark" bson:"remark"`
}