models

type Artifact struct {
	Id     primitive.ObjectID   `bson:"_id" json:"_id"`
	Col    string               `bson:"_col" json:"_col"`
	Del    bool                 `bson:"_del" json:"_del"`
	TagIds []primitive.ObjectID `bson:"_tid" json:"_tid"`
	Sys    *ArtifactSys         `bson:"_sys" json:"_sys"`
	Obj    interface{}          `bson:"_obj" json:"_obj"`
}

type ArtifactList []Artifact

type ArtifactSys struct {
	CreateTs  time.Time          `json:"create_ts" bson:"create_ts"`
	CreateUid primitive.ObjectID `json:"create_uid" bson:"create_uid"`
	UpdateTs  time.Time          `json:"update_ts" bson:"update_ts"`
	UpdateUid primitive.ObjectID `json:"update_uid" bson:"update_uid"`
	DeleteTs  time.Time          `json:"delete_ts" bson:"delete_ts"`
	DeleteUid primitive.ObjectID `json:"delete_uid" bson:"delete_uid"`
}

type BaseModel struct {
	Id primitive.ObjectID `json:"_id" bson:"_id"`
}

type DataCollection struct {
	Id     primitive.ObjectID `json:"_id" bson:"_id"`
	Name   string             `json:"name" bson:"name"`
	Fields []entity.DataField `json:"fields" bson:"fields"`
	Dedup  struct {
		Enabled bool     `json:"enabled" bson:"enabled"`
		Keys    []string `json:"keys" bson:"keys"`
		Type    string   `json:"type" bson:"type"`
	} `json:"dedup" bson:"dedup"`
}

type DataCollectionList []DataCollection

type DataSource struct {
	Id          primitive.ObjectID `json:"_id" bson:"_id"`
	Name        string             `json:"name" bson:"name"`
	Type        string             `json:"type" bson:"type"`
	Description string             `json:"description" bson:"description"`
	Host        string             `json:"host" bson:"host"`
	Port        string             `json:"port" bson:"port"`
	Url         string             `json:"url" bson:"url"`
	Hosts       []string           `json:"hosts" bson:"hosts"`
	Database    string             `json:"database" bson:"database"`
	Username    string             `json:"username" bson:"username"`
	Password    string             `json:"password,omitempty" bson:"-"`
	ConnectType string             `json:"connect_type" bson:"connect_type"`
	Status      string             `json:"status" bson:"status"`
	Error       string             `json:"error" bson:"error"`
	Extra       map[string]string  `json:"extra,omitempty" bson:"extra,omitempty"`
}

type DataSourceList []DataSource

type Env struct {
	Name  string `json:"name" bson:"name"`
	Value string `json:"value" bson:"value"`
}

type Environment struct {
	Id    primitive.ObjectID `json:"_id" bson:"_id"`
	Key   string             `json:"key" bson:"key"`
	Value string             `json:"value" bson:"value"`
}

type EnvironmentList []Environment

type ExtraValue struct {
	Id       primitive.ObjectID `json:"_id" bson:"_id"`
	ObjectId primitive.ObjectID `json:"oid" bson:"oid"`
	Model    string             `json:"model" bson:"m"`
	Type     string             `json:"type" bson:"t"`
	Value    interface{}        `json:"value" bson:"v"`
}

type ExtraValueList []ExtraValue

type Git struct {
	Id            primitive.ObjectID `json:"_id" bson:"_id"`
	Url           string             `json:"url" bson:"url"`
	AuthType      string             `json:"auth_type" bson:"auth_type"`
	Username      string             `json:"username" bson:"username"`
	Password      string             `json:"password" bson:"password"`
	CurrentBranch string             `json:"current_branch" bson:"current_branch"`
	AutoPull      bool               `json:"auto_pull" bson:"auto_pull"`
}

type GitList []Git

type Job struct {
	Id     primitive.ObjectID `bson:"_id" json:"_id"`
	TaskId primitive.ObjectID `bson:"task_id" json:"task_id"`
}

type JobList []Job

type ModelListMap struct {
	Artifacts          ArtifactList
	Tags               TagList
	Nodes              NodeList
	Projects           ProjectList
	Spiders            SpiderList
	Tasks              TaskList
	Jobs               JobList
	Schedules          ScheduleList
	Users              UserList
	Settings           SettingList
	Tokens             TokenList
	Variables          VariableList
	TaskQueueItems     TaskQueueItemList
	TaskStats          TaskStatList
	Plugins            PluginList
	SpiderStats        SpiderStatList
	DataSources        DataSourceList
	DataCollections    DataCollectionList
	Results            ResultList
	Passwords          PasswordList
	ExtraValues        ExtraValueList
	PluginStatus       PluginStatusList
	Gits               GitList
	Roles              RoleList
	UserRoles          UserRoleList
	PermissionList     PermissionList
	RolePermissionList RolePermissionList
	Environments       EnvironmentList
}

type ModelMap struct {
	Artifact       Artifact
	Tag            Tag
	Node           Node
	Project        Project
	Spider         Spider
	Task           Task
	Job            Job
	Schedule       Schedule
	User           User
	Setting        Setting
	Token          Token
	Variable       Variable
	TaskQueueItem  TaskQueueItem
	TaskStat       TaskStat
	Plugin         Plugin
	SpiderStat     SpiderStat
	DataSource     DataSource
	DataCollection DataCollection
	Result         Result
	Password       Password
	ExtraValue     ExtraValue
	PluginStatus   PluginStatus
	Git            Git
	Role           Role
	UserRole       UserRole
	Permission     Permission
	RolePermission RolePermission
	Environment    Environment
}

type Node struct {
	Id               primitive.ObjectID `json:"_id" bson:"_id"`
	Key              string             `json:"key" bson:"key"`
	Name             string             `json:"name" bson:"name"`
	Ip               string             `json:"ip" bson:"ip"`
	Port             string             `json:"port" bson:"port"`
	Mac              string             `json:"mac" bson:"mac"`
	Hostname         string             `json:"hostname" bson:"hostname"`
	Description      string             `json:"description" bson:"description"`
	IsMaster         bool               `json:"is_master" bson:"is_master"`
	Status           string             `json:"status" bson:"status"`
	Enabled          bool               `json:"enabled" bson:"enabled"`
	Active           bool               `json:"active" bson:"active"`
	ActiveTs         time.Time          `json:"active_ts" bson:"active_ts"`
	AvailableRunners int                `json:"available_runners" bson:"available_runners"`
	MaxRunners       int                `json:"max_runners" bson:"max_runners"`
}

type NodeList []Node

type Password struct {
	Id       primitive.ObjectID `json:"_id" bson:"_id"`
	Password string             `json:"password" bson:"p"`
}

type PasswordList []Password

type Permission struct {
	Id          primitive.ObjectID `json:"_id" bson:"_id"`
	Key         string             `json:"key" bson:"key"`
	Name        string             `json:"name" bson:"name"`
	Description string             `json:"description" bson:"description"`
	Type        string             `json:"type" bson:"type"`
	Target      []string           `json:"target" bson:"target"`
	Allow       []string           `json:"allow" bson:"allow"`
	Deny        []string           `json:"deny" bson:"deny"`
}

type PermissionList []Permission

type Plugin struct {
	Id            primitive.ObjectID         `json:"_id" bson:"_id"`
	Name          string                     `json:"name" bson:"name"`
	ShortName     string                     `json:"short_name" bson:"short_name"`
	FullName      string                     `json:"full_name" bson:"full_name"`
	Description   string                     `json:"description" bson:"description"`
	Proto         string                     `json:"proto" bson:"proto"`
	Active        bool                       `json:"active" bson:"active"`
	Endpoint      string                     `json:"endpoint" bson:"endpoint"`
	Cmd           string                     `json:"cmd" bson:"cmd"`
	DockerCmd     string                     `json:"docker_cmd" bson:"docker_cmd"`
	DockerDir     string                     `json:"docker_dir" bson:"docker_dir"`
	EventKey      entity.PluginEventKey      `json:"event_key" bson:"event_key"`
	InstallType   string                     `json:"install_type" bson:"install_type"`
	InstallUrl    string                     `json:"install_url" bson:"install_url"`
	InstallCmd    string                     `json:"install_cmd" bson:"install_cmd"`
	DeployMode    string                     `json:"deploy_mode" bson:"deploy_mode"`
	AutoStart     bool                       `json:"auto_start" bson:"auto_start"`
	UIComponents  []entity.PluginUIComponent `json:"ui_components" bson:"ui_components"`
	UISidebarNavs []entity.PluginUINav       `json:"ui_sidebar_navs" bson:"ui_sidebar_navs"`
	UIAssets      []entity.PluginUIAsset     `json:"ui_assets" bson:"ui_assets"`
	LangUrl       string                     `json:"lang_url" bson:"lang_url"`
	Status        []PluginStatus             `json:"status" bson:"-"`
}

type PluginList []Plugin

type PluginStatus struct {
	Id       primitive.ObjectID `json:"_id" bson:"_id"`
	PluginId primitive.ObjectID `json:"plugin_id" bson:"plugin_id"`
	NodeId   primitive.ObjectID `json:"node_id" bson:"node_id"`
	Status   string             `json:"status" bson:"status"`
	Pid      int                `json:"pid" bson:"pid"`
	Error    string             `json:"error" bson:"error"`
	Node     *Node              `json:"node,omitempty" bson:"-"`
}

type PluginStatusList []PluginStatus

type Project struct {
	Id          primitive.ObjectID `json:"_id" bson:"_id"`
	Name        string             `json:"name" bson:"name"`
	Description string             `json:"description" bson:"description"`
	Spiders     int                `json:"spiders" bson:"-"`
}

type ProjectList []Project

type Result bson.M

type ResultList []Result

type Role struct {
	Id          primitive.ObjectID `json:"_id" bson:"_id"`
	Key         string             `json:"key" bson:"key"`
	Name        string             `json:"name" bson:"name"`
	Description string             `json:"description" bson:"description"`
}

type RoleList []Role

type RolePermission struct {
	Id           primitive.ObjectID `json:"_id" bson:"_id"`
	RoleId       primitive.ObjectID `json:"role_id" bson:"role_id"`
	PermissionId primitive.ObjectID `json:"permission_id" bson:"permission_id"`
}

type RolePermissionList []RolePermission

type Schedule struct {
	Id          primitive.ObjectID   `json:"_id" bson:"_id"`
	Name        string               `json:"name" bson:"name"`
	Description string               `json:"description" bson:"description"`
	SpiderId    primitive.ObjectID   `json:"spider_id" bson:"spider_id"`
	Cron        string               `json:"cron" bson:"cron"`
	EntryId     cron.EntryID         `json:"entry_id" bson:"entry_id"`
	Cmd         string               `json:"cmd" bson:"cmd"`
	Param       string               `json:"param" bson:"param"`
	Mode        string               `json:"mode" bson:"mode"`
	NodeIds     []primitive.ObjectID `json:"node_ids" bson:"node_ids"`
	Priority    int                  `json:"priority" bson:"priority"`
	Enabled     bool                 `json:"enabled" bson:"enabled"`
	UserId      primitive.ObjectID   `json:"user_id" bson:"user_id"`
}

type ScheduleList []Schedule

type Setting struct {
	Id    primitive.ObjectID `json:"_id" bson:"_id"`
	Key   string             `json:"key" bson:"key"`
	Value bson.M             `json:"value" bson:"value"`
}

type SettingList []Setting

type Spider struct {
	Id           primitive.ObjectID   `json:"_id" bson:"_id"`                       // spider id
	Name         string               `json:"name" bson:"name"`                     // spider name
	Type         string               `json:"type" bson:"type"`                     // spider type
	ColId        primitive.ObjectID   `json:"col_id" bson:"col_id"`                 // data collection id
	ColName      string               `json:"col_name,omitempty" bson:"-"`          // data collection name
	DataSourceId primitive.ObjectID   `json:"data_source_id" bson:"data_source_id"` // data source id
	DataSource   *DataSource          `json:"data_source,omitempty" bson:"-"`       // data source
	Description  string               `json:"description" bson:"description"`       // description
	ProjectId    primitive.ObjectID   `json:"project_id" bson:"project_id"`         // Project.Id
	Mode         string               `json:"mode" bson:"mode"`                     // default Task.Mode
	NodeIds      []primitive.ObjectID `json:"node_ids" bson:"node_ids"`             // default Task.NodeIds
	Stat         *SpiderStat          `json:"stat,omitempty" bson:"-"`

	// execution
	Cmd      string `json:"cmd" bson:"cmd"`     // execute command
	Param    string `json:"param" bson:"param"` // default task param
	Priority int    `json:"priority" bson:"priority"`
}

type SpiderList []Spider

type SpiderStat struct {
	Id                     primitive.ObjectID `json:"_id" bson:"_id"`
	LastTaskId             primitive.ObjectID `json:"last_task_id" bson:"last_task_id,omitempty"`
	LastTask               *Task              `json:"last_task,omitempty" bson:"-"`
	Tasks                  int                `json:"tasks" bson:"tasks"`
	Results                int                `json:"results" bson:"results"`
	WaitDuration           int64              `json:"wait_duration" bson:"wait_duration,omitempty"`       // in second
	RuntimeDuration        int64              `json:"runtime_duration" bson:"runtime_duration,omitempty"` // in second
	TotalDuration          int64              `json:"total_duration" bson:"total_duration,omitempty"`     // in second
	AverageWaitDuration    int64              `json:"average_wait_duration" bson:"-"`                     // in second
	AverageRuntimeDuration int64              `json:"average_runtime_duration" bson:"-"`                  // in second
	AverageTotalDuration   int64              `json:"average_total_duration" bson:"-"`                    // in second
}

type SpiderStatList []SpiderStat

type Tag struct {
	Id          primitive.ObjectID `json:"_id" bson:"_id"`
	Name        string             `json:"name" bson:"name"`
	Color       string             `json:"color" bson:"color"`
	Description string             `json:"description" bson:"description"`
	Col         string             `json:"col" bson:"col"`
}

type TagList []Tag

type Task struct {
	Id         primitive.ObjectID   `json:"_id" bson:"_id"`
	SpiderId   primitive.ObjectID   `json:"spider_id" bson:"spider_id"`
	Status     string               `json:"status" bson:"status"`
	NodeId     primitive.ObjectID   `json:"node_id" bson:"node_id"`
	Cmd        string               `json:"cmd" bson:"cmd"`
	Param      string               `json:"param" bson:"param"`
	Error      string               `json:"error" bson:"error"`
	Pid        int                  `json:"pid" bson:"pid"`
	ScheduleId primitive.ObjectID   `json:"schedule_id" bson:"schedule_id"` // Schedule.Id
	Type       string               `json:"type" bson:"type"`
	Mode       string               `json:"mode" bson:"mode"`           // running mode of Task
	NodeIds    []primitive.ObjectID `json:"node_ids" bson:"node_ids"`   // list of Node.Id
	ParentId   primitive.ObjectID   `json:"parent_id" bson:"parent_id"` // parent Task.Id if it'Spider a sub-task
	Priority   int                  `json:"priority" bson:"priority"`
	Stat       *TaskStat            `json:"stat,omitempty" bson:"-"`
	HasSub     bool                 `json:"has_sub" json:"has_sub"` // whether to have sub-tasks
	SubTasks   []Task               `json:"sub_tasks,omitempty" bson:"-"`
	Spider     *Spider              `json:"spider,omitempty" bson:"-"`
	UserId     primitive.ObjectID   `json:"-" bson:"-"`
}

type TaskDailyItem struct {
	Date               string  `json:"date" bson:"_id"`
	TaskCount          int     `json:"task_count" bson:"task_count"`
	AvgRuntimeDuration float64 `json:"avg_runtime_duration" bson:"avg_runtime_duration"`
}

type TaskList []Task

type TaskQueueItem struct {
	Id       primitive.ObjectID `json:"_id" bson:"_id"`
	Priority int                `json:"p" bson:"p"`
	NodeId   primitive.ObjectID `json:"nid,omitempty" bson:"nid,omitempty"`
}

type TaskQueueItemList []TaskQueueItem

type TaskStat struct {
	Id              primitive.ObjectID `json:"_id" bson:"_id"`
	CreateTs        time.Time          `json:"create_ts" bson:"create_ts,omitempty"`
	StartTs         time.Time          `json:"start_ts" bson:"start_ts,omitempty"`
	EndTs           time.Time          `json:"end_ts" bson:"end_ts,omitempty"`
	WaitDuration    int64              `json:"wait_duration" bson:"wait_duration,omitempty"`       // in millisecond
	RuntimeDuration int64              `json:"runtime_duration" bson:"runtime_duration,omitempty"` // in millisecond
	TotalDuration   int64              `json:"total_duration" bson:"total_duration,omitempty"`     // in millisecond
	ResultCount     int64              `json:"result_count" bson:"result_count"`
	ErrorLogCount   int64              `json:"error_log_count" bson:"error_log_count"`
}

type TaskStatList []TaskStat

type Token struct {
	Id    primitive.ObjectID `json:"_id" bson:"_id"`
	Name  string             `json:"name" bson:"name"`
	Token string             `json:"token" bson:"token"`
}

type TokenList []Token

type User struct {
	Id       primitive.ObjectID `json:"_id" bson:"_id"`
	Username string             `json:"username" bson:"username"`
	Password string             `json:"password,omitempty" bson:"-"`
	Role     string             `json:"role" bson:"role"`
	Email    string             `json:"email" bson:"email"`
}

type UserList []User

type UserRole struct {
	Id     primitive.ObjectID `json:"_id" bson:"_id"`
	RoleId primitive.ObjectID `json:"role_id" bson:"role_id"`
	UserId primitive.ObjectID `json:"user_id" bson:"user_id"`
}

type UserRoleList []UserRole

type Variable struct {
	Id     primitive.ObjectID `json:"_id" bson:"_id"`
	Key    string             `json:"key" bson:"key"`
	Value  string             `json:"value" bson:"value"`
	Remark string             `json:"remark" bson:"remark"`
}

type VariableList []Variable