spider

type Context struct {
	Req  *Request
	Body []byte
}

type DataCell struct {
	Data map[string]interface{}
	Task *Task
}

type Fetcher interface {
	Get(url *Request) ([]byte, error)
}

type LimitConfig struct {
	EventCount int // 数量
	EventDur   int // 秒
	Bucket     int // 桶大小
}

type Option func(opts *Options)

type Options struct {
	Name     string `json:"name"` // 任务名称，应保证唯一性
	URL      string `json:"url"`
	Cookie   string `json:"cookie"`
	WaitTime int64  `json:"wait_time"` // 随机休眠时间，秒
	Reload   bool   `json:"reload"`    // 网站是否可以重复爬取
	MaxDepth int64  `json:"max_depth"`
	Fetcher  Fetcher
	Storage  Storage
	Limiter  limiter.RateLimiter
	// contains filtered or unexported fields
}

type ParseResult struct {
	Requests []*Request
	Items    []interface{}
}

type Property struct {
	Name     string `json:"name"` // 任务名称，是全局唯一的
	Url      string `json:"url"`
	Cookie   string `json:"cookie"`
	WaitTime int64  `json:"wait_time"` // 随机休眠时间，单位是秒
	MaxDepth int64  `json:"max_depth"` // 爬取的最大深度
	Reload   bool   `json:"reload"`    // 网站是否可以重复爬取
}

type Request struct {
	Method   string
	Task     *Task
	URL      string
	Depth    int64
	Priority int64
	RuleName string
	TmpData  *Temp
}

type Rule struct {
	ItemFields []string
	ParseFunc  func(*Context) (ParseResult, error) // 内容解析函数
}

type RuleModule struct {
	Name      string `json:"name"`
	ParseFunc string `json:"parse_script"`
}

type RuleTree struct {
	Root  func() ([]*Request, error) // 根节点(执行入口)
	Trunk map[string]*Rule           // 规则哈希表
}

type Storage interface {
	Save(ds ...*DataCell) error
}

type Task struct {
	Visited     map[string]bool //是否爬过该网站
	VisitedLock sync.Mutex
	Rule        RuleTree
	Closed      bool // 用于标识任务已经删除

	Options
}

type TaskConfig struct {
	Name     string
	Cookie   string
	WaitTime int64
	Reload   bool
	MaxDepth int64
	Fetcher  string
	Limits   []LimitConfig
}

type TaskModule struct {
	Property
	Root  string       `json:"root_script"`
	Rules []RuleModule `json:"rule"`
}

type Temp struct {
	// contains filtered or unexported fields
}