sitewalker

type DomainFilter interface {
	IsAllowed(domain string) bool
	Add(domain string)
}

type Link struct {
	Href     string   `json:"href"`
	URL      *url.URL `json:"-"`
	Text     string   `json:"text"`
	LinkType LinkType `json:"link_type"`
}

type LinkType int

type Page struct {
	// seo text 信息
	Title       string   `json:"title"`
	Description string   `json:"description"`
	Keywords    []string `json:"keywords"`
	// h1标签的内容
	H1 string `json:"h1"`

	// 页面的原始url
	RawURL string   `json:"raw_url"`
	URL    *url.URL `json:"url"`

	// 页面中的链接
	Links []*Link `json:"links"`
	// 页面中的外部链接
	ExternalLinks []*Link `json:"external_links"`
	// 网站网页数据
	Html []byte `json:"html"`
	// contains filtered or unexported fields
}

type SiteWalker struct {
	// contains filtered or unexported fields
}

type SiteWalkerOption func(sw *SiteWalker)

type WebSite struct {
	Protocol string  `json:"protocol"`
	Domain   string  `json:"domain"`
	HomePage *Page   `json:"home_page"`
	Pages    []*Page `json:"pages"`
}