Qust

7天从0实现的爬虫框架

下面是标准库进行简单的JSON爬取，不管是解析JSON，还是获取数据，都异常麻烦，需要写大量的错误判断，和解析代码，面对复杂的JSON更是头疼，需要一直反射还可能会遇到错误，这个框架就是为了简化这些操作，让代码简洁并且容错高，错误处理方便。

写法会偏向Python的requests库，毕竟学的第一语言就是Python，而且还是直接从requests爬虫入门的

func main() {
	url := "http://t.weather.sojson.com/api/weather/city/101210101"
	html, err := http.Get(url)
	if err != nil {
		fmt.Println(err)
	}
	defer html.Body.Close()
	jsonData, _ := io.ReadAll(html.Body)
	var v interface{}
	_ = json.Unmarshal(jsonData, &v)
	data := v.(map[string]interface{})
	fmt.Println(data["cityInfo"].(map[string]interface{})["city"], data["data"].(map[string]interface{})["forecast"])
}

Qust 框架

为了方便了解go的标准库，又不枯燥，所以打算慢慢的写一个项目入手，然后去看go的源码。算是一边学习，一边总结经验和写教程，主要受了极客兔兔大佬七天系列影响，看了Gee感觉很有意思，但模仿着写Gee又没提升，所以自己探索！

也会去参考大佬们的源码，尽量全部使用标准库

这个库的计划 >

• 格式支持
  • Json
  • Html
  • File
  • Xml
  • Csv
• 便捷性
  • 可以指定基础路径，减少后续的url长度
  • 可以进行分组，不同分组基础路径可以不同
  • 高并发
  • 模拟表单Form提交
• 反爬
  • 代理池
  • 方便的添加headers
  • 随机生成ua
  • 可等待js渲染完在爬取html
  • ck缓存
  • 支持robots.txt

目录

• 第一天：处理简单json
• 第二天：完善其他方法和Header,Query添加
• 第三天：设置数据Body和cookie
• 第四天：完善Html方法
• 第五天：完善File方法
• 第六天：支持Http和Socks代理
• 第七天：完善代理池