作业的要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2851
1. 简单说明爬虫原理
通过程序模拟浏览器请求站点的行为，把站点返回的HTML代码/JSON数据/二进制数据（图片、视频） 爬到本地，进而提取自己需要的数据，存放起来使用。
2. 理解爬虫开发过程
1).简要说明浏览器工作原理；
用户从键盘或触屏输入URL并回车确认
↓
URL解析/DNS解析查找域名IP地址
↓
网络连接发起HTTP请求
↓
HTTP报文传输过程
↓
服务器接收数据
↓
服务器响应请求/MVC
↓
服务器返回数据
↓
客户端接收数据
↓
浏览器加载/渲染页面
↓
打印绘制输出
2).使用 requests 库抓取网站数据；
requests.get(url) 获取校园新闻首页html代码
url='http://news.gzcc.cn/html/tongzhigonggao/'res=requests.get(url)
3).了解网页
写一个简单的html文件，包含多个标签，类，id
4).使用 Beautiful Soup 解析网页；
通过BeautifulSoup(html_sample,'html.parser')把上述html文件解析成DOM Tree
select（选择器）定位数据
找出含有特定标签的html元素
找出含有特定类名的html元素
找出含有特定id名的html元素
# -*- coding: utf-8 -*-"""Created on Mon Mar 25 08:48:25 2019@author: Administrator"""import requests'print(requests)'import bs4from bs4 import BeautifulSoup'print(bs4)'url="https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2"'''url='http://news.gzcc.cn/html/tongzhigonggao/''''res=requests.get(url)res.encoding='utf-8''''print(res)print(res.status_code)print(res.encoding)print(res.text)'''soup=BeautifulSoup(res.text,'html.parser')soup.select('li')'''for news in soup.select('li'): if len(news.select('.news-list-title'))>0: t=news.select('.news-list-title')[0].text a=news.select('a')[0]['href'] d=news.select('.news-list-info')[0].text print(t,a,d)'''for news in soup.select('li'): if len(news.select('.am-list-item-hd'))>0: t=news.select('.am-list-item-hd')[0].text a=news.select('a')[0]['href'] print(t,a)
3.提取一篇校园新闻的标题、发布时间、发布单位
url = ''
# -*- coding: utf-8 -*-"""Created on Mon Mar 25 08:48:25 2019@author: Administrator"""import requestsimport bs4from bs4 import BeautifulSoupurl="http://news.gzcc.cn/html/2019/xiaoyuanxinwen_0320/11029.html"res=requests.get(url)res.encoding='utf-8'soup=BeautifulSoup(res.text,'html.parser')soup.select('div')for news in soup.select('div'): if len(news.select('.show-title'))>0: t=news.select('.show-title')[0].text b=news.select('.show-info')[0].text print(t,b) break 