加入收藏 | 设为首页 | 会员中心 | 我要投稿鄂州站长网（https://www.0711zz.com/）- 数据分析、网络、云渲染、应用安全、大数据!

当前位置：首页 > 编程开发 > Python > 正文

python爬虫入门---第一篇：获取某一网站所有超链接

发布时间：2020-08-02 21:14:32 所属栏目：Python 来源：互联网

导读：需要先安装requests库和bs4库import requestsfrom bs4 import BeautifulSoupdef getHTMLText(url):try:#获取服务器的响应内容，并设置最大请求时间为6秒res = requests.get(url, timeout = 6)#判断返回状态码是否为200res.raise_for_status()#设置真正的编码r

需要先安装requests库和bs4库

bs4 <span style="color: #0000ff">def<span style="color: #000000"> getHTMLText(url):
<span style="color: #0000ff">try<span style="color: #000000">:
<span style="color: #008000">#<span style="color: #008000">获取服务器的响应内容，并设置最大请求时间为6秒
res = requests.get(url,timeout = 6<span style="color: #000000">)
<span style="color: #008000">#<span style="color: #008000">判断返回状态码是否为200
<span style="color: #000000"> res.raise_for_status()
<span style="color: #008000">#<span style="color: #008000">设置真正的编码
res.encoding =<span style="color: #000000"> res.apparent_encoding
<span style="color: #008000">#<span style="color: #008000">返回网页HTML代码
<span style="color: #0000ff">return<span style="color: #000000"> res.text
<span style="color: #0000ff">except<span style="color: #000000">:
<span style="color: #0000ff">return <span style="color: #800000">'<span style="color: #800000">产生异常<span style="color: #800000">'

<span style="color: #008000">#<span style="color: #008000">目标网页
url = <span style="color: #800000">'<span style="color: #800000">https://www.cnblogs.com/huwt/<span style="color: #800000">'<span style="color: #000000">

demo =<span style="color: #000000"> getHTMLText(url)

<span style="color: #008000">#<span style="color: #008000">解析HTML代码
soup = BeautifulSoup(demo,<span style="color: #800000">'<span style="color: #800000">html.parser<span style="color: #800000">'<span style="color: #000000">)

<span style="color: #008000">#<span style="color: #008000">模糊搜索HTML代码的所有标签
a_labels = soup.find_all(<span style="color: #800000">'<span style="color: #800000">a<span style="color: #800000">'<span style="color: #000000">)

<span style="color: #008000">#<span style="color: #008000">获取所有标签中的href对应的值，即超链接
<span style="color: #0000ff">for a <span style="color: #0000ff">in<span style="color: #000000"> a_labels:
<span style="color: #0000ff">print(a.get(<span style="color: #800000">'<span style="color: #800000">href<span style="color: #800000">'))

（编辑：鄂州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!

相关内容

推荐文章

站长推荐

热点阅读