如何使用Requests库批量获取网站标题

在网络开发过程中,经常需要批量获取网站的标题信息。使用Python的Requests库可以方便地实现这一功能。以下是一个示例代码:

import requests
from bs4 import BeautifulSoup

# 待抓取的网站列表
urls = ['https://www.example.com', 'https://www.google.com', 'https://www.github.com']

# 遍历网站列表,获取标题
for url in urls:
    try:
        response = requests.get(url)
        soup = BeautifulSoup(response.text, 'html.parser')
        title = soup.title.string
        print(f'{url}: {title}')
    except:
        print(f'{url}: 无法获取标题信息')

在这个示例中,我们首先定义一个待抓取的网站列表,使用Requests库的get()方法逐个访问这些网站,并使用BeautifulSoup库解析网页内容,获取title标签的文本内容,即网站的标题信息。

在访问网站时出现异常,我们会捕获该异常并打印出无法获取标题信息的提示。

通过这种方式,我们可以轻松地批量获取多个网站的标题信息,并将结果输出到控制台。这种方法适用于需要定期或批量获取网站标题信息的场景,例如网站监控、SEO分析等。