本文共 3740 字，大约阅读时间需要 12 分钟。

如何使用Python模块下载文件？从简单到复杂，全面解析

在日常开发中，有时需要从网上下载文件。Python作为强大的脚本语言，拥有多种模块和库，能够轻松完成文件下载任务。本文将为你详细介绍几种常用的Python模块，包括requests、wget、urllib等，并分享一些高级技巧，帮助你高效完成文件下载任务。

一、使用requests模块下载文件

requests是Python中最强大的HTTP客户端库，广泛应用于发送HTTP请求和下载网页内容。它支持快速、简便的方式来下载文件。

使用requests模块下载文件的基本步骤如下：

代码示例：

import requestsurl = "http://example.com/file.txt"response = requests.get(url)with open("myfile", "wb") as f:    f.write(response.content)

二、使用wget模块下载文件

wget模块是Python自带的一个简单的文件下载工具。虽然功能有限，但对于简单需求非常实用。

安装wget模块：

pip install wget

使用wget模块下载文件的代码示例：

import wgeturl = "http://example.com/file.txt"wget.download(url, "file.txt")

三、下载重定向文件

在某些场景下，URL可能会重定向到不同的位置。requests模块能够处理这种情况。

代码示例：

import requestsurl = "http://example.com/redirect-file"response = requests.get(url, allow_redirects=True)with open("myfile.pdf", "wb") as f:    f.write(response.content)

四、分块下载大文件

当下载大文件时，分块下载能够提高效率。使用requests模块的stream功能实现分块下载。

代码示例：

import requestsurl = "http://example.com/large-file.pdf"response = requests.get(url, stream=True)with open("local-file.pdf", "wb") as f:    for chunk in response.iter_content(chunk_size=1024):        f.write(chunk)

五、下载多个文件（并行/批量下载）

使用多线程下载能够提高下载速度。借助 ThreadPoolExecutor 实现并行下载。

代码示例：

import requestsimport osfrom concurrent.futures import ThreadPoolExecutorurls = [    "http://example.com/file1.txt",    "http://example.com/file2.txt",    "http://example.com/file3.txt"]def download_file(url):    response = requests.get(url)    with open(os.path.basename(url), "wb") as f:        f.write(response.content)    return os.path.basename(url)executor = ThreadPoolExecutor()future_tasks = [executor.submit(download_file, url) for url in urls]results = [future_task.result() for future_task in future_tasks]

六、使用进度条进行下载

使用clint模块可以在下载过程中显示进度条，提升用户体验。

安装clint模块：

pip install clintr

代码示例：

import requestsfrom clintr.textui import progressurl = "http://example.com/large-file.pdf"response = requests.get(url, stream=True)with progress.bar("下载中...", min=0, max=100, step=100) as bar:    with open("local-file.pdf", "wb") as f:        for chunk in response.iter_content(chunk_size=1024):            f.write(chunk)            bar.update(chunk)

七、使用urllib下载网页

urllib是Python的标准库，适合简单的文件下载需求。

代码示例：

import urlliburl = "http://example.com/file.html"filename = "file.html"with open(filename, "wb") as f:    response = urllib.urlretrieve(url, filename)    f.write(response[2])

八、通过代理下载

在需要使用代理的情况下，urllib的ProxyHandler可以帮助你完成任务。

代码示例：

import urllibproxy = "http://proxy.example.com:8080"handler = urllib.proxy.ProxyHandler(proxies={b"http": proxy, b"https": proxy})opener = urllib.urlopen(proxy=handler.open)response = opener("http://example.com/file.html", "file.html")

九、使用urllib3模块

urllib3是urllib的改进版，功能更强大。

安装urllib3模块：

pip install urllib3

代码示例：

import urllib3url = "http://example.com/file.html"response = urllib3.PoolManager().get(url)with open("file.html", "wb") as f:    f.write(response.data)

十、使用Boto3模块下载S3文件

Boto3模块用于与Amazon S3下载文件。

安装Boto3模块：

pip install boto3

代码示例：

import boto3url = "http://example.com/file.html"s3_bucket = "your-bucket-name"filename = "file.html"client = boto3.client("s3")response = client.download_file(    Bucket=s3_bucket,    Key="file.html",    filename=filename)

十一、使用asyncio模块

asyncio模块适合处理异步下载任务。

代码示例：

import asyncioimport requestsasync def download_file(url):    response = requests.get(url)    return response.contentasync def main():    urls = [        "http://example.com/file1.txt",        "http://example.com/file2.txt"    ]        tasks = [download_file(url) for url in urls]    results = await asyncio.gather(*tasks)        for content in results:        with open(os.path.basename(url), "wb") as f:            f.write(content)asyncio.run(main())

希望以上内容对你有所帮助！

转载地址：http://vyofk.baihongyu.com/