Pular para o conteúdo
CodeMDD.io | Coding Tutorials

Como Baixar Arquivos em Python a partir de uma URL

[

Como Baixar Arquivos de URLs com Python

por Claudia Ng Jul 31, 2023

Quando se trata de baixar arquivos, Python oferece um conjunto robusto de ferramentas e pacotes que são úteis em várias aplicações, desde web scraping até automação de scripts e análise de dados obtidos. Fazer download de arquivos de uma URL de forma programática é uma habilidade útil de se aprender para vários projetos de programação e fluxos de trabalho de dados.

Neste tutorial, você aprenderá como:

  • Baixar arquivos da Web usando a biblioteca padrão do Python e bibliotecas de terceiros.
  • Fazer streaming de dados para baixar arquivos grandes em partes gerenciáveis.
  • Implementar downloads paralelos usando um pool de threads.
  • Realizar downloads assíncronos para buscar vários arquivos em massa.

Neste tutorial, você estará baixando uma variedade de dados econômicos da plataforma World Bank Open Data. Para começar neste projeto de exemplo, pegue o código de amostra abaixo:

Facilitando o Download de Arquivos com Python

Embora seja possível baixar arquivos de URLs usando ferramentas de linha de comando tradicionais, o Python fornece várias bibliotecas que facilitam o download de arquivos. Usar o Python para baixar arquivos oferece várias vantagens.

Uma vantagem é a flexibilidade, já que o Python possui um ecossistema rico de bibliotecas, incluindo aquelas que oferecem maneiras eficientes de lidar com diferentes formatos de arquivos, protocolos e métodos de autenticação. Você pode escolher as ferramentas Python mais adequadas para executar a tarefa em questão e atender aos seus requisitos específicos, seja para baixar de um arquivo de texto simples no formato CSV ou de um arquivo binário complexo.

Outra razão é a portabilidade. Você pode encontrar situações em que esteja trabalhando em aplicativos multiplataforma. Nesses casos, usar o Python é uma boa escolha, pois é uma linguagem de programação multiplataforma. Isso significa que o código Python pode rodar consistentemente em diferentes sistemas operacionais, como Windows, Linux e macOS.

Usar o Python também oferece a possibilidade de automatizar seus processos, economizando tempo e esforço. Alguns exemplos incluem automatizar tentativas adicionais se um download falhar, recuperar e salvar vários arquivos de URLs, processar e armazenar seus dados em locais designados.

Essas são apenas algumas razões pelas quais fazer o download de arquivos usando o Python é melhor do que usar ferramentas de linha de comando tradicionais. Dependendo dos requisitos do seu projeto, você pode escolher a abordagem e biblioteca que melhor se adequem às suas necessidades. Neste tutorial, você aprenderá abordagens para alguns cenários comuns que exigem o download de arquivos.

Fazendo o Download de um Arquivo de uma URL em Python

Nesta seção, você aprenderá o básico de como baixar um arquivo ZIP contendo dados do produto interno bruto (PIB) da plataforma World Bank Open Data.

Usando urllib da biblioteca padrão do Python

A biblioteca padrão do Python fornece o módulo urllib, que permite fazer o download de arquivos de uma URL. O seguinte exemplo demonstra como usar o urllib para baixar um arquivo:

import urllib.request


url = 'https://www.example.com/data.zip'
destination = 'data.zip'


urllib.request.urlretrieve(url, destination)

Neste exemplo, url é a URL do arquivo a ser baixado, e destination é o nome que você deseja dar ao arquivo ao salvá-lo em seu sistema. A função urlretrieve do urllib.request baixa o arquivo e o salva no caminho especificado.

Usando a biblioteca de terceiros requests

Outra opção é usar a biblioteca de terceiros requests, que oferece uma interface mais amigável para fazer solicitações HTTP. O requests é amplamente utilizado devido à sua facilidade de uso e recursos adicionais. O seguinte exemplo mostra como usar o requests para baixar um arquivo:

import requests


url = 'https://www.example.com/data.zip'
destination = 'data.zip'


response = requests.get(url)
response.raise_for_status()


with open(destination, 'wb') as file:
    file.write(response.content)

Neste exemplo, url é a URL do arquivo a ser baixado, e destination é o nome que você deseja dar ao arquivo ao salvá-lo em seu sistema. A função get do requests faz a solicitação HTTP para obter o conteúdo do arquivo, e a função raise_for_status verifica se há erros na solicitação. Em seguida, o conteúdo do arquivo é salvo no caminho especificado usando a função open do Python.

Esses são apenas alguns exemplos básicos de como fazer o download de um arquivo de uma URL em Python. Existem outras opções e recursos disponíveis nas bibliotecas urllib e requests que podem ser explorados para atender às suas necessidades específicas.

Salvando Conteúdo Baixado em um Arquivo

Após fazer o download do conteúdo de uma URL, você pode salvá-lo em um arquivo no seu sistema. O exemplo anterior usando o módulo urllib e a biblioteca requests já demonstra como salvar o conteúdo baixado em um arquivo especificado.

Ao salvar o conteúdo baixado em um arquivo, você deve ter cuidado com o tipo de arquivo e seu modo de abertura no Python. Por exemplo, ao salvar arquivos de texto simples, como um arquivo CSV, é possível abrir o arquivo no modo de escrita de texto. No entanto, ao salvar arquivos binários, como um arquivo ZIP, você deve especificar o modo de escrita de bytes.

Ao usar a função open para criar ou abrir um arquivo, você pode especificar o modo de abertura usando os seguintes caracteres:

  • 'r': modo de leitura de texto (padrão)
  • 'w': modo de escrita de texto
  • 'x': modo de criação exclusiva de texto
  • 'a': modo de anexar texto
  • 'b': modo de leitura/escrita de bytes
  • 't': modo de leitura/escrita de texto (padrão)

Por exemplo, para abrir um arquivo no modo de escrita de bytes, você pode usar 'wb' como argumento de modo:

with open('data.zip', 'wb') as file:
    file.write(response.content)

Certifique-se de usar o modo de abertura apropriado ao salvar o conteúdo baixado em um arquivo para garantir que o arquivo seja gravado corretamente no disco.

Fazendo o Download de um Arquivo Grande em um Streaming Fashion

Ao fazer o download de arquivos grandes, é uma prática recomendada usar o streaming para baixar o arquivo em partes gerenciáveis. Dessa forma, você pode economizar recursos e evitar problemas de memória ao lidar com arquivos grandes.

A biblioteca urllib do Python e a biblioteca requests oferecem suporte ao streaming de downloads de arquivos. A seguir, mostramos um exemplo de como baixar um arquivo grande usando o streaming da biblioteca requests:

import requests


url = 'https://www.example.com/largefile.zip'
destination = 'largefile.zip'
chunk_size = 8192


response = requests.get(url, stream=True)
response.raise_for_status()


with open(destination, 'wb') as file:
    for chunk in response.iter_content(chunk_size=chunk_size):
        file.write(chunk)

Neste exemplo, definimos o parâmetro stream=True ao fazer a solicitação usando a função get do requests. Isso permite que o arquivo seja baixado em partes. Em seguida, usamos um loop para iterar sobre os pedaços de dados recebidos e gravá-los no arquivo em partes menores.

Ao usar o streaming para fazer download de arquivos grandes, você pode ajustar o tamanho do chunk conforme necessário, dependendo do tamanho do arquivo e dos recursos disponíveis em seu sistema.

Realizando Downloads de Arquivos em Paralelo

Em certos casos, pode ser necessário realizar downloads de vários arquivos em paralelo para economizar tempo e melhorar a eficiência. O Python oferece maneiras de realizar downloads em paralelo usando bibliotecas como requests e aiohttp com suporte a programação assíncrona. A seguir, mostramos exemplos de como realizar downloads de arquivos em paralelo usando o pool de threads da biblioteca requests e a biblioteca aiohttp assíncrona.

Usando um Pool de Threads com a biblioteca requests

A biblioteca requests permite realizar downloads paralelos usando um pool de threads. A seguir, mostramos um exemplo de como realizar downloads de arquivos em paralelo usando a biblioteca requests:

import requests
from concurrent.futures import ThreadPoolExecutor


urls = ['https://www.example.com/file1.zip', 'https://www.example.com/file2.zip']
destinations = ['file1.zip', 'file2.zip']


def download_file(url, destination):
    response = requests.get(url)
    response.raise_for_status()


    with open(destination, 'wb') as file:
        file.write(response.content)


with ThreadPoolExecutor() as executor:
    executor.map(download_file, urls, destinations)

Neste exemplo, temos uma lista de URLs a serem baixadas e uma lista de destinos para salvar os arquivos. Definimos a função download_file que faz o download de um arquivo de uma URL e o salva no destino especificado. Em seguida, usamos o ThreadPoolExecutor para executar as tarefas de download de forma paralela. A função map mapeia cada URL e destino correspondente à função download_file, executando-as em threads separadas.

Usando a biblioteca aiohttp assíncrona

A biblioteca aiohttp oferece suporte à programação assíncrona no Python, permitindo que você realize downloads de arquivos em paralelo de forma assíncrona. A seguinte é um exemplo de como usar o aiohttp para fazer downloads assíncronos de arquivos:

import aiohttp
import asyncio


urls = ['https://www.example.com/file1.zip', 'https://www.example.com/file2.zip']
destinations = ['file1.zip', 'file2.zip']


async def download_file(url, destination):
    async with aiohttp.ClientSession() as session:
        async with session.get(url) as response:
            response.raise_for_status()
            content = await response.read()


            with open(destination, 'wb') as file:
                file.write(content)


async def main():
    tasks = []
    for url, destination in zip(urls, destinations):
        task = asyncio.ensure_future(download_file(url, destination))
        tasks.append(task)


    await asyncio.gather(*tasks)


loop = asyncio.get_event_loop()
loop.run_until_complete(main())

Neste exemplo, temos uma lista de URLs a serem baixadas e uma lista de destinos para salvar os arquivos. Definimos a função assíncrona download_file que faz o download de um arquivo de uma URL e o salva no destino especificado. Em seguida, usamos a função asyncio.gather para realizar os downloads de forma assíncrona, esperando pela conclusão de todas as tarefas.

Ao usar a biblioteca aiohttp para downloads assíncronos, você pode se beneficiar do desempenho aprimorado ao fazer vários downloads de arquivos em paralelo.

Decidindo Qual Opção Escolher

Ao decidir qual opção escolher para fazer download de arquivos de URLs em Python, há alguns fatores a serem considerados:

Tamanho dos Arquivos para Baixar

Se você estiver baixando arquivos grandes, é recomendável usar o streaming e fazer o download em partes gerenciáveis. Isso economizará recursos e evitará problemas de memória.

Usabilidade

Considere também a usabilidade ao escolher uma abordagem. A biblioteca requests oferece uma interface amigável e recursos adicionais, como autenticação, redirecionamento, manipulação de cookies e muito mais. Por outro lado, a biblioteca aiohttp permite downloads assíncronos e pode ser uma boa escolha quando você precisa fazer vários downloads em paralelo.

Recursos Adicionais e Flexibilidade

Se o seu projeto exigir recursos adicionais ou maior flexibilidade, você pode optar por bibliotecas mais avançadas ou até mesmo implementar sua própria solução personalizada.

Conclusão

Fazer o download de arquivos de URLs usando Python oferece várias vantagens, como flexibilidade, portabilidade e a possibilidade de automação. Neste tutorial, você aprendeu diferentes abordagens para fazer download de arquivos em Python, incluindo o uso das bibliotecas urllib e requests, streaming de downloads, downloads paralelos e downloads assíncronos usando as bibliotecas requests e aiohttp. Agora você pode aplicar essas técnicas em seus próprios projetos e fluxos de trabalho.