Changeset 0801116 in osmose-backend


Ignore:
Timestamp:
Jun 8, 2014 9:37:42 PM (5 years ago)
Author:
Jocelyn Jaubert <jocelyn.jaubert@…>
Branches:
master
Children:
2475d74
Parents:
a3a7bf4
Message:

Add support for bz2 decompression in modules/downloader.py

File:
1 edited

Legend:

Unmodified
Added
Removed
  • modules/downloader.py

    rd0944e5 r0801116  
    3030HTTP_DATE_FMT = "%a, %d %b %Y %H:%M:%S GMT" 
    3131 
    32 def update_cache(url, delay): 
     32def update_cache(url, delay, bz2_decompress=False): 
    3333    if not os.path.exists(config.dir_cache): 
    3434        os.makedirs(config.dir_cache) 
     
    6161    # write the file 
    6262    try: 
     63        if bz2_decompress: 
     64            import bz2 
     65            decompressor = bz2.BZ2Decompressor() 
    6366        outfile = open(tmp_file, "wb") 
    6467        while True: 
    65             data = answer.read(2048) 
     68            data = answer.read(100 * 1024) 
    6669            if len(data) == 0: 
    6770                break 
     71            if bz2_decompress: 
     72                data = decompressor.decompress(data) 
    6873            outfile.write(data) 
     74    except: 
     75        raise 
    6976    finally: 
    7077        outfile.close() 
Note: See TracChangeset for help on using the changeset viewer.