urllib (version: 1.10)
 

# Open an arbitrary URL
#
# See the following document for more info on URLs:
# "Names and Addresses, URIs, URLs, URNs, URCs", at
# http://www.w3.org/pub/WWW/Addressing/Overview.html
#
# See also the HTTP spec (from which the error codes are derived):
# "HTTP - Hypertext Transfer Protocol", at
# http://www.w3.org/pub/WWW/Protocols/
#
# Related standards and specs:
# - RFC1808: the "relative URL" spec. (authoritative status)
# - RFC1738 - the "URL standard". (authoritative status)
# - RFC1630 - the "URI spec". (informational status)
#
# The object returned by URLopener().open(file) will differ per
# protocol.  All you know is that is has methods read(), readline(),
# readlines(), fileno(), close() and info().  The read*(), fileno()
# and close() methods work like those of open files. 
# The info() method returns a mimetools.Message object which can be
# used to query various info about the object, if available.
# (mimetools.Message objects are queried with the getheader() method.)


 Modules
                                                                                                                                                                                                                               
os
socket
string
sys


 Classes
                                                                                                                                                                                                                               
URLopener
FancyURLopener
addbase
addclosehook
addinfo
addinfourl
ftpwrapper


 class FancyURLopener(URLopener)
           no doc string
                                                                                                                                                                                                                     
__init__(self, *args)
no doc string
get_user_passwd(self, host, realm, clear_cache=0)
no doc string
http_error_302(self, url, fp, errcode, errmsg, headers, data=None)
# Error 302 -- relocated (temporarily)
http_error_302(self, url, fp, errcode, errmsg, headers, data=None)
# Error 302 -- relocated (temporarily)
http_error_401(self, url, fp, errcode, errmsg, headers, data=None)
# Error 401 -- authentication required
# See this URL for a description of the basic authentication scheme:
# http://www.ics.uci.edu/pub/ietf/http/draft-ietf-http-v10-spec-00.txt
http_error_default(self, url, fp, errcode, errmsg, headers)
# Default error handling -- don't raise an exception
prompt_user_passwd(self, host, realm)
no doc string
retry_http_basic_auth(self, url, realm, data)
no doc string


 class URLopener
           # Class to open URLs.
# This is a class rather than just a subroutine because we may need
# more than one set of global protocol-specific options.
# Note -- this is a base class for those who don't want the
# automatic handling of errors type 302 (relocated) and 401
# (authorization needed).
 
                                                                                                                                                                                                                     
__del__(self)
no doc string
__init__(self, proxies=None)
# Constructor
addheader(self, *args)
# Add a header to be used by the HTTP interface only
# e.g. u.addheader('Accept', 'sound/basic')
cleanup(self)
no doc string
close(self)
no doc string
http_error(self, url, fp, errcode, errmsg, headers, data=None)
# Handle http errors.
# Derived class can override this, or provide specific handlers
# named http_error_DDD where DDD is the 3-digit error code
http_error_default(self, url, fp, errcode, errmsg, headers)
# Default http error handler: close the connection and raises IOError
open(self, fullurl, data=None)
# External interface
# Use URLopener().open(file) instead of open(file, 'r')
open_data(self, url, data=None)
# Use "data" URL
open_file(self, url)
# Use local file or FTP depending on form of URL
open_ftp(self, url)
# Use FTP protocol
open_gopher(self, url)
# Use Gopher protocol
open_http(self, url, data=None)
# Use HTTP protocol
open_local_file(self, url)
# Use local file
open_unknown(self, fullurl, data=None)
# Overridable interface to open unknown URL type
retrieve(self, url, filename=None, reporthook=None)
# External interface
retrieve(url) returns (filename, None) for a local object
# or (tempfilename, headers) for a remote object


 class addbase
           # Base class for addinfo and addclosehook
 
                                                                                                                                                                                                                     
__init__(self, fp)
no doc string
__repr__(self)
no doc string
close(self)
no doc string


 class addclosehook(addbase)
           no doc string
                                                                                                                                                                                                                     
__init__(self, fp, closehook, *hookargs)
no doc string
close(self)
no doc string


 class addinfo(addbase)
           no doc string
                                                                                                                                                                                                                     
__init__(self, fp, headers)
no doc string
info(self)
no doc string


 class addinfourl(addbase)
           no doc string
                                                                                                                                                                                                                     
__init__(self, fp, headers, url)
no doc string
geturl(self)
no doc string
info(self)
no doc string


 class ftpwrapper
           # Class used by open_ftp() for cache of open FTP connections
 
                                                                                                                                                                                                                     
__init__(self, user, passwd, host, port, dirs)
no doc string
close(self)
no doc string
endtransfer(self)
no doc string
init(self)
no doc string
retrfile(self, file, type)
no doc string


 Functions
                                                                                                                                                                                                                               
basejoin(base, url)
# Utility to combine a URL with a base URL to form a new URL
ftperrors()
# Return the set of errors raised by the FTP class
getproxies()
Return a dictionary of scheme -> proxy server URL mappings.
Scan the environment for variables named <scheme>_proxy;
this seems to be the standard convention.  If you need a
different way, you can pass a proxies dictionary to the
[Fancy]URLopener constructor.
localhost()
# Return the IP address of the magic hostname 'localhost'
main()
no doc string
noheaders()
# Return an empty mimetools.Message object
pathname2url(pathname)
no doc string
quote(s, safe='/')
no doc string
quote_plus(s, safe='/')
no doc string
reporthook(blocknum, blocksize, totalsize)
no doc string
splitattr(url)
no doc string
splitgophertype(selector)
no doc string
splithost(url)
no doc string
splitnport(host, defport=-1)
# Split host and port, returning numeric port.
# Return given default port if no ':' found; defaults to -1.
# Return numerical port if a valid number are found after ':'.
# Return None if ':' but not a valid number.
splitpasswd(user)
no doc string
splitport(host)
no doc string
splitquery(url)
no doc string
splittag(url)
no doc string
splittype(url)
no doc string
splituser(host)
no doc string
splitvalue(attr)
no doc string
test(args=[])
# Test program
test1()
# Test and time quote() and unquote()
thishost()
# Return the IP address of the current host
unquote(s)
no doc string
unquote_plus(s)
no doc string
unwrap(url)
# Utilities to parse URLs (most of these return None for missing parts):
unwrap('<URL:type://host/path>') --> 'type://host/path'
splittype('type:opaquestring') --> 'type', 'opaquestring'
splithost('//host[:port]/path') --> 'host[:port]', '/path'
splituser('user[:passwd]@host[:port]') --> 'user[:passwd]', 'host[:port]'
splitpasswd('user:passwd') -> 'user', 'passwd'
splitport('host:port') --> 'host', 'port'
splitquery('/path?query') --> '/path', 'query'
splittag('/path#tag') --> '/path', 'tag'
splitattr('/path;attr1=value1;attr2=value2;...') ->
#   '/path', ['attr1=value1', 'attr2=value2', ...]
splitvalue('attr=value') --> 'attr', 'value'
splitgophertype('/Xselector') --> 'X', 'selector'
unquote('abc%20def') -> 'abc def'
quote('abc def') -> 'abc%20def')
url2pathname(pathname)
no doc string
urlcleanup()
no doc string
urlencode(dict)
no doc string
urlopen(url, data=None)
# Shortcut for basic usage
urlretrieve(url, filename=None, reporthook=None)
no doc string