← Back to branch summary

~azzar1/unity/add-show-desktop-key

« back to all changes in this revision

Viewing changes to ivle/interpret.py

  • Committer: William Grant
  • Date: 2010-07-28 05:06:15 UTC
  • Revision ID: grantw@unimelb.edu.au-20100728050615-uwbxn9frla3pdw8m
Encode content_type when downloading files. cjson made us write bad code.

Show diffs side-by-side

added added

removed removed

Lines of Context:
ivle/interpret.py
21
21
 
22
22
# Runs a student script in a safe execution environment.
23
23
 
 
24
import ivle
24
25
from ivle import studpath
25
 
from ivle.util import IVLEError, IVLEJailError
26
 
import ivle.conf
 
26
from ivle.util import IVLEJailError, split_path
27
27
 
28
28
import functools
29
29
 
31
31
import pwd
32
32
import subprocess
33
33
import cgi
 
34
import StringIO
34
35
 
35
36
# TODO: Make progressive output work
36
37
# Question: Will having a large buffer size stop progressive output from
37
38
# working on smaller output
38
39
 
39
40
CGI_BLOCK_SIZE = 65535
 
41
PATH = "/usr/local/bin:/usr/bin:/bin"
40
42
 
41
 
def interpret_file(req, owner, jail_dir, filename, interpreter, gentle=True):
 
43
def interpret_file(req, owner, jail_dir, filename, interpreter, gentle=True,
 
44
    overrides=None):
42
45
    """Serves a file by interpreting it using one of IVLE's builtin
43
46
    interpreters. All interpreters are intended to run in the user's jail. The
44
47
    jail location is provided as an argument to the interpreter but it is up
49
52
    jail_dir: Absolute path to the user's jail.
50
53
    filename: Absolute filename within the user's jail.
51
54
    interpreter: A function object to call.
 
55
    gentle: ?
 
56
    overrides: A dict mapping env var names to strings, to override arbitrary
 
57
        environment variables in the resulting CGI environent.
52
58
    """
53
59
    # We can't test here whether or not the target file actually exists,
54
60
    # because the apache user may not have permission. Instead we have to
73
79
    # (Note that paths "relative" to the jail actually begin with a '/' as
74
80
    # they are absolute in the jailspace)
75
81
 
76
 
    return interpreter(owner.unixid, jail_dir, working_dir, filename_abs, req,
77
 
                       gentle)
 
82
    return interpreter(owner, jail_dir, working_dir, filename_abs, req,
 
83
                       gentle, overrides=overrides)
78
84
 
79
85
class CGIFlags:
80
86
    """Stores flags regarding the state of reading CGI output.
88
94
        self.linebuf = ""
89
95
        self.headers = {}       # Header names : values
90
96
 
91
 
def execute_cgi(interpreter, trampoline, uid, jail_dir, working_dir,
92
 
                script_path, req, gentle):
 
97
def execute_cgi(interpreter, owner, jail_dir, working_dir, script_path,
 
98
                req, gentle, overrides=None):
93
99
    """
94
100
    trampoline: Full path on the local system to the CGI wrapper program
95
101
        being executed.
96
 
    uid: User ID of the owner of the file.
 
102
    owner: User object of the owner of the file.
97
103
    jail_dir: Absolute path of owner's jail directory.
98
104
    working_dir: Directory containing the script file relative to owner's
99
105
        jail.
100
106
    script_path: CGI script relative to the owner's jail.
101
107
    req: IVLE request object.
 
108
    gentle: ?
 
109
    overrides: A dict mapping env var names to strings, to override arbitrary
 
110
        environment variables in the resulting CGI environent.
102
111
 
103
112
    The called CGI wrapper application shall be called using popen and receive
104
113
    the HTTP body on stdin. It shall receive the CGI environment variables to
105
114
    its environment.
106
115
    """
107
116
 
 
117
    trampoline = os.path.join(req.config['paths']['lib'], 'trampoline')
 
118
 
108
119
    # Support no-op trampoline runs.
109
120
    if interpreter is None:
110
121
        interpreter = '/bin/true'
127
138
        f.seek(0)       # Rewind, for reading
128
139
 
129
140
    # Set up the environment
130
 
    # This automatically asks mod_python to load up the CGI variables into the
131
 
    # environment (which is a good first approximation)
132
 
    old_env = os.environ.copy()
133
 
    for k in os.environ.keys():
134
 
        del os.environ[k]
135
 
    for (k,v) in req.get_cgi_environ().items():
136
 
        os.environ[k] = v
137
 
    fixup_environ(req)
 
141
    environ = cgi_environ(req, script_path, owner, overrides=overrides)
138
142
 
139
143
    # usage: tramp uid jail_dir working_dir script_path
140
 
    pid = subprocess.Popen(
141
 
        [trampoline, str(uid), jail_dir, working_dir, interpreter,
142
 
        script_path],
 
144
    cmd_line = [trampoline, str(owner.unixid),
 
145
            req.config['paths']['jails']['mounts'],
 
146
            req.config['paths']['jails']['src'],
 
147
            req.config['paths']['jails']['template'],
 
148
            jail_dir, working_dir, interpreter, script_path]
 
149
    # Popen doesn't like unicode strings. It hateses them.
 
150
    cmd_line = [(s.encode('utf-8') if isinstance(s, unicode) else s)
 
151
                for s in cmd_line]
 
152
    pid = subprocess.Popen(cmd_line,
143
153
        stdin=f, stdout=subprocess.PIPE, stderr=subprocess.STDOUT,
144
 
        cwd=tramp_dir)
145
 
 
146
 
    # Restore the environment
147
 
    for k in os.environ.keys():
148
 
        del os.environ[k]
149
 
    for (k,v) in old_env.items():
150
 
        os.environ[k] = v
 
154
        cwd=tramp_dir, env=environ)
151
155
 
152
156
    # We don't want any output! Bail out after the process terminates.
153
157
    if noop:
219
223
            if len(split) == 1:
220
224
                split = headers.split('\n', 1)
221
225
 
222
 
        # Is this an internal IVLE error condition?
223
 
        hs = cgiflags.headers
224
 
        if 'X-IVLE-Error-Type' in hs:
225
 
            t = hs['X-IVLE-Error-Type']
226
 
            if t == IVLEError.__name__:
227
 
                raise IVLEError(int(hs['X-IVLE-Error-Code']),
228
 
                                hs['X-IVLE-Error-Message'])
229
 
            else:
 
226
        # If not executing in gentle mode (which presents CGI violations
 
227
        # to users nicely), check if this an internal IVLE error
 
228
        # condition.
 
229
        if not cgiflags.gentle:
 
230
            hs = cgiflags.headers
 
231
            if 'X-IVLE-Error-Type' in hs:
230
232
                try:
231
233
                    raise IVLEJailError(hs['X-IVLE-Error-Type'],
232
234
                                        hs['X-IVLE-Error-Message'],
233
235
                                        hs['X-IVLE-Error-Info'])
234
236
                except KeyError:
235
 
                    raise IVLEError(500, 'bad error headers written by CGI')
 
237
                    raise AssertionError("Bad error headers written by CGI.")
236
238
 
237
239
        # Check to make sure the required headers were written
238
240
        if cgiflags.wrote_html_warning or not cgiflags.gentle:
292
294
        process_cgi_output(req, line + '\n', cgiflags)
293
295
        return
294
296
 
 
297
    # Check if CGI field-name is valid
 
298
    CGI_SEPERATORS = set(['(', ')', '<', '>', '@', ',', ';', ':', '\\', '"',
 
299
            '/', '[', ']', '?', '=', '{', '}', ' ', '\t'])
 
300
    if any((char in CGI_SEPERATORS for char in name)):
 
301
        warning = "Warning"
 
302
        if not cgiflags.gentle:
 
303
            message = """An unexpected server error has occured."""
 
304
            warning = "Error"
 
305
        else:
 
306
            # Header contained illegal characters
 
307
            message = """You printed an invalid CGI header. CGI header
 
308
            field-names can not contain any of the following characters: 
 
309
            <code>( ) &lt; &gt; @ , ; : \\ " / [ ] ? = { } <em>SPACE 
 
310
            TAB</em></code>."""
 
311
        write_html_warning(req, message, warning=warning)
 
312
        cgiflags.wrote_html_warning = True
 
313
        # Handle the rest of this line as normal data
 
314
        process_cgi_output(req, line + '\n', cgiflags)
 
315
        return
 
316
 
295
317
    # Read CGI headers
296
318
    value = value.strip()
297
319
    if name == "Content-Type":
341
363
    <pre>
342
364
""" % (warning, text))
343
365
 
344
 
location_cgi_python = os.path.join(ivle.conf.lib_path, "trampoline")
345
 
 
346
366
# Mapping of interpreter names (as given in conf/app/server.py) to
347
367
# interpreter functions.
348
368
 
349
369
interpreter_objects = {
350
370
    'cgi-python'
351
 
        : functools.partial(execute_cgi, "/usr/bin/python",
352
 
            location_cgi_python),
 
371
        : functools.partial(execute_cgi, "/usr/bin/python"),
353
372
    'noop'
354
 
        : functools.partial(execute_cgi, None,
355
 
            location_cgi_python),
 
373
        : functools.partial(execute_cgi, None),
356
374
    # Should also have:
357
375
    # cgi-generic
358
376
    # python-server-page
359
377
}
360
378
 
361
 
def fixup_environ(req):
362
 
    """Assuming os.environ has been written with the CGI variables from
363
 
    apache, make a few changes for security and correctness.
 
379
def cgi_environ(req, script_path, user, overrides=None):
 
380
    """Gets CGI variables from apache and makes a few changes for security and 
 
381
    correctness.
364
382
 
365
383
    Does not modify req, only reads it.
 
384
 
 
385
    overrides: A dict mapping env var names to strings, to override arbitrary
 
386
        environment variables in the resulting CGI environent.
366
387
    """
367
 
    env = os.environ
 
388
    env = {}
368
389
    # Comments here are on the heavy side, explained carefully for security
369
390
    # reasons. Please read carefully before making changes.
 
391
    
 
392
    # This automatically asks mod_python to load up the CGI variables into the
 
393
    # environment (which is a good first approximation)
 
394
    for (k,v) in req.get_cgi_environ().items():
 
395
        env[k] = v
370
396
 
371
397
    # Remove DOCUMENT_ROOT and SCRIPT_FILENAME. Not part of CGI spec and
372
398
    # exposes unnecessary details about server.
384
410
        del env['PATH']
385
411
    except: pass
386
412
 
387
 
    # Remove SCRIPT_FILENAME. Not part of CGI spec (see SCRIPT_NAME).
388
 
 
389
 
    # PATH_INFO is wrong because the script doesn't physically exist.
390
 
    # Apache makes it relative to the "serve" app. It should actually be made
391
 
    # relative to the student's script. intepretservice does that in the jail,
392
 
    # so here we just clear it.
393
 
    env['PATH_INFO'] = ''
394
 
    env['PATH_TRANSLATED'] = ''
395
 
 
396
413
    # CGI specifies that REMOTE_HOST SHOULD be set, and MAY just be set to
397
414
    # REMOTE_ADDR. Since Apache does not appear to set this, set it to
398
415
    # REMOTE_ADDR.
399
416
    if 'REMOTE_HOST' not in env and 'REMOTE_ADDR' in env:
400
417
        env['REMOTE_HOST'] = env['REMOTE_ADDR']
401
418
 
 
419
    env['PATH_INFO'] = ''
 
420
    del env['PATH_TRANSLATED']
 
421
 
 
422
    normuri = os.path.normpath(req.uri)
 
423
    env['SCRIPT_NAME'] = normuri
 
424
 
402
425
    # SCRIPT_NAME is the path to the script WITHOUT PATH_INFO.
403
 
    script_name = req.uri
404
 
    env['SCRIPT_NAME'] = script_name
 
426
    # We don't care about these if the script is null (ie. noop).
 
427
    # XXX: We check for /home because we don't want to interfere with
 
428
    # CGIRequest, which fileservice still uses.
 
429
    if script_path and script_path.startswith('/home'):
 
430
        normscript = os.path.normpath(script_path)
 
431
 
 
432
        uri_into_jail = studpath.to_home_path(os.path.normpath(req.path))
 
433
 
 
434
        # PATH_INFO is wrong because the script doesn't physically exist.
 
435
        env['PATH_INFO'] = uri_into_jail[len(normscript):]
 
436
        if len(env['PATH_INFO']) > 0:
 
437
            env['SCRIPT_NAME'] = normuri[:-len(env['PATH_INFO'])]
405
438
 
406
439
    # SERVER_SOFTWARE is actually not Apache but IVLE, since we are
407
440
    # custom-making the CGI request.
408
 
    env['SERVER_SOFTWARE'] = "IVLE/" + str(ivle.conf.ivle_version)
 
441
    env['SERVER_SOFTWARE'] = "IVLE/" + ivle.__version__
409
442
 
410
443
    # Additional environment variables
411
 
    username = studpath.url_to_jailpaths(req.path)[0]
 
444
    username = user.login
412
445
    env['HOME'] = os.path.join('/home', username)
 
446
 
 
447
    if overrides is not None:
 
448
        env.update(overrides)
 
449
    return env
 
450
 
 
451
class ExecutionError(Exception):
 
452
    pass
 
453
 
 
454
def execute_raw(config, user, jail_dir, working_dir, binary, args):
 
455
    '''Execute a binary in a user's jail, returning the raw output.
 
456
 
 
457
    The binary is executed in the given working directory with the given
 
458
    args. A tuple of (stdout, stderr) is returned.
 
459
    '''
 
460
 
 
461
    tramp = os.path.join(config['paths']['lib'], 'trampoline')
 
462
    tramp_dir = os.path.split(tramp)[0]
 
463
 
 
464
    # Fire up trampoline. Vroom, vroom.
 
465
    cmd_line = [tramp, str(user.unixid), config['paths']['jails']['mounts'],
 
466
         config['paths']['jails']['src'],
 
467
         config['paths']['jails']['template'],
 
468
         jail_dir, working_dir, binary] + args
 
469
    # Popen doesn't like unicode strings. It hateses them.
 
470
    cmd_line = [(s.encode('utf-8') if isinstance(s, unicode) else s)
 
471
                for s in cmd_line]
 
472
    proc = subprocess.Popen(cmd_line,
 
473
        stdin=subprocess.PIPE, stdout=subprocess.PIPE,
 
474
        stderr=subprocess.PIPE, cwd=tramp_dir, close_fds=True,
 
475
        env={'HOME': os.path.join('/home', user.login),
 
476
             'PATH': PATH,
 
477
             'USER': user.login,
 
478
             'LOGNAME': user.login})
 
479
 
 
480
    (stdout, stderr) = proc.communicate()
 
481
    exitcode = proc.returncode
 
482
 
 
483
    if exitcode != 0:
 
484
        raise ExecutionError('subprocess ended with code %d, stderr: "%s"' %
 
485
                             (exitcode, stderr))
 
486
    return (stdout, stderr)
 
487
 
 
488
def jail_call(req, cgi_script, script_name, query_string=None,
 
489
    request_method="GET", extra_overrides=None):
 
490
    """
 
491
    Makes a call to a CGI script inside the jail from outside the jail.
 
492
    This can be used to allow Python scripts to access jail-only functions and
 
493
    data without having to perform a full API request.
 
494
 
 
495
    req: A Request object (will not be written to or attributes modified).
 
496
    cgi_script: Path to cgi script outside of jail.
 
497
        eg: os.path.join(req.config['paths']['share'],
 
498
                         'services/fileservice')
 
499
    script_name: Name to set as SCRIPT_NAME for the CGI environment.
 
500
        eg: "/fileservice/"
 
501
    query_string: Query string to set as QUERY_STRING for the CGI environment.
 
502
        eg: "action=svnrepostat&path=/users/studenta/"
 
503
    request_method: Method to set as REQUEST_METHOD for the CGI environment.
 
504
        eg: "POST". Defaults to "GET".
 
505
    extra_overrides: A dict mapping env var names to strings, to override
 
506
        arbitrary environment variables in the resulting CGI environent.
 
507
 
 
508
    Returns a triple (status_code, content_type, contents).
 
509
    """
 
510
    interp_object = interpreter_objects["cgi-python"]
 
511
    user_jail_dir = os.path.join(req.config['paths']['jails']['mounts'],
 
512
                                 req.user.login)
 
513
    overrides = {
 
514
        "SCRIPT_NAME": script_name,
 
515
        "QUERY_STRING": query_string,
 
516
        "REQUEST_URI": "%s%s%s" % (script_name, "?" if query_string else "",
 
517
                                   query_string),
 
518
        "REQUEST_METHOD": request_method,
 
519
    }
 
520
    if extra_overrides is not None:
 
521
        overrides.update(extra_overrides)
 
522
    result = DummyReq(req)
 
523
    interpret_file(result, req.user, user_jail_dir, cgi_script, interp_object,
 
524
                   gentle=False, overrides=overrides)
 
525
    return result.status, result.content_type, result.getvalue()
 
526
 
 
527
class DummyReq(StringIO.StringIO):
 
528
    """A dummy request object, built from a real request object, which can be
 
529
    used like a req but doesn't mutate the existing request.
 
530
    (Used for reading CGI responses as strings rather than forwarding their
 
531
    output to the current request.)
 
532
    """
 
533
    def __init__(self, req):
 
534
        StringIO.StringIO.__init__(self)
 
535
        self._real_req = req
 
536
    def get_cgi_environ(self):
 
537
        return self._real_req.get_cgi_environ()
 
538
    def __getattr__(self, name):
 
539
        return getattr(self._real_req, name)