~azzar1/unity/add-show-desktop-key

« back to all changes in this revision

Viewing changes to ivle/interpret.py

  • Committer: Matt Giuca
  • Date: 2010-07-21 04:20:44 UTC
  • Revision ID: matt.giuca@gmail.com-20100721042044-uopyzuiuji6vlsu7
Project page: Moved instructions under 'latest submissions' above the table, or it will be hard to see them under hundreds of submissions.

Show diffs side-by-side

added added

removed removed

Lines of Context:
21
21
 
22
22
# Runs a student script in a safe execution environment.
23
23
 
 
24
import ivle
24
25
from ivle import studpath
25
 
from ivle.util import IVLEError, IVLEJailError
26
 
import ivle.conf
 
26
from ivle.util import IVLEJailError, split_path
27
27
 
28
28
import functools
29
29
 
31
31
import pwd
32
32
import subprocess
33
33
import cgi
 
34
import StringIO
34
35
 
35
36
# TODO: Make progressive output work
36
37
# Question: Will having a large buffer size stop progressive output from
37
38
# working on smaller output
38
39
 
39
40
CGI_BLOCK_SIZE = 65535
 
41
PATH = "/usr/local/bin:/usr/bin:/bin"
40
42
 
41
 
def interpret_file(req, owner, jail_dir, filename, interpreter, gentle=True):
 
43
def interpret_file(req, owner, jail_dir, filename, interpreter, gentle=True,
 
44
    overrides=None):
42
45
    """Serves a file by interpreting it using one of IVLE's builtin
43
46
    interpreters. All interpreters are intended to run in the user's jail. The
44
47
    jail location is provided as an argument to the interpreter but it is up
49
52
    jail_dir: Absolute path to the user's jail.
50
53
    filename: Absolute filename within the user's jail.
51
54
    interpreter: A function object to call.
 
55
    gentle: ?
 
56
    overrides: A dict mapping env var names to strings, to override arbitrary
 
57
        environment variables in the resulting CGI environent.
52
58
    """
53
59
    # We can't test here whether or not the target file actually exists,
54
60
    # because the apache user may not have permission. Instead we have to
73
79
    # (Note that paths "relative" to the jail actually begin with a '/' as
74
80
    # they are absolute in the jailspace)
75
81
 
76
 
    return interpreter(owner.unixid, jail_dir, working_dir, filename_abs, req,
77
 
                       gentle)
 
82
    return interpreter(owner, jail_dir, working_dir, filename_abs, req,
 
83
                       gentle, overrides=overrides)
78
84
 
79
85
class CGIFlags:
80
86
    """Stores flags regarding the state of reading CGI output.
88
94
        self.linebuf = ""
89
95
        self.headers = {}       # Header names : values
90
96
 
91
 
def execute_cgi(interpreter, trampoline, uid, jail_dir, working_dir,
92
 
                script_path, req, gentle):
 
97
def execute_cgi(interpreter, owner, jail_dir, working_dir, script_path,
 
98
                req, gentle, overrides=None):
93
99
    """
94
100
    trampoline: Full path on the local system to the CGI wrapper program
95
101
        being executed.
96
 
    uid: User ID of the owner of the file.
 
102
    owner: User object of the owner of the file.
97
103
    jail_dir: Absolute path of owner's jail directory.
98
104
    working_dir: Directory containing the script file relative to owner's
99
105
        jail.
100
106
    script_path: CGI script relative to the owner's jail.
101
107
    req: IVLE request object.
 
108
    gentle: ?
 
109
    overrides: A dict mapping env var names to strings, to override arbitrary
 
110
        environment variables in the resulting CGI environent.
102
111
 
103
112
    The called CGI wrapper application shall be called using popen and receive
104
113
    the HTTP body on stdin. It shall receive the CGI environment variables to
105
114
    its environment.
106
115
    """
107
116
 
 
117
    trampoline = os.path.join(req.config['paths']['lib'], 'trampoline')
 
118
 
108
119
    # Support no-op trampoline runs.
109
120
    if interpreter is None:
110
121
        interpreter = '/bin/true'
127
138
        f.seek(0)       # Rewind, for reading
128
139
 
129
140
    # Set up the environment
130
 
    # This automatically asks mod_python to load up the CGI variables into the
131
 
    # environment (which is a good first approximation)
132
 
    old_env = os.environ.copy()
133
 
    for k in os.environ.keys():
134
 
        del os.environ[k]
135
 
    for (k,v) in req.get_cgi_environ().items():
136
 
        os.environ[k] = v
137
 
    fixup_environ(req, script_path)
 
141
    environ = cgi_environ(req, script_path, owner, overrides=overrides)
138
142
 
139
143
    # usage: tramp uid jail_dir working_dir script_path
140
 
    pid = subprocess.Popen(
141
 
        [trampoline, str(uid), ivle.conf.jail_base, ivle.conf.jail_src_base,
142
 
         ivle.conf.jail_system, jail_dir, working_dir, interpreter,
143
 
        script_path],
 
144
    cmd_line = [trampoline, str(owner.unixid),
 
145
            req.config['paths']['jails']['mounts'],
 
146
            req.config['paths']['jails']['src'],
 
147
            req.config['paths']['jails']['template'],
 
148
            jail_dir, working_dir, interpreter, script_path]
 
149
    # Popen doesn't like unicode strings. It hateses them.
 
150
    cmd_line = [(s.encode('utf-8') if isinstance(s, unicode) else s)
 
151
                for s in cmd_line]
 
152
    pid = subprocess.Popen(cmd_line,
144
153
        stdin=f, stdout=subprocess.PIPE, stderr=subprocess.STDOUT,
145
 
        cwd=tramp_dir)
146
 
 
147
 
    # Restore the environment
148
 
    for k in os.environ.keys():
149
 
        del os.environ[k]
150
 
    for (k,v) in old_env.items():
151
 
        os.environ[k] = v
 
154
        cwd=tramp_dir, env=environ)
152
155
 
153
156
    # We don't want any output! Bail out after the process terminates.
154
157
    if noop:
220
223
            if len(split) == 1:
221
224
                split = headers.split('\n', 1)
222
225
 
223
 
        # Is this an internal IVLE error condition?
224
 
        hs = cgiflags.headers
225
 
        if 'X-IVLE-Error-Type' in hs:
226
 
            t = hs['X-IVLE-Error-Type']
227
 
            if t == IVLEError.__name__:
228
 
                raise IVLEError(int(hs['X-IVLE-Error-Code']),
229
 
                                hs['X-IVLE-Error-Message'])
230
 
            else:
 
226
        # If not executing in gentle mode (which presents CGI violations
 
227
        # to users nicely), check if this an internal IVLE error
 
228
        # condition.
 
229
        if not cgiflags.gentle:
 
230
            hs = cgiflags.headers
 
231
            if 'X-IVLE-Error-Type' in hs:
231
232
                try:
232
233
                    raise IVLEJailError(hs['X-IVLE-Error-Type'],
233
234
                                        hs['X-IVLE-Error-Message'],
234
235
                                        hs['X-IVLE-Error-Info'])
235
236
                except KeyError:
236
 
                    raise IVLEError(500, 'bad error headers written by CGI')
 
237
                    raise AssertionError("Bad error headers written by CGI.")
237
238
 
238
239
        # Check to make sure the required headers were written
239
240
        if cgiflags.wrote_html_warning or not cgiflags.gentle:
293
294
        process_cgi_output(req, line + '\n', cgiflags)
294
295
        return
295
296
 
 
297
    # Check if CGI field-name is valid
 
298
    CGI_SEPERATORS = set(['(', ')', '<', '>', '@', ',', ';', ':', '\\', '"',
 
299
            '/', '[', ']', '?', '=', '{', '}', ' ', '\t'])
 
300
    if any((char in CGI_SEPERATORS for char in name)):
 
301
        warning = "Warning"
 
302
        if not cgiflags.gentle:
 
303
            message = """An unexpected server error has occured."""
 
304
            warning = "Error"
 
305
        else:
 
306
            # Header contained illegal characters
 
307
            message = """You printed an invalid CGI header. CGI header
 
308
            field-names can not contain any of the following characters: 
 
309
            <code>( ) &lt; &gt; @ , ; : \\ " / [ ] ? = { } <em>SPACE 
 
310
            TAB</em></code>."""
 
311
        write_html_warning(req, message, warning=warning)
 
312
        cgiflags.wrote_html_warning = True
 
313
        # Handle the rest of this line as normal data
 
314
        process_cgi_output(req, line + '\n', cgiflags)
 
315
        return
 
316
 
296
317
    # Read CGI headers
297
318
    value = value.strip()
298
319
    if name == "Content-Type":
342
363
    <pre>
343
364
""" % (warning, text))
344
365
 
345
 
location_cgi_python = os.path.join(ivle.conf.lib_path, "trampoline")
346
 
 
347
366
# Mapping of interpreter names (as given in conf/app/server.py) to
348
367
# interpreter functions.
349
368
 
350
369
interpreter_objects = {
351
370
    'cgi-python'
352
 
        : functools.partial(execute_cgi, "/usr/bin/python",
353
 
            location_cgi_python),
 
371
        : functools.partial(execute_cgi, "/usr/bin/python"),
354
372
    'noop'
355
 
        : functools.partial(execute_cgi, None,
356
 
            location_cgi_python),
 
373
        : functools.partial(execute_cgi, None),
357
374
    # Should also have:
358
375
    # cgi-generic
359
376
    # python-server-page
360
377
}
361
378
 
362
 
def fixup_environ(req, script_path):
363
 
    """Assuming os.environ has been written with the CGI variables from
364
 
    apache, make a few changes for security and correctness.
 
379
def cgi_environ(req, script_path, user, overrides=None):
 
380
    """Gets CGI variables from apache and makes a few changes for security and 
 
381
    correctness.
365
382
 
366
383
    Does not modify req, only reads it.
 
384
 
 
385
    overrides: A dict mapping env var names to strings, to override arbitrary
 
386
        environment variables in the resulting CGI environent.
367
387
    """
368
 
    env = os.environ
 
388
    env = {}
369
389
    # Comments here are on the heavy side, explained carefully for security
370
390
    # reasons. Please read carefully before making changes.
 
391
    
 
392
    # This automatically asks mod_python to load up the CGI variables into the
 
393
    # environment (which is a good first approximation)
 
394
    for (k,v) in req.get_cgi_environ().items():
 
395
        env[k] = v
371
396
 
372
397
    # Remove DOCUMENT_ROOT and SCRIPT_FILENAME. Not part of CGI spec and
373
398
    # exposes unnecessary details about server.
404
429
    if script_path and script_path.startswith('/home'):
405
430
        normscript = os.path.normpath(script_path)
406
431
 
407
 
        uri_into_jail = studpath.url_to_jailpaths(os.path.normpath(req.path))[2]
 
432
        uri_into_jail = studpath.to_home_path(os.path.normpath(req.path))
408
433
 
409
434
        # PATH_INFO is wrong because the script doesn't physically exist.
410
435
        env['PATH_INFO'] = uri_into_jail[len(normscript):]
413
438
 
414
439
    # SERVER_SOFTWARE is actually not Apache but IVLE, since we are
415
440
    # custom-making the CGI request.
416
 
    env['SERVER_SOFTWARE'] = "IVLE/" + str(ivle.conf.ivle_version)
 
441
    env['SERVER_SOFTWARE'] = "IVLE/" + ivle.__version__
417
442
 
418
443
    # Additional environment variables
419
 
    username = studpath.url_to_jailpaths(req.path)[0]
 
444
    username = user.login
420
445
    env['HOME'] = os.path.join('/home', username)
421
446
 
 
447
    if overrides is not None:
 
448
        env.update(overrides)
 
449
    return env
 
450
 
422
451
class ExecutionError(Exception):
423
452
    pass
424
453
 
425
 
def execute_raw(user, jail_dir, working_dir, binary, args):
 
454
def execute_raw(config, user, jail_dir, working_dir, binary, args):
426
455
    '''Execute a binary in a user's jail, returning the raw output.
427
456
 
428
457
    The binary is executed in the given working directory with the given
429
458
    args. A tuple of (stdout, stderr) is returned.
430
459
    '''
431
460
 
432
 
    tramp = location_cgi_python
433
 
    tramp_dir = os.path.split(location_cgi_python)[0]
 
461
    tramp = os.path.join(config['paths']['lib'], 'trampoline')
 
462
    tramp_dir = os.path.split(tramp)[0]
434
463
 
435
464
    # Fire up trampoline. Vroom, vroom.
436
 
    proc = subprocess.Popen(
437
 
        [tramp, str(user.unixid), ivle.conf.jail_base,
438
 
         ivle.conf.jail_src_base, ivle.conf.jail_system, jail_dir,
439
 
         working_dir, binary] + args,
 
465
    cmd_line = [tramp, str(user.unixid), config['paths']['jails']['mounts'],
 
466
         config['paths']['jails']['src'],
 
467
         config['paths']['jails']['template'],
 
468
         jail_dir, working_dir, binary] + args
 
469
    # Popen doesn't like unicode strings. It hateses them.
 
470
    cmd_line = [(s.encode('utf-8') if isinstance(s, unicode) else s)
 
471
                for s in cmd_line]
 
472
    proc = subprocess.Popen(cmd_line,
440
473
        stdin=subprocess.PIPE, stdout=subprocess.PIPE,
441
 
        stderr=subprocess.PIPE, cwd=tramp_dir, close_fds=True)
 
474
        stderr=subprocess.PIPE, cwd=tramp_dir, close_fds=True,
 
475
        env={'HOME': os.path.join('/home', user.login),
 
476
             'PATH': PATH,
 
477
             'USER': user.login,
 
478
             'LOGNAME': user.login})
442
479
 
443
480
    (stdout, stderr) = proc.communicate()
444
481
    exitcode = proc.returncode
445
482
 
446
483
    if exitcode != 0:
447
 
        raise ExecutionError('subprocess ended with code %d, stderr %s' %
448
 
                             (exitcode, proc.stderr.read()))
 
484
        raise ExecutionError('subprocess ended with code %d, stderr: "%s"' %
 
485
                             (exitcode, stderr))
449
486
    return (stdout, stderr)
 
487
 
 
488
def jail_call(req, cgi_script, script_name, query_string=None,
 
489
    request_method="GET", extra_overrides=None):
 
490
    """
 
491
    Makes a call to a CGI script inside the jail from outside the jail.
 
492
    This can be used to allow Python scripts to access jail-only functions and
 
493
    data without having to perform a full API request.
 
494
 
 
495
    req: A Request object (will not be written to or attributes modified).
 
496
    cgi_script: Path to cgi script outside of jail.
 
497
        eg: os.path.join(req.config['paths']['share'],
 
498
                         'services/fileservice')
 
499
    script_name: Name to set as SCRIPT_NAME for the CGI environment.
 
500
        eg: "/fileservice/"
 
501
    query_string: Query string to set as QUERY_STRING for the CGI environment.
 
502
        eg: "action=svnrepostat&path=/users/studenta/"
 
503
    request_method: Method to set as REQUEST_METHOD for the CGI environment.
 
504
        eg: "POST". Defaults to "GET".
 
505
    extra_overrides: A dict mapping env var names to strings, to override
 
506
        arbitrary environment variables in the resulting CGI environent.
 
507
 
 
508
    Returns a triple (status_code, content_type, contents).
 
509
    """
 
510
    interp_object = interpreter_objects["cgi-python"]
 
511
    user_jail_dir = os.path.join(req.config['paths']['jails']['mounts'],
 
512
                                 req.user.login)
 
513
    overrides = {
 
514
        "SCRIPT_NAME": script_name,
 
515
        "QUERY_STRING": query_string,
 
516
        "REQUEST_URI": "%s%s%s" % (script_name, "?" if query_string else "",
 
517
                                   query_string),
 
518
        "REQUEST_METHOD": request_method,
 
519
    }
 
520
    if extra_overrides is not None:
 
521
        overrides.update(extra_overrides)
 
522
    result = DummyReq(req)
 
523
    interpret_file(result, req.user, user_jail_dir, cgi_script, interp_object,
 
524
                   gentle=False, overrides=overrides)
 
525
    return result.status, result.content_type, result.getvalue()
 
526
 
 
527
class DummyReq(StringIO.StringIO):
 
528
    """A dummy request object, built from a real request object, which can be
 
529
    used like a req but doesn't mutate the existing request.
 
530
    (Used for reading CGI responses as strings rather than forwarding their
 
531
    output to the current request.)
 
532
    """
 
533
    def __init__(self, req):
 
534
        StringIO.StringIO.__init__(self)
 
535
        self._real_req = req
 
536
    def get_cgi_environ(self):
 
537
        return self._real_req.get_cgi_environ()
 
538
    def __getattr__(self, name):
 
539
        return getattr(self._real_req, name)