~azzar1/unity/add-show-desktop-key

« back to all changes in this revision

Viewing changes to ivle/dispatch/__init__.py

ivle.webapp.testing: Add, with fake request and user.
ivle.webapp.base.test: Add! Test the JSONRESTView, using the new mocks.

Show diffs side-by-side

added added

removed removed

Lines of Context:
22
22
Apache send all requests to be handled by the module 'dispatch'.
23
23
 
24
24
Top-level handler. Handles all requests to all pages in IVLE.
25
 
Handles authentication and delegates to views for authorization,
26
 
then passes the request along to the appropriate view.
 
25
Handles authentication (not authorization).
 
26
Then passes the request along to the appropriate ivle app.
27
27
"""
28
28
 
29
29
import sys
30
30
import os
31
31
import os.path
32
32
import urllib
33
 
import urlparse
34
33
import cgi
35
34
import traceback
36
35
import logging
38
37
import time
39
38
 
40
39
import mod_python
 
40
import routes
41
41
 
42
42
from ivle import util
43
 
import ivle.config
 
43
import ivle.conf
 
44
import ivle.conf.apps
44
45
from ivle.dispatch.request import Request
45
 
import ivle.webapp.security
46
 
from ivle.webapp.base.plugins import ViewPlugin, PublicViewPlugin
47
 
from ivle.webapp.base.xhtml import XHTMLView, XHTMLErrorView
48
 
from ivle.webapp.errors import BadRequest, HTTPError, NotFound, Unauthorized
49
 
from ivle.webapp.publisher import Publisher, PublishingError
50
 
from ivle.webapp import ApplicationRoot
51
 
 
52
 
config = ivle.config.Config()
53
 
 
54
 
class ObjectPermissionCheckingPublisher(Publisher):
55
 
    """A specialised publisher that checks object permissions.
56
 
 
57
 
    This publisher verifies that the user holds any permission at all
58
 
    on the model objects through which the resolution path passes. If
59
 
    no permission is held, resolution is aborted with an Unauthorized
60
 
    exception.
61
 
 
62
 
    IMPORTANT: This does NOT check view permissions. It only checks
63
 
    the objects in between the root and the view, exclusive!
64
 
    """
65
 
 
66
 
    def traversed_to_object(self, obj):
67
 
        """Check that the user has any permission at all over the object."""
68
 
        if (hasattr(obj, 'get_permissions') and
69
 
            len(obj.get_permissions(self.root.user, config)) == 0):
70
 
            # Indicate the forbidden object if this is an admin.
71
 
            if self.root.user and self.root.user.admin:
72
 
                raise Unauthorized('Unauthorized: %s' % obj)
73
 
            else:
74
 
                raise Unauthorized()
75
 
 
76
 
 
77
 
def generate_publisher(view_plugins, root, publicmode=False):
 
46
from ivle.dispatch import login
 
47
import apps
 
48
import html
 
49
import plugins.console # XXX: Relies on www/ being in the Python path.
 
50
 
 
51
# XXX List of plugins, which will eventually be read in from conf
 
52
# Elements are (module, classname) pairs.
 
53
plugins_HACK = [
 
54
    ('ivle.webapp.admin.user', 'Plugin'),
 
55
]
 
56
 
 
57
def get_routes_mapper():
78
58
    """
79
59
    Build a Mapper object for doing URL matching using 'routes', based on the
80
 
    given plugin registry.
 
60
    plugins config.
81
61
    """
82
 
    r = ObjectPermissionCheckingPublisher(root=root)
83
 
 
84
 
    r.add_set_switch('api', 'api')
85
 
 
86
 
    if publicmode:
87
 
        view_attr = 'public_views'
88
 
        forward_route_attr = 'public_forward_routes'
89
 
        reverse_route_attr = 'public_reverse_routes'
90
 
    else:
91
 
        view_attr = 'views'
92
 
        forward_route_attr = 'forward_routes'
93
 
        reverse_route_attr = 'reverse_routes'
94
 
 
95
 
 
96
 
    for plugin in view_plugins:
97
 
        if hasattr(plugin, forward_route_attr):
98
 
            for fr in getattr(plugin, forward_route_attr):
99
 
                # An annotated function can also be passed in directly.
100
 
                if hasattr(fr, '_forward_route_meta'):
101
 
                    r.add_forward_func(fr)
102
 
                else:
103
 
                    r.add_forward(*fr)
104
 
 
105
 
        if hasattr(plugin, reverse_route_attr):
106
 
            for rr in getattr(plugin, reverse_route_attr):
107
 
                # An annotated function can also be passed in directly.
108
 
                if hasattr(rr, '_reverse_route_src'):
109
 
                    r.add_reverse_func(rr)
110
 
                else:
111
 
                    r.add_reverse(*rr)
112
 
 
113
 
        if hasattr(plugin, view_attr):
114
 
            for v in getattr(plugin, view_attr):
115
 
                r.add_view(*v)
116
 
 
117
 
    return r
118
 
 
119
 
def handler(apachereq):
120
 
    """Handles an HTTP request.
121
 
 
 
62
    m = routes.Mapper()
 
63
    for plugin_path, classname in plugins_HACK:
 
64
        # Load the plugin module from somewhere in the Python path
 
65
        # (Note that plugin_path is a fully-qualified Python module name).
 
66
        plugin = getattr(__import__(plugin_path, fromlist=[classname]),
 
67
            classname)
 
68
        # Establish a URL pattern for each element of plugin.urls
 
69
        for url in plugin.urls:
 
70
            routex = url[0]
 
71
            view_class = url[1]
 
72
            kwargs_dict = url[2] if len(url) >= 3 else {}
 
73
            m.connect(routex, view=view_class, **kwargs_dict)
 
74
    return m
 
75
 
 
76
def handler(req):
 
77
    """Handles a request which may be to anywhere in the site except media.
122
78
    Intended to be called by mod_python, as a handler.
123
79
 
124
 
    @param apachereq: An Apache request object.
125
 
    """
126
 
    # Make the request object into an IVLE request which can be given to views
127
 
    req = Request(apachereq, config)
128
 
 
 
80
    req: An Apache request object.
 
81
    """
 
82
    # Make the request object into an IVLE request which can be passed to apps
 
83
    apachereq = req
 
84
    try:
 
85
        req = Request(req, html.write_html_head)
 
86
    except Exception:
 
87
        # Pass the apachereq to error reporter, since ivle req isn't created
 
88
        # yet.
 
89
        handle_unknown_exception(apachereq, *sys.exc_info())
 
90
        # Tell Apache not to generate its own errors as well
 
91
        return mod_python.apache.OK
 
92
 
 
93
    # Run the main handler, and catch all exceptions
 
94
    try:
 
95
        return handler_(req, apachereq)
 
96
    except mod_python.apache.SERVER_RETURN:
 
97
        # An apache error. We discourage these, but they might still happen.
 
98
        # Just raise up.
 
99
        raise
 
100
    except Exception:
 
101
        handle_unknown_exception(req, *sys.exc_info())
 
102
        # Tell Apache not to generate its own errors as well
 
103
        return mod_python.apache.OK
 
104
 
 
105
def handler_(req, apachereq):
 
106
    """
 
107
    Nested handler function. May raise exceptions. The top-level handler is
 
108
    just used to catch exceptions.
 
109
    Takes both an IVLE request and an Apache req.
 
110
    """
129
111
    # Hack? Try and get the user login early just in case we throw an error
130
112
    # (most likely 404) to stop us seeing not logged in even when we are.
131
113
    if not req.publicmode:
132
 
        user = ivle.webapp.security.get_user_details(req)
133
 
 
134
 
        # Don't set the user if it is disabled or hasn't accepted the ToS.
135
 
        if user and user.valid:
136
 
            req.user = user
137
 
 
138
 
    req.publisher = generate_publisher(
139
 
        config.plugin_index[ViewPlugin],
140
 
        ApplicationRoot(req.config, req.store, req.user),
141
 
        publicmode=req.publicmode)
142
 
 
143
 
    try:
144
 
        obj, viewcls, subpath = req.publisher.resolve(req.uri.decode('utf-8'))
145
 
        try:
146
 
            # We 404 if we have a subpath but the view forbids it.
147
 
            if not viewcls.subpath_allowed and subpath:
148
 
                raise NotFound()
149
 
 
150
 
            # Instantiate the view, which should be a BaseView class
151
 
            view = viewcls(req, obj, subpath)
152
 
 
153
 
            # Check that the request (mainly the user) is permitted to access
154
 
            # the view.
155
 
            if not view.authorize(req):
156
 
                # Indicate the forbidden object if this is an admin.
157
 
                if req.user and req.user.admin:
158
 
                    raise Unauthorized('Unauthorized: %s' % view)
159
 
                else:
160
 
                    raise Unauthorized()
161
 
 
162
 
            # Non-GET requests from other sites leave us vulnerable to
163
 
            # CSRFs. Block them.
164
 
            referer = req.headers_in.get('Referer')
165
 
            if (referer is None or
166
 
                urlparse.urlparse(req.headers_in.get('Referer')).netloc !=
167
 
                    req.hostname):
168
 
                if req.method != 'GET' and not view.offsite_posts_allowed:
169
 
                    raise BadRequest(
170
 
                        "Non-GET requests from external sites are forbidden "
171
 
                        "for security reasons.")
172
 
 
173
 
            # Render the output
174
 
            view.render(req)
175
 
        except HTTPError, e:
176
 
            # A view explicitly raised an HTTP error. Respect it.
177
 
            req.status = e.code
178
 
 
179
 
            # Try to find a custom error view.
180
 
            if hasattr(viewcls, 'get_error_view'):
181
 
                errviewcls = viewcls.get_error_view(e)
182
 
            else:
183
 
                errviewcls = XHTMLView.get_error_view(e)
184
 
 
185
 
            if errviewcls:
186
 
                errview = errviewcls(req, e, obj)
187
 
                errview.render(req)
188
 
                return req.OK
189
 
            elif e.message:
190
 
                req.write(e.message)
191
 
                return req.OK
192
 
            else:
193
 
                return e.code
194
 
        except mod_python.apache.SERVER_RETURN:
195
 
            # A mod_python-specific Apache error.
196
 
            # XXX: We need to raise these because req.throw_error() uses them.
197
 
            # Remove this after Google Code issue 117 is fixed.
198
 
            raise
199
 
        except Exception, e:
200
 
            # A non-HTTPError appeared. We have an unknown exception. Panic.
201
 
            handle_unknown_exception(req, *sys.exc_info())
202
 
            return req.OK
203
 
        else:
204
 
            req.store.commit()
205
 
            return req.OK
206
 
    except Unauthorized, e:
207
 
        # Resolution failed due to a permission check. Display a pretty
208
 
        # error, or maybe a login page.
209
 
        XHTMLView.get_error_view(e)(req, e, req.publisher.root).render(req)
210
 
        return req.OK
211
 
    except PublishingError, e:
212
 
        req.status = 404
213
 
 
214
 
        if req.user and req.user.admin:
215
 
            XHTMLErrorView(req, NotFound('Not found: ' +
216
 
                                         str(e.args)), e[0]).render(req)
217
 
        else:
218
 
            XHTMLErrorView(req, NotFound(), e[0]).render(req)
219
 
 
220
 
        return req.OK
221
 
    finally:
222
 
        req.store.close()
 
114
        req.user = login.get_user_details(req)
 
115
 
 
116
    ### BEGIN New plugins framework ###
 
117
    # XXX This should be done ONCE per Python process, not per request.
 
118
    # (Wait till WSGI)
 
119
    # XXX No authentication is done here
 
120
    mapper = get_routes_mapper()
 
121
    matchdict = mapper.match(req.uri)
 
122
    if matchdict is not None:
 
123
        viewcls = matchdict['view']
 
124
        # Get the remaining arguments, less 'view', 'action' and 'controller'
 
125
        # (The latter two seem to be built-in, and we don't want them).
 
126
        kwargs = matchdict.copy()
 
127
        del kwargs['view']
 
128
        del kwargs['action']
 
129
        del kwargs['controller']
 
130
        # Instantiate the view, which should be a BaseView class
 
131
        view = viewcls(req, **kwargs)
 
132
        # Render the output
 
133
        view.render(req)
 
134
        req.store.commit()
 
135
        return req.OK
 
136
    ### END New plugins framework ###
 
137
 
 
138
    # Check req.app to see if it is valid. 404 if not.
 
139
    if req.app is not None and req.app not in ivle.conf.apps.app_url:
 
140
        req.throw_error(Request.HTTP_NOT_FOUND,
 
141
            "There is no application called %s." % repr(req.app))
 
142
 
 
143
    # Special handling for public mode - only allow the public app, call it
 
144
    # and get out.
 
145
    # NOTE: This will not behave correctly if the public app uses
 
146
    # write_html_head_foot, but "serve" does not.
 
147
    if req.publicmode:
 
148
        if req.app != ivle.conf.apps.public_app:
 
149
            req.throw_error(Request.HTTP_FORBIDDEN,
 
150
                "This application is not available on the public site.")
 
151
        app = ivle.conf.apps.app_url[ivle.conf.apps.public_app]
 
152
        apps.call_app(app.dir, req)
 
153
        return req.OK
 
154
 
 
155
    # app is the App object for the chosen app
 
156
    if req.app is None:
 
157
        app = ivle.conf.apps.app_url[ivle.conf.apps.default_app]
 
158
    else:
 
159
        app = ivle.conf.apps.app_url[req.app]
 
160
 
 
161
    # Check if app requires auth. If so, perform authentication and login.
 
162
    # This will either return a User object, None, or perform a redirect
 
163
    # which we will not catch here.
 
164
    if app.requireauth:
 
165
        req.user = login.login(req)
 
166
        logged_in = req.user is not None
 
167
    else:
 
168
        req.user = login.get_user_details(req)
 
169
        logged_in = True
 
170
 
 
171
    if logged_in:
 
172
        # Keep the user's session alive by writing to the session object.
 
173
        # req.get_session().save()
 
174
        # Well, it's a fine idea, but it creates considerable grief in the
 
175
        # concurrent update department, so instead, we'll just make the
 
176
        # sessions not time out.
 
177
        req.get_session().unlock()
 
178
 
 
179
        # If user did not specify an app, HTTP redirect to default app and
 
180
        # exit.
 
181
        if req.app is None:
 
182
            req.throw_redirect(util.make_path(ivle.conf.apps.default_app))
 
183
 
 
184
        # Set the default title to the app's tab name, if any. Otherwise URL
 
185
        # name.
 
186
        if app.name is not None:
 
187
            req.title = app.name
 
188
        else:
 
189
            req.title = req.app
 
190
 
 
191
        # Call the specified app with the request object
 
192
        apps.call_app(app.dir, req)
 
193
 
 
194
    # if not logged in, login.login will have written the login box.
 
195
    # Just clean up and exit.
 
196
 
 
197
    # MAKE SURE we write the HTTP (and possibly HTML) header. This
 
198
    # wouldn't happen if nothing else ever got written, so we have to make
 
199
    # sure.
 
200
    req.ensure_headers_written()
 
201
 
 
202
    # When done, write out the HTML footer if the app has requested it
 
203
    if req.write_html_head_foot:
 
204
        # Show the console if required
 
205
        if logged_in and app.useconsole:
 
206
            plugins.console.present(req, windowpane=True)
 
207
        html.write_html_foot(req)
 
208
 
 
209
    # Note: Apache will not write custom HTML error messages here.
 
210
    # Use req.throw_error to do that.
 
211
    return req.OK
223
212
 
224
213
def handle_unknown_exception(req, exc_type, exc_value, exc_traceback):
225
214
    """
228
217
    This is a full handler. It assumes nothing has been written, and writes a
229
218
    complete HTML page.
230
219
    req: May be EITHER an IVLE req or an Apache req.
231
 
    The handler code may pass an apache req if an exception occurs before
 
220
    IVLE reqs may have the HTML head/foot written (on a 400 error), but
 
221
    the handler code may pass an apache req if an exception occurs before
232
222
    the IVLE request is created.
233
223
    """
234
224
    req.content_type = "text/html"
235
 
    logfile = os.path.join(config['paths']['logs'], 'ivle_error.log')
 
225
    logfile = os.path.join(ivle.conf.log_path, 'ivle_error.log')
236
226
    logfail = False
237
 
 
238
 
    # XXX: This remains here for ivle.interpret's IVLEErrors. Once we rewrite
239
 
    #      fileservice, req.status should always be 500 (ISE) here.
 
227
    # For some reason, some versions of mod_python have "_server" instead of
 
228
    # "main_server". So we check for both.
 
229
    try:
 
230
        admin_email = mod_python.apache.main_server.server_admin
 
231
    except AttributeError:
 
232
        try:
 
233
            admin_email = mod_python.apache._server.server_admin
 
234
        except AttributeError:
 
235
            admin_email = ""
240
236
    try:
241
237
        httpcode = exc_value.httpcode
242
238
        req.status = httpcode
243
239
    except AttributeError:
244
240
        httpcode = None
245
241
        req.status = mod_python.apache.HTTP_INTERNAL_SERVER_ERROR
246
 
 
247
242
    try:
248
243
        publicmode = req.publicmode
249
244
    except AttributeError:
252
247
        login = req.user.login
253
248
    except AttributeError:
254
249
        login = None
 
250
    try:
 
251
        role = req.user.role
 
252
    except AttributeError:
 
253
        role = None
255
254
 
256
255
    # Log File
257
256
    try:
267
266
            filemode='a')
268
267
    except IOError:
269
268
        logfail = True
270
 
 
271
 
    # A "bad" error message. We shouldn't get here unless IVLE
272
 
    # misbehaves (which is currently very easy, if things aren't set up
273
 
    # correctly).
274
 
    # Write the traceback.
275
 
 
276
 
    # We need to special-case IVLEJailError, as we can get another
277
 
    # almost-exception out of it.
278
 
    if exc_type is util.IVLEJailError:
279
 
        tb = 'Exception information extracted from IVLEJailError:\n'
280
 
        tb += urllib.unquote(exc_value.info)
 
269
    logging.debug('Logging Unhandled Exception')
 
270
 
 
271
    # We handle 3 types of error.
 
272
    # IVLEErrors with 4xx response codes (client error).
 
273
    # IVLEErrors with 5xx response codes (handled server error).
 
274
    # Other exceptions (unhandled server error).
 
275
    # IVLEErrors should not have other response codes than 4xx or 5xx
 
276
    # (eg. throw_redirect should have been used for 3xx codes).
 
277
    # Therefore, that is treated as an unhandled error.
 
278
 
 
279
    if (exc_type == util.IVLEError and httpcode >= 400
 
280
        and httpcode <= 499):
 
281
        # IVLEErrors with 4xx response codes are client errors.
 
282
        # Therefore, these have a "nice" response (we even coat it in the IVLE
 
283
        # HTML wrappers).
 
284
        
 
285
        req.write_html_head_foot = True
 
286
        req.write_javascript_settings = False
 
287
        req.write('<div id="ivle_padding">\n')
 
288
        try:
 
289
            codename, msg = req.get_http_codename(httpcode)
 
290
        except AttributeError:
 
291
            codename, msg = None, None
 
292
        # Override the default message with the supplied one,
 
293
        # if available.
 
294
        if exc_value.message is not None:
 
295
            msg = exc_value.message
 
296
        if codename is not None:
 
297
            req.write("<h1>Error: %s</h1>\n" % cgi.escape(codename))
 
298
        else:
 
299
            req.write("<h1>Error</h1>\n")
 
300
        if msg is not None:
 
301
            req.write("<p>%s</p>\n" % cgi.escape(msg))
 
302
        else:
 
303
            req.write("<p>An unknown error occured.</p>\n")
 
304
        
 
305
        # Logging
 
306
        logging.info(str(msg))
 
307
        
 
308
        req.write("<p>(HTTP error code %d)</p>\n" % httpcode)
 
309
        if logfail:
 
310
            req.write("<p>Warning: Could not open Error Log: '%s'</p>\n"
 
311
                %cgi.escape(logfile))
 
312
        req.write('</div>\n')
 
313
        html.write_html_foot(req)
281
314
    else:
282
 
        tb = ''.join(traceback.format_exception(exc_type, exc_value,
283
 
                                                exc_traceback))
284
 
 
285
 
    logging.error('\n' + tb)
286
 
 
287
 
    # Error messages are only displayed is the user is NOT a student,
288
 
    # or if there has been a problem logging the error message
289
 
    show_errors = (not publicmode) and ((login and req.user.admin) or logfail)
290
 
    req.write("""<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN"                 
 
315
        # A "bad" error message. We shouldn't get here unless IVLE
 
316
        # misbehaves (which is currently very easy, if things aren't set up
 
317
        # correctly).
 
318
        # Write the traceback.
 
319
        # If this is a non-4xx IVLEError, get the message and httpcode and
 
320
        # make the error message a bit nicer (but still include the
 
321
        # traceback).
 
322
        # We also need to special-case IVLEJailError, as we can get another
 
323
        # almost-exception out of it.
 
324
 
 
325
        codename, msg = None, None
 
326
 
 
327
        if exc_type is util.IVLEJailError:
 
328
            msg = exc_value.type_str + ": " + exc_value.message
 
329
            tb = 'Exception information extracted from IVLEJailError:\n'
 
330
            tb += urllib.unquote(exc_value.info)
 
331
        else:
 
332
            try:
 
333
                codename, msg = req.get_http_codename(httpcode)
 
334
            except AttributeError:
 
335
                pass
 
336
            # Override the default message with the supplied one,
 
337
            # if available.
 
338
            if hasattr(exc_value, 'message') and exc_value.message is not None:
 
339
                msg = exc_value.message
 
340
                # Prepend the exception type
 
341
                if exc_type != util.IVLEError:
 
342
                    msg = exc_type.__name__ + ": " + msg
 
343
 
 
344
            tb = ''.join(traceback.format_exception(exc_type, exc_value,
 
345
                                                    exc_traceback))
 
346
 
 
347
        # Logging
 
348
        logging.error('%s\n%s'%(str(msg), tb))
 
349
        # Error messages are only displayed is the user is NOT a student,
 
350
        # or if there has been a problem logging the error message
 
351
        show_errors = (not publicmode) and ((login and \
 
352
                            str(role) != "student") or logfail)
 
353
        req.write("""<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN"                 
291
354
        "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">                                      
292
355
<html xmlns="http://www.w3.org/1999/xhtml">
293
356
<head><title>IVLE Internal Server Error</title></head>
294
357
<body>
295
 
<h1>IVLE Internal Server Error</h1>
 
358
<h1>IVLE Internal Server Error""")
 
359
        if (show_errors):
 
360
            if (codename is not None
 
361
                        and httpcode != mod_python.apache.HTTP_INTERNAL_SERVER_ERROR):
 
362
                req.write(": %s" % cgi.escape(codename))
 
363
        
 
364
        req.write("""</h1>
296
365
<p>An error has occured which is the fault of the IVLE developers or
297
 
administrators. """)
298
 
 
299
 
    if logfail:
300
 
        req.write("Please report this issue to the server administrators, "
301
 
                  "along with the following information.")
302
 
    else:
303
 
        req.write("Details have been logged for further examination.")
304
 
    req.write("</p>")
305
 
 
306
 
    if show_errors:
307
 
        req.write("<h2>Debugging information</h2>")
308
 
        req.write("<pre>\n%s\n</pre>\n"%cgi.escape(tb))
309
 
    req.write("</body></html>")
 
366
administration. The developers have been notified.</p>
 
367
""")
 
368
        if (show_errors):
 
369
            if msg is not None:
 
370
                req.write("<p>%s</p>\n" % cgi.escape(msg))
 
371
            if httpcode is not None:
 
372
                req.write("<p>(HTTP error code %d)</p>\n" % httpcode)
 
373
            req.write("""
 
374
    <p>Please report this to <a href="mailto:%s">%s</a> (the system
 
375
    administrator). Include the following information:</p>
 
376
    """ % (cgi.escape(admin_email), cgi.escape(admin_email)))
 
377
 
 
378
            req.write("<pre>\n%s\n</pre>\n"%cgi.escape(tb))
 
379
            if logfail:
 
380
                req.write("<p>Warning: Could not open Error Log: '%s'</p>\n"
 
381
                    %cgi.escape(logfile))
 
382
        req.write("</body></html>")