~azzar1/unity/add-show-desktop-key

« back to all changes in this revision

Viewing changes to ivle/database.py

  • Committer: William Grant
  • Date: 2010-02-25 07:34:50 UTC
  • Revision ID: grantw@unimelb.edu.au-20100225073450-zcl8ev5hlyhbszeu
Activate the Storm C extensions if possible. Moar speed.

Show diffs side-by-side

added added

removed removed

Lines of Context:
17
17
 
18
18
# Author: Matt Giuca, Will Grant
19
19
 
20
 
"""
21
 
Database Classes and Utilities for Storm ORM
 
20
"""Database utilities and content classes.
22
21
 
23
22
This module provides all of the classes which map to database tables.
24
23
It also provides miscellaneous utility functions for database interaction.
25
24
"""
26
25
 
27
 
import md5
 
26
import hashlib
28
27
import datetime
 
28
import os
29
29
 
30
30
from storm.locals import create_database, Store, Int, Unicode, DateTime, \
31
31
                         Reference, ReferenceSet, Bool, Storm, Desc
 
32
from storm.expr import Select, Max
 
33
from storm.exceptions import NotOneError, IntegrityError
32
34
 
33
 
import ivle.conf
 
35
from ivle.worksheet.rst import rst
34
36
 
35
37
__all__ = ['get_store',
36
38
            'User',
37
39
            'Subject', 'Semester', 'Offering', 'Enrolment',
38
40
            'ProjectSet', 'Project', 'ProjectGroup', 'ProjectGroupMembership',
 
41
            'Assessed', 'ProjectSubmission', 'ProjectExtension',
39
42
            'Exercise', 'Worksheet', 'WorksheetExercise',
40
43
            'ExerciseSave', 'ExerciseAttempt',
41
 
            'AlreadyEnrolledError', 'TestCase', 'TestSuite', 'TestSuiteVar'
 
44
            'TestCase', 'TestSuite', 'TestSuiteVar'
42
45
        ]
43
46
 
44
47
def _kwarg_init(self, **kwargs):
48
51
                % (self.__class__.__name__, k))
49
52
        setattr(self, k, v)
50
53
 
51
 
def get_conn_string():
52
 
    """
53
 
    Returns the Storm connection string, generated from the conf file.
 
54
def get_conn_string(config):
 
55
    """Create a Storm connection string to the IVLE database
 
56
 
 
57
    @param config: The IVLE configuration.
54
58
    """
55
59
 
56
60
    clusterstr = ''
57
 
    if ivle.conf.db_user:
58
 
        clusterstr += ivle.conf.db_user
59
 
        if ivle.conf.db_password:
60
 
            clusterstr += ':' + ivle.conf.db_password
 
61
    if config['database']['username']:
 
62
        clusterstr += config['database']['username']
 
63
        if config['database']['password']:
 
64
            clusterstr += ':' + config['database']['password']
61
65
        clusterstr += '@'
62
66
 
63
 
    host = ivle.conf.db_host or 'localhost'
64
 
    port = ivle.conf.db_port or 5432
 
67
    host = config['database']['host'] or 'localhost'
 
68
    port = config['database']['port'] or 5432
65
69
 
66
70
    clusterstr += '%s:%d' % (host, port)
67
71
 
68
 
    return "postgres://%s/%s" % (clusterstr, ivle.conf.db_dbname)
69
 
 
70
 
def get_store():
71
 
    """
72
 
    Open a database connection and transaction. Return a storm.store.Store
73
 
    instance connected to the configured IVLE database.
74
 
    """
75
 
    return Store(create_database(get_conn_string()))
 
72
    return "postgres://%s/%s" % (clusterstr, config['database']['name'])
 
73
 
 
74
def get_store(config):
 
75
    """Create a Storm store connected to the IVLE database.
 
76
 
 
77
    @param config: The IVLE configuration.
 
78
    """
 
79
    return Store(create_database(get_conn_string(config)))
76
80
 
77
81
# USERS #
78
82
 
79
83
class User(Storm):
80
 
    """
81
 
    Represents an IVLE user.
82
 
    """
 
84
    """An IVLE user account."""
83
85
    __storm_table__ = "login"
84
86
 
85
87
    id = Int(primary=True, name="loginid")
115
117
        return self.hash_password(password) == self.passhash
116
118
 
117
119
    @property
 
120
    def display_name(self):
 
121
        """Returns the "nice name" of the user or group."""
 
122
        return self.fullname
 
123
 
 
124
    @property
 
125
    def short_name(self):
 
126
        """Returns the database "identifier" name of the user or group."""
 
127
        return self.login
 
128
 
 
129
    @property
118
130
    def password_expired(self):
119
131
        fieldval = self.pass_exp
120
132
        return fieldval is not None and datetime.datetime.now() > fieldval
157
169
 
158
170
    # TODO: Invitations should be listed too?
159
171
    def get_groups(self, offering=None):
 
172
        """Get groups of which this user is a member.
 
173
 
 
174
        @param offering: An optional offering to restrict the search to.
 
175
        """
160
176
        preds = [
161
177
            ProjectGroupMembership.user_id == self.id,
162
178
            ProjectGroup.id == ProjectGroupMembership.project_group_id,
182
198
        '''A sanely ordered list of all of the user's enrolments.'''
183
199
        return self._get_enrolments(False) 
184
200
 
 
201
    def get_projects(self, offering=None, active_only=True):
 
202
        """Find projects that the user can submit.
 
203
 
 
204
        This will include projects for offerings in which the user is
 
205
        enrolled, as long as the project is not in a project set which has
 
206
        groups (ie. if maximum number of group members is 0).
 
207
 
 
208
        @param active_only: Whether to only search active offerings.
 
209
        @param offering: An optional offering to restrict the search to.
 
210
        """
 
211
        return Store.of(self).find(Project,
 
212
            Project.project_set_id == ProjectSet.id,
 
213
            ProjectSet.max_students_per_group == None,
 
214
            ProjectSet.offering_id == Offering.id,
 
215
            (offering is None) or (Offering.id == offering.id),
 
216
            Semester.id == Offering.semester_id,
 
217
            (not active_only) or (Semester.state == u'current'),
 
218
            Enrolment.offering_id == Offering.id,
 
219
            Enrolment.user_id == self.id,
 
220
            Enrolment.active == True)
 
221
 
185
222
    @staticmethod
186
223
    def hash_password(password):
187
 
        return md5.md5(password).hexdigest()
 
224
        """Hash a password with MD5."""
 
225
        return hashlib.md5(password).hexdigest()
188
226
 
189
227
    @classmethod
190
228
    def get_by_login(cls, store, login):
191
 
        """
192
 
        Get the User from the db associated with a given store and
193
 
        login.
194
 
        """
 
229
        """Find a user in a store by login name."""
195
230
        return store.find(cls, cls.login == unicode(login)).one()
196
231
 
197
 
    def get_permissions(self, user):
 
232
    def get_permissions(self, user, config):
 
233
        """Determine privileges held by a user over this object.
 
234
 
 
235
        If the user requesting privileges is this user or an admin,
 
236
        they may do everything. Otherwise they may do nothing.
 
237
        """
198
238
        if user and user.admin or user is self:
199
 
            return set(['view', 'edit'])
 
239
            return set(['view_public', 'view', 'edit', 'submit_project'])
200
240
        else:
201
 
            return set()
 
241
            return set(['view_public'])
202
242
 
203
243
# SUBJECTS AND ENROLMENTS #
204
244
 
205
245
class Subject(Storm):
 
246
    """A subject (or course) which is run in some semesters."""
 
247
 
206
248
    __storm_table__ = "subject"
207
249
 
208
250
    id = Int(primary=True, name="subjectid")
209
251
    code = Unicode(name="subj_code")
210
252
    name = Unicode(name="subj_name")
211
253
    short_name = Unicode(name="subj_short_name")
212
 
    url = Unicode()
213
254
 
214
255
    offerings = ReferenceSet(id, 'Offering.subject_id')
215
256
 
218
259
    def __repr__(self):
219
260
        return "<%s '%s'>" % (type(self).__name__, self.short_name)
220
261
 
221
 
    def get_permissions(self, user):
 
262
    def get_permissions(self, user, config):
 
263
        """Determine privileges held by a user over this object.
 
264
 
 
265
        If the user requesting privileges is an admin, they may edit.
 
266
        Otherwise they may only read.
 
267
        """
222
268
        perms = set()
223
269
        if user is not None:
224
270
            perms.add('view')
226
272
                perms.add('edit')
227
273
        return perms
228
274
 
 
275
    def active_offerings(self):
 
276
        """Find active offerings for this subject.
 
277
 
 
278
        Return a sequence of currently active offerings for this subject
 
279
        (offerings whose semester.state is "current"). There should be 0 or 1
 
280
        elements in this sequence, but it's possible there are more.
 
281
        """
 
282
        return self.offerings.find(Offering.semester_id == Semester.id,
 
283
                                   Semester.state == u'current')
 
284
 
 
285
    def offering_for_semester(self, year, semester):
 
286
        """Get the offering for the given year/semester, or None.
 
287
 
 
288
        @param year: A string representation of the year.
 
289
        @param semester: A string representation of the semester.
 
290
        """
 
291
        return self.offerings.find(Offering.semester_id == Semester.id,
 
292
                               Semester.year == unicode(year),
 
293
                               Semester.semester == unicode(semester)).one()
 
294
 
229
295
class Semester(Storm):
 
296
    """A semester in which subjects can be run."""
 
297
 
230
298
    __storm_table__ = "semester"
231
299
 
232
300
    id = Int(primary=True, name="semesterid")
235
303
    state = Unicode()
236
304
 
237
305
    offerings = ReferenceSet(id, 'Offering.semester_id')
 
306
    enrolments = ReferenceSet(id,
 
307
                              'Offering.semester_id',
 
308
                              'Offering.id',
 
309
                              'Enrolment.offering_id')
238
310
 
239
311
    __init__ = _kwarg_init
240
312
 
242
314
        return "<%s %s/%s>" % (type(self).__name__, self.year, self.semester)
243
315
 
244
316
class Offering(Storm):
 
317
    """An offering of a subject in a particular semester."""
 
318
 
245
319
    __storm_table__ = "offering"
246
320
 
247
321
    id = Int(primary=True, name="offeringid")
249
323
    subject = Reference(subject_id, Subject.id)
250
324
    semester_id = Int(name="semesterid")
251
325
    semester = Reference(semester_id, Semester.id)
 
326
    description = Unicode()
 
327
    url = Unicode()
 
328
    show_worksheet_marks = Bool()
 
329
    worksheet_cutoff = DateTime()
252
330
    groups_student_permissions = Unicode()
253
331
 
254
332
    enrolments = ReferenceSet(id, 'Enrolment.offering_id')
257
335
                           'Enrolment.user_id',
258
336
                           'User.id')
259
337
    project_sets = ReferenceSet(id, 'ProjectSet.offering_id')
 
338
    projects = ReferenceSet(id,
 
339
                            'ProjectSet.offering_id',
 
340
                            'ProjectSet.id',
 
341
                            'Project.project_set_id')
260
342
 
261
343
    worksheets = ReferenceSet(id, 
262
344
        'Worksheet.offering_id', 
263
 
        order_by="Worksheet.seq_no"
 
345
        order_by="seq_no"
264
346
    )
265
347
 
266
348
    __init__ = _kwarg_init
269
351
        return "<%s %r in %r>" % (type(self).__name__, self.subject,
270
352
                                  self.semester)
271
353
 
272
 
    def enrol(self, user):
273
 
        '''Enrol a user in this offering.'''
274
 
        # We'll get a horrible database constraint violation error if we try
275
 
        # to add a second enrolment.
276
 
        if Store.of(self).find(Enrolment,
277
 
                               Enrolment.user_id == user.id,
278
 
                               Enrolment.offering_id == self.id).count() == 1:
279
 
            raise AlreadyEnrolledError()
280
 
 
281
 
        e = Enrolment(user=user, offering=self, active=True)
282
 
        self.enrolments.add(e)
283
 
 
284
 
    def get_permissions(self, user):
 
354
    def enrol(self, user, role=u'student'):
 
355
        """Enrol a user in this offering.
 
356
 
 
357
        Enrolments handle both the staff and student cases. The role controls
 
358
        the privileges granted by this enrolment.
 
359
        """
 
360
        enrolment = Store.of(self).find(Enrolment,
 
361
                               Enrolment.user_id == user.id,
 
362
                               Enrolment.offering_id == self.id).one()
 
363
 
 
364
        if enrolment is None:
 
365
            enrolment = Enrolment(user=user, offering=self)
 
366
            self.enrolments.add(enrolment)
 
367
 
 
368
        enrolment.active = True
 
369
        enrolment.role = role
 
370
 
 
371
    def unenrol(self, user):
 
372
        '''Unenrol a user from this offering.'''
 
373
        enrolment = Store.of(self).find(Enrolment,
 
374
                               Enrolment.user_id == user.id,
 
375
                               Enrolment.offering_id == self.id).one()
 
376
        Store.of(enrolment).remove(enrolment)
 
377
 
 
378
    def get_permissions(self, user, config):
285
379
        perms = set()
286
380
        if user is not None:
287
 
            perms.add('view')
 
381
            enrolment = self.get_enrolment(user)
 
382
            if enrolment or user.admin:
 
383
                perms.add('view')
 
384
            if enrolment and enrolment.role == u'tutor':
 
385
                perms.add('view_project_submissions')
 
386
                # Site-specific policy on the role of tutors
 
387
                if config['policy']['tutors_can_enrol_students']:
 
388
                    perms.add('enrol')
 
389
                    perms.add('enrol_student')
 
390
                if config['policy']['tutors_can_edit_worksheets']:
 
391
                    perms.add('edit_worksheets')
 
392
                if config['policy']['tutors_can_admin_groups']:
 
393
                    perms.add('admin_groups')
 
394
            if (enrolment and enrolment.role in (u'lecturer')) or user.admin:
 
395
                perms.add('view_project_submissions')
 
396
                perms.add('admin_groups')
 
397
                perms.add('edit_worksheets')
 
398
                perms.add('view_worksheet_marks')
 
399
                perms.add('edit')           # Can edit projects & details
 
400
                perms.add('enrol')          # Can see enrolment screen at all
 
401
                perms.add('enrol_student')  # Can enrol students
 
402
                perms.add('enrol_tutor')    # Can enrol tutors
288
403
            if user.admin:
289
 
                perms.add('edit')
 
404
                perms.add('enrol_lecturer') # Can enrol lecturers
290
405
        return perms
291
406
 
 
407
    def get_enrolment(self, user):
 
408
        """Find the user's enrolment in this offering."""
 
409
        try:
 
410
            enrolment = self.enrolments.find(user=user).one()
 
411
        except NotOneError:
 
412
            enrolment = None
 
413
 
 
414
        return enrolment
 
415
 
 
416
    def get_members_by_role(self, role):
 
417
        return Store.of(self).find(User,
 
418
                Enrolment.user_id == User.id,
 
419
                Enrolment.offering_id == self.id,
 
420
                Enrolment.role == role
 
421
                ).order_by(User.login)
 
422
 
 
423
    @property
 
424
    def students(self):
 
425
        return self.get_members_by_role(u'student')
 
426
 
 
427
    def get_open_projects_for_user(self, user):
 
428
        """Find all projects currently open to submissions by a user."""
 
429
        # XXX: Respect extensions.
 
430
        return self.projects.find(Project.deadline > datetime.datetime.now())
 
431
 
 
432
    def clone_worksheets(self, source):
 
433
        """Clone all worksheets from the specified source to this offering."""
 
434
        import ivle.worksheet.utils
 
435
        for worksheet in source.worksheets:
 
436
            newws = Worksheet()
 
437
            newws.seq_no = worksheet.seq_no
 
438
            newws.identifier = worksheet.identifier
 
439
            newws.name = worksheet.name
 
440
            newws.assessable = worksheet.assessable
 
441
            newws.published = worksheet.published
 
442
            newws.data = worksheet.data
 
443
            newws.format = worksheet.format
 
444
            newws.offering = self
 
445
            Store.of(self).add(newws)
 
446
            ivle.worksheet.utils.update_exerciselist(newws)
 
447
 
 
448
 
292
449
class Enrolment(Storm):
 
450
    """An enrolment of a user in an offering.
 
451
 
 
452
    This represents the roles of both staff and students.
 
453
    """
 
454
 
293
455
    __storm_table__ = "enrolment"
294
456
    __storm_primary__ = "user_id", "offering_id"
295
457
 
315
477
        return "<%s %r in %r>" % (type(self).__name__, self.user,
316
478
                                  self.offering)
317
479
 
318
 
class AlreadyEnrolledError(Exception):
319
 
    pass
 
480
    def get_permissions(self, user, config):
 
481
        # A user can edit any enrolment that they could have created.
 
482
        perms = set()
 
483
        if ('enrol_' + str(self.role)) in self.offering.get_permissions(
 
484
            user, config):
 
485
            perms.add('edit')
 
486
        return perms
 
487
 
 
488
    def delete(self):
 
489
        """Delete this enrolment."""
 
490
        Store.of(self).remove(self)
 
491
 
320
492
 
321
493
# PROJECTS #
322
494
 
323
495
class ProjectSet(Storm):
 
496
    """A set of projects that share common groups.
 
497
 
 
498
    Each student project group is attached to a project set. The group is
 
499
    valid for all projects in the group's set.
 
500
    """
 
501
 
324
502
    __storm_table__ = "project_set"
325
503
 
326
504
    id = Int(name="projectsetid", primary=True)
337
515
        return "<%s %d in %r>" % (type(self).__name__, self.id,
338
516
                                  self.offering)
339
517
 
 
518
    def get_permissions(self, user, config):
 
519
        return self.offering.get_permissions(user, config)
 
520
 
 
521
    def get_groups_for_user(self, user):
 
522
        """List all groups in this offering of which the user is a member."""
 
523
        assert self.is_group
 
524
        return Store.of(self).find(
 
525
            ProjectGroup,
 
526
            ProjectGroupMembership.user_id == user.id,
 
527
            ProjectGroupMembership.project_group_id == ProjectGroup.id,
 
528
            ProjectGroup.project_set_id == self.id)
 
529
 
 
530
    def get_submission_principal(self, user):
 
531
        """Get the principal on behalf of which the user can submit.
 
532
 
 
533
        If this is a solo project set, the given user is returned. If
 
534
        the user is a member of exactly one group, all the group is
 
535
        returned. Otherwise, None is returned.
 
536
        """
 
537
        if self.is_group:
 
538
            groups = self.get_groups_for_user(user)
 
539
            if groups.count() == 1:
 
540
                return groups.one()
 
541
            else:
 
542
                return None
 
543
        else:
 
544
            return user
 
545
 
 
546
    @property
 
547
    def is_group(self):
 
548
        return self.max_students_per_group is not None
 
549
 
 
550
    @property
 
551
    def assigned(self):
 
552
        """Get the entities (groups or users) assigned to submit this project.
 
553
 
 
554
        This will be a Storm ResultSet.
 
555
        """
 
556
        #If its a solo project, return everyone in offering
 
557
        if self.is_group:
 
558
            return self.project_groups
 
559
        else:
 
560
            return self.offering.students
 
561
 
 
562
class DeadlinePassed(Exception):
 
563
    """An exception indicating that a project cannot be submitted because the
 
564
    deadline has passed."""
 
565
    def __init__(self):
 
566
        pass
 
567
    def __str__(self):
 
568
        return "The project deadline has passed"
 
569
 
340
570
class Project(Storm):
 
571
    """A student project for which submissions can be made."""
 
572
 
341
573
    __storm_table__ = "project"
342
574
 
343
575
    id = Int(name="projectid", primary=True)
 
576
    name = Unicode()
 
577
    short_name = Unicode()
344
578
    synopsis = Unicode()
345
579
    url = Unicode()
346
580
    project_set_id = Int(name="projectsetid")
347
581
    project_set = Reference(project_set_id, ProjectSet.id)
348
582
    deadline = DateTime()
349
583
 
 
584
    assesseds = ReferenceSet(id, 'Assessed.project_id')
 
585
    submissions = ReferenceSet(id,
 
586
                               'Assessed.project_id',
 
587
                               'Assessed.id',
 
588
                               'ProjectSubmission.assessed_id')
 
589
 
350
590
    __init__ = _kwarg_init
351
591
 
352
592
    def __repr__(self):
353
 
        return "<%s '%s' in %r>" % (type(self).__name__, self.synopsis,
 
593
        return "<%s '%s' in %r>" % (type(self).__name__, self.short_name,
354
594
                                  self.project_set.offering)
355
595
 
 
596
    def can_submit(self, principal, user):
 
597
        return (self in principal.get_projects() and
 
598
                not self.has_deadline_passed(user))
 
599
 
 
600
    def submit(self, principal, path, revision, who):
 
601
        """Submit a Subversion path and revision to a project.
 
602
 
 
603
        @param principal: The owner of the Subversion repository, and the
 
604
                          entity on behalf of whom the submission is being made
 
605
        @param path: A path within that repository to submit.
 
606
        @param revision: The revision of that path to submit.
 
607
        @param who: The user who is actually making the submission.
 
608
        """
 
609
 
 
610
        if not self.can_submit(principal, who):
 
611
            raise DeadlinePassed()
 
612
 
 
613
        a = Assessed.get(Store.of(self), principal, self)
 
614
        ps = ProjectSubmission()
 
615
        # Raise SubmissionError if the path is illegal
 
616
        ps.path = ProjectSubmission.test_and_normalise_path(path)
 
617
        ps.revision = revision
 
618
        ps.date_submitted = datetime.datetime.now()
 
619
        ps.assessed = a
 
620
        ps.submitter = who
 
621
 
 
622
        return ps
 
623
 
 
624
    def get_permissions(self, user, config):
 
625
        return self.project_set.offering.get_permissions(user, config)
 
626
 
 
627
    @property
 
628
    def latest_submissions(self):
 
629
        """Return the latest submission for each Assessed."""
 
630
        return Store.of(self).find(ProjectSubmission,
 
631
            Assessed.project_id == self.id,
 
632
            ProjectSubmission.assessed_id == Assessed.id,
 
633
            ProjectSubmission.date_submitted == Select(
 
634
                    Max(ProjectSubmission.date_submitted),
 
635
                    ProjectSubmission.assessed_id == Assessed.id,
 
636
                    tables=ProjectSubmission
 
637
            )
 
638
        )
 
639
 
 
640
    def has_deadline_passed(self, user):
 
641
        """Check whether the deadline has passed."""
 
642
        # XXX: Need to respect extensions.
 
643
        return self.deadline < datetime.datetime.now()
 
644
 
 
645
    def get_submissions_for_principal(self, principal):
 
646
        """Fetch a ResultSet of all submissions by a particular principal."""
 
647
        assessed = Assessed.get(Store.of(self), principal, self)
 
648
        if assessed is None:
 
649
            return
 
650
        return assessed.submissions
 
651
 
 
652
 
 
653
 
356
654
class ProjectGroup(Storm):
 
655
    """A group of students working together on a project."""
 
656
 
357
657
    __storm_table__ = "project_group"
358
658
 
359
659
    id = Int(name="groupid", primary=True)
376
676
        return "<%s %s in %r>" % (type(self).__name__, self.name,
377
677
                                  self.project_set.offering)
378
678
 
 
679
    @property
 
680
    def display_name(self):
 
681
        """Returns the "nice name" of the user or group."""
 
682
        return self.nick
 
683
 
 
684
    @property
 
685
    def short_name(self):
 
686
        """Returns the database "identifier" name of the user or group."""
 
687
        return self.name
 
688
 
 
689
    def get_projects(self, offering=None, active_only=True):
 
690
        '''Find projects that the group can submit.
 
691
 
 
692
        This will include projects in the project set which owns this group,
 
693
        unless the project set disallows groups (in which case none will be
 
694
        returned).
 
695
 
 
696
        @param active_only: Whether to only search active offerings.
 
697
        @param offering: An optional offering to restrict the search to.
 
698
        '''
 
699
        return Store.of(self).find(Project,
 
700
            Project.project_set_id == ProjectSet.id,
 
701
            ProjectSet.id == self.project_set.id,
 
702
            ProjectSet.max_students_per_group != None,
 
703
            ProjectSet.offering_id == Offering.id,
 
704
            (offering is None) or (Offering.id == offering.id),
 
705
            Semester.id == Offering.semester_id,
 
706
            (not active_only) or (Semester.state == u'current'))
 
707
 
 
708
 
 
709
    def get_permissions(self, user, config):
 
710
        if user.admin or user in self.members:
 
711
            return set(['submit_project'])
 
712
        else:
 
713
            return set()
 
714
 
379
715
class ProjectGroupMembership(Storm):
 
716
    """A student's membership in a project group."""
 
717
 
380
718
    __storm_table__ = "group_member"
381
719
    __storm_primary__ = "user_id", "project_group_id"
382
720
 
391
729
        return "<%s %r in %r>" % (type(self).__name__, self.user,
392
730
                                  self.project_group)
393
731
 
 
732
class Assessed(Storm):
 
733
    """A composite of a user or group combined with a project.
 
734
 
 
735
    Each project submission and extension refers to an Assessed. It is the
 
736
    sole specifier of the repository and project.
 
737
    """
 
738
 
 
739
    __storm_table__ = "assessed"
 
740
 
 
741
    id = Int(name="assessedid", primary=True)
 
742
    user_id = Int(name="loginid")
 
743
    user = Reference(user_id, User.id)
 
744
    project_group_id = Int(name="groupid")
 
745
    project_group = Reference(project_group_id, ProjectGroup.id)
 
746
 
 
747
    project_id = Int(name="projectid")
 
748
    project = Reference(project_id, Project.id)
 
749
 
 
750
    extensions = ReferenceSet(id, 'ProjectExtension.assessed_id')
 
751
    submissions = ReferenceSet(
 
752
        id, 'ProjectSubmission.assessed_id', order_by='date_submitted')
 
753
 
 
754
    def __repr__(self):
 
755
        return "<%s %r in %r>" % (type(self).__name__,
 
756
            self.user or self.project_group, self.project)
 
757
 
 
758
    @property
 
759
    def is_group(self):
 
760
        """True if the Assessed is a group, False if it is a user."""
 
761
        return self.project_group is not None
 
762
 
 
763
    @property
 
764
    def principal(self):
 
765
        return self.project_group or self.user
 
766
 
 
767
    @property
 
768
    def checkout_location(self):
 
769
        """Returns the location of the Subversion workspace for this piece of
 
770
        assessment, relative to each group member's home directory."""
 
771
        subjectname = self.project.project_set.offering.subject.short_name
 
772
        if self.is_group:
 
773
            checkout_dir_name = self.principal.short_name
 
774
        else:
 
775
            checkout_dir_name = "mywork"
 
776
        return subjectname + "/" + checkout_dir_name
 
777
 
 
778
    @classmethod
 
779
    def get(cls, store, principal, project):
 
780
        """Find or create an Assessed for the given user or group and project.
 
781
 
 
782
        @param principal: The user or group.
 
783
        @param project: The project.
 
784
        """
 
785
        t = type(principal)
 
786
        if t not in (User, ProjectGroup):
 
787
            raise AssertionError('principal must be User or ProjectGroup')
 
788
 
 
789
        a = store.find(cls,
 
790
            (t is User) or (cls.project_group_id == principal.id),
 
791
            (t is ProjectGroup) or (cls.user_id == principal.id),
 
792
            cls.project_id == project.id).one()
 
793
 
 
794
        if a is None:
 
795
            a = cls()
 
796
            if t is User:
 
797
                a.user = principal
 
798
            else:
 
799
                a.project_group = principal
 
800
            a.project = project
 
801
            store.add(a)
 
802
 
 
803
        return a
 
804
 
 
805
 
 
806
class ProjectExtension(Storm):
 
807
    """An extension granted to a user or group on a particular project.
 
808
 
 
809
    The user or group and project are specified by the Assessed.
 
810
    """
 
811
 
 
812
    __storm_table__ = "project_extension"
 
813
 
 
814
    id = Int(name="extensionid", primary=True)
 
815
    assessed_id = Int(name="assessedid")
 
816
    assessed = Reference(assessed_id, Assessed.id)
 
817
    deadline = DateTime()
 
818
    approver_id = Int(name="approver")
 
819
    approver = Reference(approver_id, User.id)
 
820
    notes = Unicode()
 
821
 
 
822
class SubmissionError(Exception):
 
823
    """Denotes a validation error during submission."""
 
824
    pass
 
825
 
 
826
class ProjectSubmission(Storm):
 
827
    """A submission from a user or group repository to a particular project.
 
828
 
 
829
    The content of a submission is a single path and revision inside a
 
830
    repository. The repository is that owned by the submission's user and
 
831
    group, while the path and revision are explicit.
 
832
 
 
833
    The user or group and project are specified by the Assessed.
 
834
    """
 
835
 
 
836
    __storm_table__ = "project_submission"
 
837
 
 
838
    id = Int(name="submissionid", primary=True)
 
839
    assessed_id = Int(name="assessedid")
 
840
    assessed = Reference(assessed_id, Assessed.id)
 
841
    path = Unicode()
 
842
    revision = Int()
 
843
    submitter_id = Int(name="submitter")
 
844
    submitter = Reference(submitter_id, User.id)
 
845
    date_submitted = DateTime()
 
846
 
 
847
    def get_verify_url(self, user):
 
848
        """Get the URL for verifying this submission, within the account of
 
849
        the given user."""
 
850
        # If this is a solo project, then self.path will be prefixed with the
 
851
        # subject name. Remove the first path segment.
 
852
        submitpath = self.path[1:] if self.path[:1] == '/' else self.path
 
853
        if not self.assessed.is_group:
 
854
            if '/' in submitpath:
 
855
                submitpath = submitpath.split('/', 1)[1]
 
856
            else:
 
857
                submitpath = ''
 
858
        return "/files/%s/%s/%s?r=%d" % (user.login,
 
859
            self.assessed.checkout_location, submitpath, self.revision)
 
860
 
 
861
    @staticmethod
 
862
    def test_and_normalise_path(path):
 
863
        """Test that path is valid, and normalise it. This prevents possible
 
864
        injections using malicious paths.
 
865
        Returns the updated path, if successful.
 
866
        Raises SubmissionError if invalid.
 
867
        """
 
868
        # Ensure the path is absolute to prevent being tacked onto working
 
869
        # directories.
 
870
        # Prevent '\n' because it will break all sorts of things.
 
871
        # Prevent '[' and ']' because they can be used to inject into the
 
872
        # svn.conf.
 
873
        # Normalise to avoid resulting in ".." path segments.
 
874
        if not os.path.isabs(path):
 
875
            raise SubmissionError("Path is not absolute")
 
876
        if any(c in path for c in "\n[]"):
 
877
            raise SubmissionError("Path must not contain '\\n', '[' or ']'")
 
878
        return os.path.normpath(path)
 
879
 
394
880
# WORKSHEETS AND EXERCISES #
395
881
 
396
882
class Exercise(Storm):
 
883
    """An exercise for students to complete in a worksheet.
 
884
 
 
885
    An exercise may be present in any number of worksheets.
 
886
    """
 
887
 
397
888
    __storm_table__ = "exercise"
398
889
    id = Unicode(primary=True, name="identifier")
399
890
    name = Unicode()
400
891
    description = Unicode()
 
892
    _description_xhtml_cache = Unicode(name='description_xhtml_cache')
401
893
    partial = Unicode()
402
894
    solution = Unicode()
403
895
    include = Unicode()
404
896
    num_rows = Int()
405
897
 
 
898
    worksheet_exercises =  ReferenceSet(id,
 
899
        'WorksheetExercise.exercise_id')
 
900
 
406
901
    worksheets = ReferenceSet(id,
407
902
        'WorksheetExercise.exercise_id',
408
903
        'WorksheetExercise.worksheet_id',
409
904
        'Worksheet.id'
410
905
    )
411
 
    
412
 
    test_suites = ReferenceSet(id, 'TestSuite.exercise_id')
 
906
 
 
907
    test_suites = ReferenceSet(id, 
 
908
        'TestSuite.exercise_id',
 
909
        order_by='seq_no')
413
910
 
414
911
    __init__ = _kwarg_init
415
912
 
416
913
    def __repr__(self):
417
914
        return "<%s %s>" % (type(self).__name__, self.name)
418
915
 
419
 
    def get_permissions(self, user):
 
916
    def get_permissions(self, user, config):
 
917
        return self.global_permissions(user, config)
 
918
 
 
919
    @staticmethod
 
920
    def global_permissions(user, config):
 
921
        """Gets the set of permissions this user has over *all* exercises.
 
922
        This is used to determine who may view the exercises list, and create
 
923
        new exercises."""
420
924
        perms = set()
 
925
        roles = set()
421
926
        if user is not None:
422
927
            if user.admin:
423
928
                perms.add('edit')
424
929
                perms.add('view')
 
930
            elif u'lecturer' in set((e.role for e in user.active_enrolments)):
 
931
                perms.add('edit')
 
932
                perms.add('view')
 
933
            elif (config['policy']['tutors_can_edit_worksheets']
 
934
            and u'tutor' in set((e.role for e in user.active_enrolments))):
 
935
                # Site-specific policy on the role of tutors
 
936
                perms.add('edit')
 
937
                perms.add('view')
 
938
 
425
939
        return perms
426
940
 
 
941
    def _cache_description_xhtml(self, invalidate=False):
 
942
        # Don't regenerate an existing cache unless forced.
 
943
        if self._description_xhtml_cache is not None and not invalidate:
 
944
            return
 
945
 
 
946
        if self.description:
 
947
            self._description_xhtml_cache = rst(self.description)
 
948
        else:
 
949
            self._description_xhtml_cache = None
 
950
 
 
951
    @property
 
952
    def description_xhtml(self):
 
953
        """The XHTML exercise description, converted from reStructuredText."""
 
954
        self._cache_description_xhtml()
 
955
        return self._description_xhtml_cache
 
956
 
 
957
    def set_description(self, description):
 
958
        self.description = description
 
959
        self._cache_description_xhtml(invalidate=True)
 
960
 
 
961
    def delete(self):
 
962
        """Deletes the exercise, providing it has no associated worksheets."""
 
963
        if (self.worksheet_exercises.count() > 0):
 
964
            raise IntegrityError()
 
965
        for suite in self.test_suites:
 
966
            suite.delete()
 
967
        Store.of(self).remove(self)
 
968
 
427
969
class Worksheet(Storm):
 
970
    """A worksheet with exercises for students to complete.
 
971
 
 
972
    Worksheets are owned by offerings.
 
973
    """
 
974
 
428
975
    __storm_table__ = "worksheet"
429
976
 
430
977
    id = Int(primary=True, name="worksheetid")
432
979
    identifier = Unicode()
433
980
    name = Unicode()
434
981
    assessable = Bool()
 
982
    published = Bool()
435
983
    data = Unicode()
 
984
    _data_xhtml_cache = Unicode(name='data_xhtml_cache')
436
985
    seq_no = Int()
437
986
    format = Unicode()
438
987
 
445
994
    # Use worksheet_exercises to get access to the *active* WorksheetExercise
446
995
    # objects binding worksheets to exercises. This is required to access the
447
996
    # "optional" field.
 
997
 
448
998
    @property
449
999
    def worksheet_exercises(self):
450
1000
        return self.all_worksheet_exercises.find(active=True)
454
1004
    def __repr__(self):
455
1005
        return "<%s %s>" % (type(self).__name__, self.name)
456
1006
 
457
 
    # XXX Refactor this - make it an instance method of Subject rather than a
458
 
    # class method of Worksheet. Can't do that now because Subject isn't
459
 
    # linked referentially to the Worksheet.
460
 
    @classmethod
461
 
    def get_by_name(cls, store, subjectname, worksheetname):
462
 
        """
463
 
        Get the Worksheet from the db associated with a given store, subject
464
 
        name and worksheet name.
465
 
        """
466
 
        return store.find(cls, cls.subject == unicode(subjectname),
467
 
            cls.name == unicode(worksheetname)).one()
 
1007
    def remove_all_exercises(self):
 
1008
        """Remove all exercises from this worksheet.
468
1009
 
469
 
    def remove_all_exercises(self, store):
470
 
        """
471
 
        Remove all exercises from this worksheet.
472
1010
        This does not delete the exercises themselves. It just removes them
473
1011
        from the worksheet.
474
1012
        """
 
1013
        store = Store.of(self)
 
1014
        for ws_ex in self.all_worksheet_exercises:
 
1015
            if ws_ex.saves.count() > 0 or ws_ex.attempts.count() > 0:
 
1016
                raise IntegrityError()
475
1017
        store.find(WorksheetExercise,
476
1018
            WorksheetExercise.worksheet == self).remove()
477
 
            
478
 
    def get_permissions(self, user):
479
 
        return self.offering.get_permissions(user)
 
1019
 
 
1020
    def get_permissions(self, user, config):
 
1021
        offering_perms = self.offering.get_permissions(user, config)
 
1022
 
 
1023
        perms = set()
 
1024
 
 
1025
        # Anybody who can view an offering can view a published
 
1026
        # worksheet.
 
1027
        if 'view' in offering_perms and self.published:
 
1028
            perms.add('view')
 
1029
 
 
1030
        # Any worksheet editors can both view and edit.
 
1031
        if 'edit_worksheets' in offering_perms:
 
1032
            perms.add('view')
 
1033
            perms.add('edit')
 
1034
 
 
1035
        return perms
 
1036
 
 
1037
    def _cache_data_xhtml(self, invalidate=False):
 
1038
        # Don't regenerate an existing cache unless forced.
 
1039
        if self._data_xhtml_cache is not None and not invalidate:
 
1040
            return
 
1041
 
 
1042
        if self.format == u'rst':
 
1043
            self._data_xhtml_cache = rst(self.data)
 
1044
        else:
 
1045
            self._data_xhtml_cache = None
 
1046
 
 
1047
    @property
 
1048
    def data_xhtml(self):
 
1049
        """The XHTML of this worksheet, converted from rST if required."""
 
1050
        # Update the rST -> XHTML cache, if required.
 
1051
        self._cache_data_xhtml()
 
1052
 
 
1053
        if self.format == u'rst':
 
1054
            return self._data_xhtml_cache
 
1055
        else:
 
1056
            return self.data
 
1057
 
 
1058
    def set_data(self, data):
 
1059
        self.data = data
 
1060
        self._cache_data_xhtml(invalidate=True)
 
1061
 
 
1062
    def delete(self):
 
1063
        """Deletes the worksheet, provided it has no attempts on any exercises.
 
1064
 
 
1065
        Returns True if delete succeeded, or False if this worksheet has
 
1066
        attempts attached."""
 
1067
        for ws_ex in self.all_worksheet_exercises:
 
1068
            if ws_ex.saves.count() > 0 or ws_ex.attempts.count() > 0:
 
1069
                raise IntegrityError()
 
1070
 
 
1071
        self.remove_all_exercises()
 
1072
        Store.of(self).remove(self)
480
1073
 
481
1074
class WorksheetExercise(Storm):
 
1075
    """A link between a worksheet and one of its exercises.
 
1076
 
 
1077
    These may be marked optional, in which case the exercise does not count
 
1078
    for marking purposes. The sequence number is used to order the worksheet
 
1079
    ToC.
 
1080
    """
 
1081
 
482
1082
    __storm_table__ = "worksheet_exercise"
483
 
    
 
1083
 
484
1084
    id = Int(primary=True, name="ws_ex_id")
485
1085
 
486
1086
    worksheet_id = Int(name="worksheetid")
490
1090
    optional = Bool()
491
1091
    active = Bool()
492
1092
    seq_no = Int()
493
 
    
 
1093
 
494
1094
    saves = ReferenceSet(id, "ExerciseSave.ws_ex_id")
495
1095
    attempts = ReferenceSet(id, "ExerciseAttempt.ws_ex_id")
496
1096
 
500
1100
        return "<%s %s in %s>" % (type(self).__name__, self.exercise.name,
501
1101
                                  self.worksheet.identifier)
502
1102
 
 
1103
    def get_permissions(self, user, config):
 
1104
        return self.worksheet.get_permissions(user, config)
 
1105
 
 
1106
 
503
1107
class ExerciseSave(Storm):
504
 
    """
505
 
    Represents a potential solution to an exercise that a user has submitted
506
 
    to the server for storage.
507
 
    A basic ExerciseSave is just the current saved text for this exercise for
508
 
    this user (doesn't count towards their attempts).
509
 
    ExerciseSave may be extended with additional semantics (such as
510
 
    ExerciseAttempt).
511
 
    """
 
1108
    """A potential exercise solution submitted by a user for storage.
 
1109
 
 
1110
    This is not an actual tested attempt at an exercise, it's just a save of
 
1111
    the editing session.
 
1112
    """
 
1113
 
512
1114
    __storm_table__ = "exercise_save"
513
1115
    __storm_primary__ = "ws_ex_id", "user_id"
514
1116
 
524
1126
 
525
1127
    def __repr__(self):
526
1128
        return "<%s %s by %s at %s>" % (type(self).__name__,
527
 
            self.exercise.name, self.user.login, self.date.strftime("%c"))
 
1129
            self.worksheet_exercise.exercise.name, self.user.login,
 
1130
            self.date.strftime("%c"))
528
1131
 
529
1132
class ExerciseAttempt(ExerciseSave):
530
 
    """
531
 
    An ExerciseAttempt is a special case of an ExerciseSave. Like an
532
 
    ExerciseSave, it constitutes exercise solution data that the user has
533
 
    submitted to the server for storage.
534
 
    In addition, it contains additional information about the submission.
535
 
    complete - True if this submission was successful, rendering this exercise
536
 
        complete for this user.
537
 
    active - True if this submission is "active" (usually true). Submissions
538
 
        may be de-activated by privileged users for special reasons, and then
539
 
        they won't count (either as a penalty or success), but will still be
540
 
        stored.
541
 
    """
 
1133
    """An attempt at solving an exercise.
 
1134
 
 
1135
    This is a special case of ExerciseSave, used when the user submits a
 
1136
    candidate solution. Like an ExerciseSave, it constitutes exercise solution
 
1137
    data.
 
1138
 
 
1139
    In addition, it contains information about the result of the submission:
 
1140
 
 
1141
     - complete - True if this submission was successful, rendering this
 
1142
                  exercise complete for this user in this worksheet.
 
1143
     - active   - True if this submission is "active" (usually true).
 
1144
                  Submissions may be de-activated by privileged users for
 
1145
                  special reasons, and then they won't count (either as a
 
1146
                  penalty or success), but will still be stored.
 
1147
    """
 
1148
 
542
1149
    __storm_table__ = "exercise_attempt"
543
1150
    __storm_primary__ = "ws_ex_id", "user_id", "date"
544
1151
 
547
1154
    text = Unicode(name="attempt")
548
1155
    complete = Bool()
549
1156
    active = Bool()
550
 
    
551
 
    def get_permissions(self, user):
 
1157
 
 
1158
    def get_permissions(self, user, config):
552
1159
        return set(['view']) if user is self.user else set()
553
 
  
 
1160
 
554
1161
class TestSuite(Storm):
555
 
    """A Testsuite acts as a container for the test cases of an exercise."""
 
1162
    """A container to group an exercise's test cases.
 
1163
 
 
1164
    The test suite contains some information on how to test. The function to
 
1165
    test, variables to set and stdin data are stored here.
 
1166
    """
 
1167
 
556
1168
    __storm_table__ = "test_suite"
557
1169
    __storm_primary__ = "exercise_id", "suiteid"
558
 
    
 
1170
 
559
1171
    suiteid = Int()
560
1172
    exercise_id = Unicode(name="exerciseid")
561
1173
    description = Unicode()
563
1175
    function = Unicode()
564
1176
    stdin = Unicode()
565
1177
    exercise = Reference(exercise_id, Exercise.id)
566
 
    test_cases = ReferenceSet(suiteid, 'TestCase.suiteid')
567
 
    variables = ReferenceSet(suiteid, 'TestSuiteVar.suiteid')
 
1178
    test_cases = ReferenceSet(suiteid, 'TestCase.suiteid', order_by="seq_no")
 
1179
    variables = ReferenceSet(suiteid, 'TestSuiteVar.suiteid', order_by='arg_no')
 
1180
 
 
1181
    def delete(self):
 
1182
        """Delete this suite, without asking questions."""
 
1183
        for variable in self.variables:
 
1184
            variable.delete()
 
1185
        for test_case in self.test_cases:
 
1186
            test_case.delete()
 
1187
        Store.of(self).remove(self)
568
1188
 
569
1189
class TestCase(Storm):
570
 
    """A TestCase is a member of a TestSuite.
571
 
    
572
 
    It contains the data necessary to check if an exercise is correct"""
 
1190
    """A container for actual tests (see TestCasePart), inside a test suite.
 
1191
 
 
1192
    It is the lowest level shown to students on their pass/fail status."""
 
1193
 
573
1194
    __storm_table__ = "test_case"
574
1195
    __storm_primary__ = "testid", "suiteid"
575
 
    
 
1196
 
576
1197
    testid = Int()
577
1198
    suiteid = Int()
578
1199
    suite = Reference(suiteid, "TestSuite.suiteid")
579
1200
    passmsg = Unicode()
580
1201
    failmsg = Unicode()
581
 
    test_default = Unicode()
 
1202
    test_default = Unicode() # Currently unused - only used for file matching.
582
1203
    seq_no = Int()
583
 
    
 
1204
 
584
1205
    parts = ReferenceSet(testid, "TestCasePart.testid")
585
 
    
 
1206
 
586
1207
    __init__ = _kwarg_init
587
1208
 
 
1209
    def delete(self):
 
1210
        for part in self.parts:
 
1211
            part.delete()
 
1212
        Store.of(self).remove(self)
 
1213
 
588
1214
class TestSuiteVar(Storm):
589
 
    """A container for the arguments of a Test Suite"""
 
1215
    """A variable used by an exercise test suite.
 
1216
 
 
1217
    This may represent a function argument or a normal variable.
 
1218
    """
 
1219
 
590
1220
    __storm_table__ = "suite_variable"
591
1221
    __storm_primary__ = "varid"
592
 
    
 
1222
 
593
1223
    varid = Int()
594
1224
    suiteid = Int()
595
1225
    var_name = Unicode()
596
1226
    var_value = Unicode()
597
1227
    var_type = Unicode()
598
1228
    arg_no = Int()
599
 
    
 
1229
 
600
1230
    suite = Reference(suiteid, "TestSuite.suiteid")
601
 
    
 
1231
 
602
1232
    __init__ = _kwarg_init
603
 
    
 
1233
 
 
1234
    def delete(self):
 
1235
        Store.of(self).remove(self)
 
1236
 
604
1237
class TestCasePart(Storm):
605
 
    """A container for the test elements of a Test Case"""
 
1238
    """An actual piece of code to test an exercise solution."""
 
1239
 
606
1240
    __storm_table__ = "test_case_part"
607
1241
    __storm_primary__ = "partid"
608
 
    
 
1242
 
609
1243
    partid = Int()
610
1244
    testid = Int()
611
 
    
 
1245
 
612
1246
    part_type = Unicode()
613
1247
    test_type = Unicode()
614
1248
    data = Unicode()
615
1249
    filename = Unicode()
616
 
    
 
1250
 
617
1251
    test = Reference(testid, "TestCase.testid")
618
 
    
 
1252
 
619
1253
    __init__ = _kwarg_init
 
1254
 
 
1255
    def delete(self):
 
1256
        Store.of(self).remove(self)