~azzar1/unity/add-show-desktop-key

« back to all changes in this revision

Viewing changes to ivle/database.py

  • Committer: William Grant
  • Date: 2010-07-27 10:25:59 UTC
  • Revision ID: grantw@unimelb.edu.au-20100727102559-cvt3fhlaiaknd5bp
Validate uniqueness of Subject.code at the form layer, so we don't crash due to DB constraints.

Show diffs side-by-side

added added

removed removed

Lines of Context:
17
17
 
18
18
# Author: Matt Giuca, Will Grant
19
19
 
20
 
"""
21
 
Database Classes and Utilities for Storm ORM
 
20
"""Database utilities and content classes.
22
21
 
23
22
This module provides all of the classes which map to database tables.
24
23
It also provides miscellaneous utility functions for database interaction.
25
24
"""
26
25
 
27
 
import md5
 
26
import hashlib
28
27
import datetime
 
28
import os
 
29
import urlparse
 
30
import urllib
29
31
 
30
32
from storm.locals import create_database, Store, Int, Unicode, DateTime, \
31
33
                         Reference, ReferenceSet, Bool, Storm, Desc
 
34
from storm.expr import Select, Max
32
35
from storm.exceptions import NotOneError, IntegrityError
33
36
 
34
 
import ivle.conf
35
37
from ivle.worksheet.rst import rst
36
38
 
37
39
__all__ = ['get_store',
51
53
                % (self.__class__.__name__, k))
52
54
        setattr(self, k, v)
53
55
 
54
 
def get_conn_string():
55
 
    """
56
 
    Returns the Storm connection string, generated from the conf file.
 
56
def get_conn_string(config):
 
57
    """Create a Storm connection string to the IVLE database
 
58
 
 
59
    @param config: The IVLE configuration.
57
60
    """
58
61
 
59
62
    clusterstr = ''
60
 
    if ivle.conf.db_user:
61
 
        clusterstr += ivle.conf.db_user
62
 
        if ivle.conf.db_password:
63
 
            clusterstr += ':' + ivle.conf.db_password
 
63
    if config['database']['username']:
 
64
        clusterstr += config['database']['username']
 
65
        if config['database']['password']:
 
66
            clusterstr += ':' + config['database']['password']
64
67
        clusterstr += '@'
65
68
 
66
 
    host = ivle.conf.db_host or 'localhost'
67
 
    port = ivle.conf.db_port or 5432
 
69
    host = config['database']['host'] or 'localhost'
 
70
    port = config['database']['port'] or 5432
68
71
 
69
72
    clusterstr += '%s:%d' % (host, port)
70
73
 
71
 
    return "postgres://%s/%s" % (clusterstr, ivle.conf.db_dbname)
72
 
 
73
 
def get_store():
74
 
    """
75
 
    Open a database connection and transaction. Return a storm.store.Store
76
 
    instance connected to the configured IVLE database.
77
 
    """
78
 
    return Store(create_database(get_conn_string()))
 
74
    return "postgres://%s/%s" % (clusterstr, config['database']['name'])
 
75
 
 
76
def get_store(config):
 
77
    """Create a Storm store connected to the IVLE database.
 
78
 
 
79
    @param config: The IVLE configuration.
 
80
    """
 
81
    return Store(create_database(get_conn_string(config)))
79
82
 
80
83
# USERS #
81
84
 
82
85
class User(Storm):
83
 
    """
84
 
    Represents an IVLE user.
85
 
    """
 
86
    """An IVLE user account."""
86
87
    __storm_table__ = "login"
87
88
 
88
89
    id = Int(primary=True, name="loginid")
119
120
 
120
121
    @property
121
122
    def display_name(self):
 
123
        """Returns the "nice name" of the user or group."""
122
124
        return self.fullname
123
125
 
124
126
    @property
 
127
    def short_name(self):
 
128
        """Returns the database "identifier" name of the user or group."""
 
129
        return self.login
 
130
 
 
131
    @property
125
132
    def password_expired(self):
126
133
        fieldval = self.pass_exp
127
134
        return fieldval is not None and datetime.datetime.now() > fieldval
164
171
 
165
172
    # TODO: Invitations should be listed too?
166
173
    def get_groups(self, offering=None):
 
174
        """Get groups of which this user is a member.
 
175
 
 
176
        @param offering: An optional offering to restrict the search to.
 
177
        """
167
178
        preds = [
168
179
            ProjectGroupMembership.user_id == self.id,
169
180
            ProjectGroup.id == ProjectGroupMembership.project_group_id,
190
201
        return self._get_enrolments(False) 
191
202
 
192
203
    def get_projects(self, offering=None, active_only=True):
193
 
        '''Return Projects that the user can submit.
 
204
        """Find projects that the user can submit.
194
205
 
195
206
        This will include projects for offerings in which the user is
196
207
        enrolled, as long as the project is not in a project set which has
197
208
        groups (ie. if maximum number of group members is 0).
198
209
 
199
 
        Unless active_only is False, only projects for active offerings will
200
 
        be returned.
201
 
 
202
 
        If an offering is specified, returned projects will be limited to
203
 
        those for that offering.
204
 
        '''
 
210
        @param active_only: Whether to only search active offerings.
 
211
        @param offering: An optional offering to restrict the search to.
 
212
        """
205
213
        return Store.of(self).find(Project,
206
214
            Project.project_set_id == ProjectSet.id,
207
 
            ProjectSet.max_students_per_group == 0,
 
215
            ProjectSet.max_students_per_group == None,
208
216
            ProjectSet.offering_id == Offering.id,
209
217
            (offering is None) or (Offering.id == offering.id),
210
218
            Semester.id == Offering.semester_id,
211
219
            (not active_only) or (Semester.state == u'current'),
212
220
            Enrolment.offering_id == Offering.id,
213
 
            Enrolment.user_id == self.id)
 
221
            Enrolment.user_id == self.id,
 
222
            Enrolment.active == True)
214
223
 
215
224
    @staticmethod
216
225
    def hash_password(password):
217
 
        return md5.md5(password).hexdigest()
 
226
        """Hash a password with MD5."""
 
227
        return hashlib.md5(password).hexdigest()
218
228
 
219
229
    @classmethod
220
230
    def get_by_login(cls, store, login):
221
 
        """
222
 
        Get the User from the db associated with a given store and
223
 
        login.
224
 
        """
 
231
        """Find a user in a store by login name."""
225
232
        return store.find(cls, cls.login == unicode(login)).one()
226
233
 
227
 
    def get_permissions(self, user):
 
234
    def get_svn_url(self, config):
 
235
        """Get the subversion repository URL for this user or group."""
 
236
        url = config['urls']['svn_addr']
 
237
        path = 'users/%s' % self.login
 
238
        return urlparse.urljoin(url, path)
 
239
 
 
240
    def get_permissions(self, user, config):
 
241
        """Determine privileges held by a user over this object.
 
242
 
 
243
        If the user requesting privileges is this user or an admin,
 
244
        they may do everything. Otherwise they may do nothing.
 
245
        """
228
246
        if user and user.admin or user is self:
229
 
            return set(['view', 'edit', 'submit_project'])
 
247
            return set(['view_public', 'view', 'edit', 'submit_project'])
230
248
        else:
231
 
            return set()
 
249
            return set(['view_public'])
232
250
 
233
251
# SUBJECTS AND ENROLMENTS #
234
252
 
235
253
class Subject(Storm):
 
254
    """A subject (or course) which is run in some semesters."""
 
255
 
236
256
    __storm_table__ = "subject"
237
257
 
238
258
    id = Int(primary=True, name="subjectid")
239
259
    code = Unicode(name="subj_code")
240
260
    name = Unicode(name="subj_name")
241
261
    short_name = Unicode(name="subj_short_name")
242
 
    url = Unicode()
243
262
 
244
263
    offerings = ReferenceSet(id, 'Offering.subject_id')
245
264
 
248
267
    def __repr__(self):
249
268
        return "<%s '%s'>" % (type(self).__name__, self.short_name)
250
269
 
251
 
    def get_permissions(self, user):
 
270
    def get_permissions(self, user, config):
 
271
        """Determine privileges held by a user over this object.
 
272
 
 
273
        If the user requesting privileges is an admin, they may edit.
 
274
        Otherwise they may only read.
 
275
        """
252
276
        perms = set()
253
277
        if user is not None:
254
278
            perms.add('view')
256
280
                perms.add('edit')
257
281
        return perms
258
282
 
 
283
    def active_offerings(self):
 
284
        """Find active offerings for this subject.
 
285
 
 
286
        Return a sequence of currently active offerings for this subject
 
287
        (offerings whose semester.state is "current"). There should be 0 or 1
 
288
        elements in this sequence, but it's possible there are more.
 
289
        """
 
290
        return self.offerings.find(Offering.semester_id == Semester.id,
 
291
                                   Semester.state == u'current')
 
292
 
 
293
    def offering_for_semester(self, year, semester):
 
294
        """Get the offering for the given year/semester, or None.
 
295
 
 
296
        @param year: A string representation of the year.
 
297
        @param semester: A string representation of the semester.
 
298
        """
 
299
        return self.offerings.find(Offering.semester_id == Semester.id,
 
300
                               Semester.year == unicode(year),
 
301
                               Semester.semester == unicode(semester)).one()
 
302
 
259
303
class Semester(Storm):
 
304
    """A semester in which subjects can be run."""
 
305
 
260
306
    __storm_table__ = "semester"
261
307
 
262
308
    id = Int(primary=True, name="semesterid")
276
322
        return "<%s %s/%s>" % (type(self).__name__, self.year, self.semester)
277
323
 
278
324
class Offering(Storm):
 
325
    """An offering of a subject in a particular semester."""
 
326
 
279
327
    __storm_table__ = "offering"
280
328
 
281
329
    id = Int(primary=True, name="offeringid")
283
331
    subject = Reference(subject_id, Subject.id)
284
332
    semester_id = Int(name="semesterid")
285
333
    semester = Reference(semester_id, Semester.id)
 
334
    description = Unicode()
 
335
    url = Unicode()
 
336
    show_worksheet_marks = Bool()
 
337
    worksheet_cutoff = DateTime()
286
338
    groups_student_permissions = Unicode()
287
339
 
288
340
    enrolments = ReferenceSet(id, 'Enrolment.offering_id')
291
343
                           'Enrolment.user_id',
292
344
                           'User.id')
293
345
    project_sets = ReferenceSet(id, 'ProjectSet.offering_id')
 
346
    projects = ReferenceSet(id,
 
347
                            'ProjectSet.offering_id',
 
348
                            'ProjectSet.id',
 
349
                            'Project.project_set_id')
294
350
 
295
351
    worksheets = ReferenceSet(id, 
296
352
        'Worksheet.offering_id', 
304
360
                                  self.semester)
305
361
 
306
362
    def enrol(self, user, role=u'student'):
307
 
        '''Enrol a user in this offering.'''
 
363
        """Enrol a user in this offering.
 
364
 
 
365
        Enrolments handle both the staff and student cases. The role controls
 
366
        the privileges granted by this enrolment.
 
367
        """
308
368
        enrolment = Store.of(self).find(Enrolment,
309
369
                               Enrolment.user_id == user.id,
310
370
                               Enrolment.offering_id == self.id).one()
323
383
                               Enrolment.offering_id == self.id).one()
324
384
        Store.of(enrolment).remove(enrolment)
325
385
 
326
 
    def get_permissions(self, user):
 
386
    def get_permissions(self, user, config):
327
387
        perms = set()
328
388
        if user is not None:
329
389
            enrolment = self.get_enrolment(user)
330
390
            if enrolment or user.admin:
331
391
                perms.add('view')
332
 
            if (enrolment and enrolment.role in (u'tutor', u'lecturer')) \
333
 
               or user.admin:
334
 
                perms.add('edit')
 
392
            if enrolment and enrolment.role == u'tutor':
 
393
                perms.add('view_project_submissions')
 
394
                # Site-specific policy on the role of tutors
 
395
                if config['policy']['tutors_can_enrol_students']:
 
396
                    perms.add('enrol')
 
397
                    perms.add('enrol_student')
 
398
                if config['policy']['tutors_can_edit_worksheets']:
 
399
                    perms.add('edit_worksheets')
 
400
                if config['policy']['tutors_can_admin_groups']:
 
401
                    perms.add('admin_groups')
 
402
            if (enrolment and enrolment.role in (u'lecturer')) or user.admin:
 
403
                perms.add('view_project_submissions')
 
404
                perms.add('admin_groups')
 
405
                perms.add('edit_worksheets')
 
406
                perms.add('view_worksheet_marks')
 
407
                perms.add('edit')           # Can edit projects & details
 
408
                perms.add('enrol')          # Can see enrolment screen at all
 
409
                perms.add('enrol_student')  # Can enrol students
 
410
                perms.add('enrol_tutor')    # Can enrol tutors
 
411
            if user.admin:
 
412
                perms.add('enrol_lecturer') # Can enrol lecturers
335
413
        return perms
336
414
 
337
415
    def get_enrolment(self, user):
 
416
        """Find the user's enrolment in this offering."""
338
417
        try:
339
418
            enrolment = self.enrolments.find(user=user).one()
340
419
        except NotOneError:
342
421
 
343
422
        return enrolment
344
423
 
 
424
    def get_members_by_role(self, role):
 
425
        return Store.of(self).find(User,
 
426
                Enrolment.user_id == User.id,
 
427
                Enrolment.offering_id == self.id,
 
428
                Enrolment.role == role
 
429
                ).order_by(User.login)
 
430
 
 
431
    @property
 
432
    def students(self):
 
433
        return self.get_members_by_role(u'student')
 
434
 
 
435
    def get_open_projects_for_user(self, user):
 
436
        """Find all projects currently open to submissions by a user."""
 
437
        # XXX: Respect extensions.
 
438
        return self.projects.find(Project.deadline > datetime.datetime.now())
 
439
 
 
440
    def has_worksheet_cutoff_passed(self, user):
 
441
        """Check whether the worksheet cutoff has passed.
 
442
        A user is required, in case we support extensions.
 
443
        """
 
444
        if self.worksheet_cutoff is None:
 
445
            return False
 
446
        else:
 
447
            return self.worksheet_cutoff < datetime.datetime.now()
 
448
 
 
449
    def clone_worksheets(self, source):
 
450
        """Clone all worksheets from the specified source to this offering."""
 
451
        import ivle.worksheet.utils
 
452
        for worksheet in source.worksheets:
 
453
            newws = Worksheet()
 
454
            newws.seq_no = worksheet.seq_no
 
455
            newws.identifier = worksheet.identifier
 
456
            newws.name = worksheet.name
 
457
            newws.assessable = worksheet.assessable
 
458
            newws.published = worksheet.published
 
459
            newws.data = worksheet.data
 
460
            newws.format = worksheet.format
 
461
            newws.offering = self
 
462
            Store.of(self).add(newws)
 
463
            ivle.worksheet.utils.update_exerciselist(newws)
 
464
 
 
465
 
345
466
class Enrolment(Storm):
 
467
    """An enrolment of a user in an offering.
 
468
 
 
469
    This represents the roles of both staff and students.
 
470
    """
 
471
 
346
472
    __storm_table__ = "enrolment"
347
473
    __storm_primary__ = "user_id", "offering_id"
348
474
 
368
494
        return "<%s %r in %r>" % (type(self).__name__, self.user,
369
495
                                  self.offering)
370
496
 
 
497
    def get_permissions(self, user, config):
 
498
        # A user can edit any enrolment that they could have created.
 
499
        perms = set()
 
500
        if ('enrol_' + str(self.role)) in self.offering.get_permissions(
 
501
            user, config):
 
502
            perms.add('edit')
 
503
        return perms
 
504
 
 
505
    def delete(self):
 
506
        """Delete this enrolment."""
 
507
        Store.of(self).remove(self)
 
508
 
 
509
 
371
510
# PROJECTS #
372
511
 
373
512
class ProjectSet(Storm):
 
513
    """A set of projects that share common groups.
 
514
 
 
515
    Each student project group is attached to a project set. The group is
 
516
    valid for all projects in the group's set.
 
517
    """
 
518
 
374
519
    __storm_table__ = "project_set"
375
520
 
376
521
    id = Int(name="projectsetid", primary=True)
387
532
        return "<%s %d in %r>" % (type(self).__name__, self.id,
388
533
                                  self.offering)
389
534
 
 
535
    def get_permissions(self, user, config):
 
536
        return self.offering.get_permissions(user, config)
 
537
 
 
538
    def get_groups_for_user(self, user):
 
539
        """List all groups in this offering of which the user is a member."""
 
540
        assert self.is_group
 
541
        return Store.of(self).find(
 
542
            ProjectGroup,
 
543
            ProjectGroupMembership.user_id == user.id,
 
544
            ProjectGroupMembership.project_group_id == ProjectGroup.id,
 
545
            ProjectGroup.project_set_id == self.id)
 
546
 
 
547
    def get_submission_principal(self, user):
 
548
        """Get the principal on behalf of which the user can submit.
 
549
 
 
550
        If this is a solo project set, the given user is returned. If
 
551
        the user is a member of exactly one group, all the group is
 
552
        returned. Otherwise, None is returned.
 
553
        """
 
554
        if self.is_group:
 
555
            groups = self.get_groups_for_user(user)
 
556
            if groups.count() == 1:
 
557
                return groups.one()
 
558
            else:
 
559
                return None
 
560
        else:
 
561
            return user
 
562
 
 
563
    @property
 
564
    def is_group(self):
 
565
        return self.max_students_per_group is not None
 
566
 
 
567
    @property
 
568
    def assigned(self):
 
569
        """Get the entities (groups or users) assigned to submit this project.
 
570
 
 
571
        This will be a Storm ResultSet.
 
572
        """
 
573
        #If its a solo project, return everyone in offering
 
574
        if self.is_group:
 
575
            return self.project_groups
 
576
        else:
 
577
            return self.offering.students
 
578
 
 
579
class DeadlinePassed(Exception):
 
580
    """An exception indicating that a project cannot be submitted because the
 
581
    deadline has passed."""
 
582
    def __init__(self):
 
583
        pass
 
584
    def __str__(self):
 
585
        return "The project deadline has passed"
 
586
 
390
587
class Project(Storm):
 
588
    """A student project for which submissions can be made."""
 
589
 
391
590
    __storm_table__ = "project"
392
591
 
393
592
    id = Int(name="projectid", primary=True)
411
610
        return "<%s '%s' in %r>" % (type(self).__name__, self.short_name,
412
611
                                  self.project_set.offering)
413
612
 
414
 
    def can_submit(self, principal):
 
613
    def can_submit(self, principal, user, late=False):
 
614
        """
 
615
        @param late: If True, does not take the deadline into account.
 
616
        """
415
617
        return (self in principal.get_projects() and
416
 
                self.deadline > datetime.datetime.now())
417
 
 
418
 
    def submit(self, principal, path, revision):
419
 
        if not self.can_submit(principal):
420
 
            raise Exception('cannot submit')
 
618
                (late or not self.has_deadline_passed(user)))
 
619
 
 
620
    def submit(self, principal, path, revision, who, late=False):
 
621
        """Submit a Subversion path and revision to a project.
 
622
 
 
623
        @param principal: The owner of the Subversion repository, and the
 
624
                          entity on behalf of whom the submission is being made
 
625
        @param path: A path within that repository to submit.
 
626
        @param revision: The revision of that path to submit.
 
627
        @param who: The user who is actually making the submission.
 
628
        @param late: If True, will not raise a DeadlinePassed exception even
 
629
            after the deadline. (Default False.)
 
630
        """
 
631
 
 
632
        if not self.can_submit(principal, who, late=late):
 
633
            raise DeadlinePassed()
421
634
 
422
635
        a = Assessed.get(Store.of(self), principal, self)
423
636
        ps = ProjectSubmission()
424
 
        ps.path = path
 
637
        # Raise SubmissionError if the path is illegal
 
638
        ps.path = ProjectSubmission.test_and_normalise_path(path)
425
639
        ps.revision = revision
426
640
        ps.date_submitted = datetime.datetime.now()
427
641
        ps.assessed = a
 
642
        ps.submitter = who
428
643
 
429
644
        return ps
430
645
 
 
646
    def get_permissions(self, user, config):
 
647
        return self.project_set.offering.get_permissions(user, config)
 
648
 
 
649
    @property
 
650
    def latest_submissions(self):
 
651
        """Return the latest submission for each Assessed."""
 
652
        return Store.of(self).find(ProjectSubmission,
 
653
            Assessed.project_id == self.id,
 
654
            ProjectSubmission.assessed_id == Assessed.id,
 
655
            ProjectSubmission.date_submitted == Select(
 
656
                    Max(ProjectSubmission.date_submitted),
 
657
                    ProjectSubmission.assessed_id == Assessed.id,
 
658
                    tables=ProjectSubmission
 
659
            )
 
660
        )
 
661
 
 
662
    def has_deadline_passed(self, user):
 
663
        """Check whether the deadline has passed."""
 
664
        # XXX: Need to respect extensions.
 
665
        return self.deadline < datetime.datetime.now()
 
666
 
 
667
    def get_submissions_for_principal(self, principal):
 
668
        """Fetch a ResultSet of all submissions by a particular principal."""
 
669
        assessed = Assessed.get(Store.of(self), principal, self)
 
670
        if assessed is None:
 
671
            return
 
672
        return assessed.submissions
 
673
 
 
674
    @property
 
675
    def can_delete(self):
 
676
        """Can only delete if there are no submissions."""
 
677
        return self.submissions.count() == 0
 
678
 
 
679
    def delete(self):
 
680
        """Delete the project. Fails if can_delete is False."""
 
681
        if not self.can_delete:
 
682
            raise IntegrityError()
 
683
        for assessed in self.assesseds:
 
684
            assessed.delete()
 
685
        Store.of(self).remove(self)
431
686
 
432
687
class ProjectGroup(Storm):
 
688
    """A group of students working together on a project."""
 
689
 
433
690
    __storm_table__ = "project_group"
434
691
 
435
692
    id = Int(name="groupid", primary=True)
454
711
 
455
712
    @property
456
713
    def display_name(self):
457
 
        return '%s (%s)' % (self.nick, self.name)
 
714
        """Returns the "nice name" of the user or group."""
 
715
        return self.nick
 
716
 
 
717
    @property
 
718
    def short_name(self):
 
719
        """Returns the database "identifier" name of the user or group."""
 
720
        return self.name
458
721
 
459
722
    def get_projects(self, offering=None, active_only=True):
460
 
        '''Return Projects that the group can submit.
 
723
        '''Find projects that the group can submit.
461
724
 
462
725
        This will include projects in the project set which owns this group,
463
726
        unless the project set disallows groups (in which case none will be
464
727
        returned).
465
728
 
466
 
        Unless active_only is False, projects will only be returned if the
467
 
        group's offering is active.
468
 
 
469
 
        If an offering is specified, projects will only be returned if it
470
 
        matches the group's.
 
729
        @param active_only: Whether to only search active offerings.
 
730
        @param offering: An optional offering to restrict the search to.
471
731
        '''
472
732
        return Store.of(self).find(Project,
473
733
            Project.project_set_id == ProjectSet.id,
474
734
            ProjectSet.id == self.project_set.id,
475
 
            ProjectSet.max_students_per_group > 0,
 
735
            ProjectSet.max_students_per_group != None,
476
736
            ProjectSet.offering_id == Offering.id,
477
737
            (offering is None) or (Offering.id == offering.id),
478
738
            Semester.id == Offering.semester_id,
479
739
            (not active_only) or (Semester.state == u'current'))
480
740
 
 
741
    def get_svn_url(self, config):
 
742
        """Get the subversion repository URL for this user or group."""
 
743
        url = config['urls']['svn_addr']
 
744
        path = 'groups/%s_%s_%s_%s' % (
 
745
                self.project_set.offering.subject.short_name,
 
746
                self.project_set.offering.semester.year,
 
747
                self.project_set.offering.semester.semester,
 
748
                self.name
 
749
                )
 
750
        return urlparse.urljoin(url, path)
481
751
 
482
 
    def get_permissions(self, user):
 
752
    def get_permissions(self, user, config):
483
753
        if user.admin or user in self.members:
484
754
            return set(['submit_project'])
485
755
        else:
486
756
            return set()
487
757
 
488
758
class ProjectGroupMembership(Storm):
 
759
    """A student's membership in a project group."""
 
760
 
489
761
    __storm_table__ = "group_member"
490
762
    __storm_primary__ = "user_id", "project_group_id"
491
763
 
501
773
                                  self.project_group)
502
774
 
503
775
class Assessed(Storm):
 
776
    """A composite of a user or group combined with a project.
 
777
 
 
778
    Each project submission and extension refers to an Assessed. It is the
 
779
    sole specifier of the repository and project.
 
780
    """
 
781
 
504
782
    __storm_table__ = "assessed"
505
783
 
506
784
    id = Int(name="assessedid", primary=True)
513
791
    project = Reference(project_id, Project.id)
514
792
 
515
793
    extensions = ReferenceSet(id, 'ProjectExtension.assessed_id')
516
 
    submissions = ReferenceSet(id, 'ProjectSubmission.assessed_id')
 
794
    submissions = ReferenceSet(
 
795
        id, 'ProjectSubmission.assessed_id', order_by='date_submitted')
517
796
 
518
797
    def __repr__(self):
519
798
        return "<%s %r in %r>" % (type(self).__name__,
520
799
            self.user or self.project_group, self.project)
521
800
 
 
801
    @property
 
802
    def is_group(self):
 
803
        """True if the Assessed is a group, False if it is a user."""
 
804
        return self.project_group is not None
 
805
 
 
806
    @property
 
807
    def principal(self):
 
808
        return self.project_group or self.user
 
809
 
 
810
    @property
 
811
    def checkout_location(self):
 
812
        """Returns the location of the Subversion workspace for this piece of
 
813
        assessment, relative to each group member's home directory."""
 
814
        subjectname = self.project.project_set.offering.subject.short_name
 
815
        if self.is_group:
 
816
            checkout_dir_name = self.principal.short_name
 
817
        else:
 
818
            checkout_dir_name = "mywork"
 
819
        return subjectname + "/" + checkout_dir_name
 
820
 
522
821
    @classmethod
523
822
    def get(cls, store, principal, project):
 
823
        """Find or create an Assessed for the given user or group and project.
 
824
 
 
825
        @param principal: The user or group.
 
826
        @param project: The project.
 
827
        """
524
828
        t = type(principal)
525
829
        if t not in (User, ProjectGroup):
526
830
            raise AssertionError('principal must be User or ProjectGroup')
528
832
        a = store.find(cls,
529
833
            (t is User) or (cls.project_group_id == principal.id),
530
834
            (t is ProjectGroup) or (cls.user_id == principal.id),
531
 
            Project.id == project.id).one()
 
835
            cls.project_id == project.id).one()
532
836
 
533
837
        if a is None:
534
838
            a = cls()
541
845
 
542
846
        return a
543
847
 
 
848
    def delete(self):
 
849
        """Delete the assessed. Fails if there are any submissions. Deletes
 
850
        extensions."""
 
851
        if self.submissions.count() > 0:
 
852
            raise IntegrityError()
 
853
        for extension in self.extensions:
 
854
            extension.delete()
 
855
        Store.of(self).remove(self)
544
856
 
545
857
class ProjectExtension(Storm):
 
858
    """An extension granted to a user or group on a particular project.
 
859
 
 
860
    The user or group and project are specified by the Assessed.
 
861
    """
 
862
 
546
863
    __storm_table__ = "project_extension"
547
864
 
548
865
    id = Int(name="extensionid", primary=True)
549
866
    assessed_id = Int(name="assessedid")
550
867
    assessed = Reference(assessed_id, Assessed.id)
551
 
    deadline = DateTime()
 
868
    days = Int()
552
869
    approver_id = Int(name="approver")
553
870
    approver = Reference(approver_id, User.id)
554
871
    notes = Unicode()
555
872
 
 
873
    def delete(self):
 
874
        """Delete the extension."""
 
875
        Store.of(self).remove(self)
 
876
 
 
877
class SubmissionError(Exception):
 
878
    """Denotes a validation error during submission."""
 
879
    pass
 
880
 
556
881
class ProjectSubmission(Storm):
 
882
    """A submission from a user or group repository to a particular project.
 
883
 
 
884
    The content of a submission is a single path and revision inside a
 
885
    repository. The repository is that owned by the submission's user and
 
886
    group, while the path and revision are explicit.
 
887
 
 
888
    The user or group and project are specified by the Assessed.
 
889
    """
 
890
 
557
891
    __storm_table__ = "project_submission"
558
892
 
559
893
    id = Int(name="submissionid", primary=True)
561
895
    assessed = Reference(assessed_id, Assessed.id)
562
896
    path = Unicode()
563
897
    revision = Int()
 
898
    submitter_id = Int(name="submitter")
 
899
    submitter = Reference(submitter_id, User.id)
564
900
    date_submitted = DateTime()
565
901
 
 
902
    def get_verify_url(self, user):
 
903
        """Get the URL for verifying this submission, within the account of
 
904
        the given user."""
 
905
        # If this is a solo project, then self.path will be prefixed with the
 
906
        # subject name. Remove the first path segment.
 
907
        submitpath = self.path[1:] if self.path[:1] == '/' else self.path
 
908
        if not self.assessed.is_group:
 
909
            if '/' in submitpath:
 
910
                submitpath = submitpath.split('/', 1)[1]
 
911
            else:
 
912
                submitpath = ''
 
913
        return "/files/%s/%s/%s?r=%d" % (user.login,
 
914
            self.assessed.checkout_location, submitpath, self.revision)
 
915
 
 
916
    def get_svn_url(self, config):
 
917
        """Get subversion URL for this submission"""
 
918
        princ = self.assessed.principal
 
919
        base = princ.get_svn_url(config)
 
920
        if self.path.startswith(os.sep):
 
921
            return os.path.join(base,
 
922
                    urllib.quote(self.path[1:].encode('utf-8')))
 
923
        else:
 
924
            return os.path.join(base, urllib.quote(self.path.encode('utf-8')))
 
925
 
 
926
    def get_svn_export_command(self, req):
 
927
        """Returns a Unix shell command to export a submission"""
 
928
        svn_url = self.get_svn_url(req.config)
 
929
        username = (req.user.login if req.user.login.isalnum() else
 
930
                "'%s'"%req.user.login)
 
931
        export_dir = self.assessed.principal.short_name
 
932
        return "svn export --username %s -r%d '%s' %s"%(req.user.login,
 
933
                self.revision, svn_url, export_dir)
 
934
 
 
935
    @staticmethod
 
936
    def test_and_normalise_path(path):
 
937
        """Test that path is valid, and normalise it. This prevents possible
 
938
        injections using malicious paths.
 
939
        Returns the updated path, if successful.
 
940
        Raises SubmissionError if invalid.
 
941
        """
 
942
        # Ensure the path is absolute to prevent being tacked onto working
 
943
        # directories.
 
944
        # Prevent '\n' because it will break all sorts of things.
 
945
        # Prevent '[' and ']' because they can be used to inject into the
 
946
        # svn.conf.
 
947
        # Normalise to avoid resulting in ".." path segments.
 
948
        if not os.path.isabs(path):
 
949
            raise SubmissionError("Path is not absolute")
 
950
        if any(c in path for c in "\n[]"):
 
951
            raise SubmissionError("Path must not contain '\\n', '[' or ']'")
 
952
        return os.path.normpath(path)
 
953
 
 
954
    @property
 
955
    def late(self):
 
956
        """True if the project was submitted late."""
 
957
        return self.days_late > 0
 
958
 
 
959
    @property
 
960
    def days_late(self):
 
961
        """The number of days the project was submitted late (rounded up), or
 
962
        0 if on-time."""
 
963
        # XXX: Need to respect extensions.
 
964
        return max(0,
 
965
            (self.date_submitted - self.assessed.project.deadline).days + 1)
566
966
 
567
967
# WORKSHEETS AND EXERCISES #
568
968
 
569
969
class Exercise(Storm):
 
970
    """An exercise for students to complete in a worksheet.
 
971
 
 
972
    An exercise may be present in any number of worksheets.
 
973
    """
 
974
 
570
975
    __storm_table__ = "exercise"
571
976
    id = Unicode(primary=True, name="identifier")
572
977
    name = Unicode()
573
978
    description = Unicode()
 
979
    _description_xhtml_cache = Unicode(name='description_xhtml_cache')
574
980
    partial = Unicode()
575
981
    solution = Unicode()
576
982
    include = Unicode()
584
990
        'WorksheetExercise.worksheet_id',
585
991
        'Worksheet.id'
586
992
    )
587
 
    
 
993
 
588
994
    test_suites = ReferenceSet(id, 
589
995
        'TestSuite.exercise_id',
590
996
        order_by='seq_no')
594
1000
    def __repr__(self):
595
1001
        return "<%s %s>" % (type(self).__name__, self.name)
596
1002
 
597
 
    def get_permissions(self, user):
 
1003
    def get_permissions(self, user, config):
 
1004
        return self.global_permissions(user, config)
 
1005
 
 
1006
    @staticmethod
 
1007
    def global_permissions(user, config):
 
1008
        """Gets the set of permissions this user has over *all* exercises.
 
1009
        This is used to determine who may view the exercises list, and create
 
1010
        new exercises."""
598
1011
        perms = set()
599
1012
        roles = set()
600
1013
        if user is not None:
601
1014
            if user.admin:
602
1015
                perms.add('edit')
603
1016
                perms.add('view')
604
 
            elif 'lecturer' in set((e.role for e in user.active_enrolments)):
605
 
                perms.add('edit')
606
 
                perms.add('view')
607
 
            
 
1017
            elif u'lecturer' in set((e.role for e in user.active_enrolments)):
 
1018
                perms.add('edit')
 
1019
                perms.add('view')
 
1020
            elif (config['policy']['tutors_can_edit_worksheets']
 
1021
            and u'tutor' in set((e.role for e in user.active_enrolments))):
 
1022
                # Site-specific policy on the role of tutors
 
1023
                perms.add('edit')
 
1024
                perms.add('view')
 
1025
 
608
1026
        return perms
609
 
    
610
 
    def get_description(self):
611
 
        return rst(self.description)
 
1027
 
 
1028
    def _cache_description_xhtml(self, invalidate=False):
 
1029
        # Don't regenerate an existing cache unless forced.
 
1030
        if self._description_xhtml_cache is not None and not invalidate:
 
1031
            return
 
1032
 
 
1033
        if self.description:
 
1034
            self._description_xhtml_cache = rst(self.description)
 
1035
        else:
 
1036
            self._description_xhtml_cache = None
 
1037
 
 
1038
    @property
 
1039
    def description_xhtml(self):
 
1040
        """The XHTML exercise description, converted from reStructuredText."""
 
1041
        self._cache_description_xhtml()
 
1042
        return self._description_xhtml_cache
 
1043
 
 
1044
    def set_description(self, description):
 
1045
        self.description = description
 
1046
        self._cache_description_xhtml(invalidate=True)
612
1047
 
613
1048
    def delete(self):
614
1049
        """Deletes the exercise, providing it has no associated worksheets."""
619
1054
        Store.of(self).remove(self)
620
1055
 
621
1056
class Worksheet(Storm):
 
1057
    """A worksheet with exercises for students to complete.
 
1058
 
 
1059
    Worksheets are owned by offerings.
 
1060
    """
 
1061
 
622
1062
    __storm_table__ = "worksheet"
623
1063
 
624
1064
    id = Int(primary=True, name="worksheetid")
626
1066
    identifier = Unicode()
627
1067
    name = Unicode()
628
1068
    assessable = Bool()
 
1069
    published = Bool()
629
1070
    data = Unicode()
 
1071
    _data_xhtml_cache = Unicode(name='data_xhtml_cache')
630
1072
    seq_no = Int()
631
1073
    format = Unicode()
632
1074
 
649
1091
    def __repr__(self):
650
1092
        return "<%s %s>" % (type(self).__name__, self.name)
651
1093
 
652
 
    # XXX Refactor this - make it an instance method of Subject rather than a
653
 
    # class method of Worksheet. Can't do that now because Subject isn't
654
 
    # linked referentially to the Worksheet.
655
 
    @classmethod
656
 
    def get_by_name(cls, store, subjectname, worksheetname):
657
 
        """
658
 
        Get the Worksheet from the db associated with a given store, subject
659
 
        name and worksheet name.
660
 
        """
661
 
        return store.find(cls, cls.subject == unicode(subjectname),
662
 
            cls.name == unicode(worksheetname)).one()
663
 
 
664
1094
    def remove_all_exercises(self):
665
 
        """
666
 
        Remove all exercises from this worksheet.
 
1095
        """Remove all exercises from this worksheet.
 
1096
 
667
1097
        This does not delete the exercises themselves. It just removes them
668
1098
        from the worksheet.
669
1099
        """
673
1103
                raise IntegrityError()
674
1104
        store.find(WorksheetExercise,
675
1105
            WorksheetExercise.worksheet == self).remove()
676
 
            
677
 
    def get_permissions(self, user):
678
 
        return self.offering.get_permissions(user)
679
 
    
680
 
    def get_xml(self):
681
 
        """Returns the xml of this worksheet, converts from rst if required."""
682
 
        if self.format == u'rst':
683
 
            ws_xml = rst(self.data)
684
 
            return ws_xml
 
1106
 
 
1107
    def get_permissions(self, user, config):
 
1108
        offering_perms = self.offering.get_permissions(user, config)
 
1109
 
 
1110
        perms = set()
 
1111
 
 
1112
        # Anybody who can view an offering can view a published
 
1113
        # worksheet.
 
1114
        if 'view' in offering_perms and self.published:
 
1115
            perms.add('view')
 
1116
 
 
1117
        # Any worksheet editors can both view and edit.
 
1118
        if 'edit_worksheets' in offering_perms:
 
1119
            perms.add('view')
 
1120
            perms.add('edit')
 
1121
 
 
1122
        return perms
 
1123
 
 
1124
    def _cache_data_xhtml(self, invalidate=False):
 
1125
        # Don't regenerate an existing cache unless forced.
 
1126
        if self._data_xhtml_cache is not None and not invalidate:
 
1127
            return
 
1128
 
 
1129
        if self.format == u'rst':
 
1130
            self._data_xhtml_cache = rst(self.data)
 
1131
        else:
 
1132
            self._data_xhtml_cache = None
 
1133
 
 
1134
    @property
 
1135
    def data_xhtml(self):
 
1136
        """The XHTML of this worksheet, converted from rST if required."""
 
1137
        # Update the rST -> XHTML cache, if required.
 
1138
        self._cache_data_xhtml()
 
1139
 
 
1140
        if self.format == u'rst':
 
1141
            return self._data_xhtml_cache
685
1142
        else:
686
1143
            return self.data
687
 
    
 
1144
 
 
1145
    def set_data(self, data):
 
1146
        self.data = data
 
1147
        self._cache_data_xhtml(invalidate=True)
 
1148
 
688
1149
    def delete(self):
689
1150
        """Deletes the worksheet, provided it has no attempts on any exercises.
690
 
        
 
1151
 
691
1152
        Returns True if delete succeeded, or False if this worksheet has
692
1153
        attempts attached."""
693
1154
        for ws_ex in self.all_worksheet_exercises:
694
1155
            if ws_ex.saves.count() > 0 or ws_ex.attempts.count() > 0:
695
1156
                raise IntegrityError()
696
 
        
 
1157
 
697
1158
        self.remove_all_exercises()
698
1159
        Store.of(self).remove(self)
699
 
        
 
1160
 
700
1161
class WorksheetExercise(Storm):
 
1162
    """A link between a worksheet and one of its exercises.
 
1163
 
 
1164
    These may be marked optional, in which case the exercise does not count
 
1165
    for marking purposes. The sequence number is used to order the worksheet
 
1166
    ToC.
 
1167
    """
 
1168
 
701
1169
    __storm_table__ = "worksheet_exercise"
702
 
    
 
1170
 
703
1171
    id = Int(primary=True, name="ws_ex_id")
704
1172
 
705
1173
    worksheet_id = Int(name="worksheetid")
709
1177
    optional = Bool()
710
1178
    active = Bool()
711
1179
    seq_no = Int()
712
 
    
 
1180
 
713
1181
    saves = ReferenceSet(id, "ExerciseSave.ws_ex_id")
714
1182
    attempts = ReferenceSet(id, "ExerciseAttempt.ws_ex_id")
715
1183
 
719
1187
        return "<%s %s in %s>" % (type(self).__name__, self.exercise.name,
720
1188
                                  self.worksheet.identifier)
721
1189
 
722
 
    def get_permissions(self, user):
723
 
        return self.worksheet.get_permissions(user)
724
 
    
 
1190
    def get_permissions(self, user, config):
 
1191
        return self.worksheet.get_permissions(user, config)
 
1192
 
725
1193
 
726
1194
class ExerciseSave(Storm):
727
 
    """
728
 
    Represents a potential solution to an exercise that a user has submitted
729
 
    to the server for storage.
730
 
    A basic ExerciseSave is just the current saved text for this exercise for
731
 
    this user (doesn't count towards their attempts).
732
 
    ExerciseSave may be extended with additional semantics (such as
733
 
    ExerciseAttempt).
734
 
    """
 
1195
    """A potential exercise solution submitted by a user for storage.
 
1196
 
 
1197
    This is not an actual tested attempt at an exercise, it's just a save of
 
1198
    the editing session.
 
1199
    """
 
1200
 
735
1201
    __storm_table__ = "exercise_save"
736
1202
    __storm_primary__ = "ws_ex_id", "user_id"
737
1203
 
747
1213
 
748
1214
    def __repr__(self):
749
1215
        return "<%s %s by %s at %s>" % (type(self).__name__,
750
 
            self.exercise.name, self.user.login, self.date.strftime("%c"))
 
1216
            self.worksheet_exercise.exercise.name, self.user.login,
 
1217
            self.date.strftime("%c"))
751
1218
 
752
1219
class ExerciseAttempt(ExerciseSave):
753
 
    """
754
 
    An ExerciseAttempt is a special case of an ExerciseSave. Like an
755
 
    ExerciseSave, it constitutes exercise solution data that the user has
756
 
    submitted to the server for storage.
757
 
    In addition, it contains additional information about the submission.
758
 
    complete - True if this submission was successful, rendering this exercise
759
 
        complete for this user.
760
 
    active - True if this submission is "active" (usually true). Submissions
761
 
        may be de-activated by privileged users for special reasons, and then
762
 
        they won't count (either as a penalty or success), but will still be
763
 
        stored.
764
 
    """
 
1220
    """An attempt at solving an exercise.
 
1221
 
 
1222
    This is a special case of ExerciseSave, used when the user submits a
 
1223
    candidate solution. Like an ExerciseSave, it constitutes exercise solution
 
1224
    data.
 
1225
 
 
1226
    In addition, it contains information about the result of the submission:
 
1227
 
 
1228
     - complete - True if this submission was successful, rendering this
 
1229
                  exercise complete for this user in this worksheet.
 
1230
     - active   - True if this submission is "active" (usually true).
 
1231
                  Submissions may be de-activated by privileged users for
 
1232
                  special reasons, and then they won't count (either as a
 
1233
                  penalty or success), but will still be stored.
 
1234
    """
 
1235
 
765
1236
    __storm_table__ = "exercise_attempt"
766
1237
    __storm_primary__ = "ws_ex_id", "user_id", "date"
767
1238
 
770
1241
    text = Unicode(name="attempt")
771
1242
    complete = Bool()
772
1243
    active = Bool()
773
 
    
774
 
    def get_permissions(self, user):
 
1244
 
 
1245
    def get_permissions(self, user, config):
775
1246
        return set(['view']) if user is self.user else set()
776
 
  
 
1247
 
777
1248
class TestSuite(Storm):
778
 
    """A Testsuite acts as a container for the test cases of an exercise."""
 
1249
    """A container to group an exercise's test cases.
 
1250
 
 
1251
    The test suite contains some information on how to test. The function to
 
1252
    test, variables to set and stdin data are stored here.
 
1253
    """
 
1254
 
779
1255
    __storm_table__ = "test_suite"
780
1256
    __storm_primary__ = "exercise_id", "suiteid"
781
 
    
 
1257
 
782
1258
    suiteid = Int()
783
1259
    exercise_id = Unicode(name="exerciseid")
784
1260
    description = Unicode()
788
1264
    exercise = Reference(exercise_id, Exercise.id)
789
1265
    test_cases = ReferenceSet(suiteid, 'TestCase.suiteid', order_by="seq_no")
790
1266
    variables = ReferenceSet(suiteid, 'TestSuiteVar.suiteid', order_by='arg_no')
791
 
    
 
1267
 
792
1268
    def delete(self):
793
1269
        """Delete this suite, without asking questions."""
794
 
        for vaariable in self.variables:
 
1270
        for variable in self.variables:
795
1271
            variable.delete()
796
1272
        for test_case in self.test_cases:
797
1273
            test_case.delete()
798
1274
        Store.of(self).remove(self)
799
1275
 
800
1276
class TestCase(Storm):
801
 
    """A TestCase is a member of a TestSuite.
802
 
    
803
 
    It contains the data necessary to check if an exercise is correct"""
 
1277
    """A container for actual tests (see TestCasePart), inside a test suite.
 
1278
 
 
1279
    It is the lowest level shown to students on their pass/fail status."""
 
1280
 
804
1281
    __storm_table__ = "test_case"
805
1282
    __storm_primary__ = "testid", "suiteid"
806
 
    
 
1283
 
807
1284
    testid = Int()
808
1285
    suiteid = Int()
809
1286
    suite = Reference(suiteid, "TestSuite.suiteid")
810
1287
    passmsg = Unicode()
811
1288
    failmsg = Unicode()
812
 
    test_default = Unicode()
 
1289
    test_default = Unicode() # Currently unused - only used for file matching.
813
1290
    seq_no = Int()
814
 
    
 
1291
 
815
1292
    parts = ReferenceSet(testid, "TestCasePart.testid")
816
 
    
 
1293
 
817
1294
    __init__ = _kwarg_init
818
 
    
 
1295
 
819
1296
    def delete(self):
820
1297
        for part in self.parts:
821
1298
            part.delete()
822
1299
        Store.of(self).remove(self)
823
1300
 
824
1301
class TestSuiteVar(Storm):
825
 
    """A container for the arguments of a Test Suite"""
 
1302
    """A variable used by an exercise test suite.
 
1303
 
 
1304
    This may represent a function argument or a normal variable.
 
1305
    """
 
1306
 
826
1307
    __storm_table__ = "suite_variable"
827
1308
    __storm_primary__ = "varid"
828
 
    
 
1309
 
829
1310
    varid = Int()
830
1311
    suiteid = Int()
831
1312
    var_name = Unicode()
832
1313
    var_value = Unicode()
833
1314
    var_type = Unicode()
834
1315
    arg_no = Int()
835
 
    
 
1316
 
836
1317
    suite = Reference(suiteid, "TestSuite.suiteid")
837
 
    
 
1318
 
838
1319
    __init__ = _kwarg_init
839
 
    
 
1320
 
840
1321
    def delete(self):
841
1322
        Store.of(self).remove(self)
842
 
    
 
1323
 
843
1324
class TestCasePart(Storm):
844
 
    """A container for the test elements of a Test Case"""
 
1325
    """An actual piece of code to test an exercise solution."""
 
1326
 
845
1327
    __storm_table__ = "test_case_part"
846
1328
    __storm_primary__ = "partid"
847
 
    
 
1329
 
848
1330
    partid = Int()
849
1331
    testid = Int()
850
 
    
 
1332
 
851
1333
    part_type = Unicode()
852
1334
    test_type = Unicode()
853
1335
    data = Unicode()
854
1336
    filename = Unicode()
855
 
    
 
1337
 
856
1338
    test = Reference(testid, "TestCase.testid")
857
 
    
 
1339
 
858
1340
    __init__ = _kwarg_init
859
 
    
 
1341
 
860
1342
    def delete(self):
861
1343
        Store.of(self).remove(self)