~azzar1/unity/add-show-desktop-key

« back to all changes in this revision

Viewing changes to ivle/database.py

  • Committer: Matt Giuca
  • Date: 2010-07-28 06:09:00 UTC
  • Revision ID: matt.giuca@gmail.com-20100728060900-6a0lcuexcv1juh5r
ivle/webapp/submit/submit.html: Rewrote error message when an offering could not be found to submit to. This can have one of several causes, and the old error assumed it was because you weren't in a subject dir. Now enumerates the possible reasons. (LP: #526853)

Show diffs side-by-side

added added

removed removed

Lines of Context:
17
17
 
18
18
# Author: Matt Giuca, Will Grant
19
19
 
20
 
"""
21
 
Database Classes and Utilities for Storm ORM
 
20
"""Database utilities and content classes.
22
21
 
23
22
This module provides all of the classes which map to database tables.
24
23
It also provides miscellaneous utility functions for database interaction.
25
24
"""
26
25
 
27
 
import md5
 
26
import hashlib
28
27
import datetime
 
28
import os
 
29
import urlparse
 
30
import urllib
29
31
 
30
32
from storm.locals import create_database, Store, Int, Unicode, DateTime, \
31
33
                         Reference, ReferenceSet, Bool, Storm, Desc
 
34
from storm.expr import Select, Max
32
35
from storm.exceptions import NotOneError, IntegrityError
33
36
 
34
 
import ivle.conf
35
37
from ivle.worksheet.rst import rst
36
38
 
37
39
__all__ = ['get_store',
51
53
                % (self.__class__.__name__, k))
52
54
        setattr(self, k, v)
53
55
 
54
 
def get_conn_string():
55
 
    """
56
 
    Returns the Storm connection string, generated from the conf file.
 
56
def get_conn_string(config):
 
57
    """Create a Storm connection string to the IVLE database
 
58
 
 
59
    @param config: The IVLE configuration.
57
60
    """
58
61
 
59
62
    clusterstr = ''
60
 
    if ivle.conf.db_user:
61
 
        clusterstr += ivle.conf.db_user
62
 
        if ivle.conf.db_password:
63
 
            clusterstr += ':' + ivle.conf.db_password
 
63
    if config['database']['username']:
 
64
        clusterstr += config['database']['username']
 
65
        if config['database']['password']:
 
66
            clusterstr += ':' + config['database']['password']
64
67
        clusterstr += '@'
65
68
 
66
 
    host = ivle.conf.db_host or 'localhost'
67
 
    port = ivle.conf.db_port or 5432
 
69
    host = config['database']['host'] or 'localhost'
 
70
    port = config['database']['port'] or 5432
68
71
 
69
72
    clusterstr += '%s:%d' % (host, port)
70
73
 
71
 
    return "postgres://%s/%s" % (clusterstr, ivle.conf.db_dbname)
72
 
 
73
 
def get_store():
74
 
    """
75
 
    Open a database connection and transaction. Return a storm.store.Store
76
 
    instance connected to the configured IVLE database.
77
 
    """
78
 
    return Store(create_database(get_conn_string()))
 
74
    return "postgres://%s/%s" % (clusterstr, config['database']['name'])
 
75
 
 
76
def get_store(config):
 
77
    """Create a Storm store connected to the IVLE database.
 
78
 
 
79
    @param config: The IVLE configuration.
 
80
    """
 
81
    return Store(create_database(get_conn_string(config)))
79
82
 
80
83
# USERS #
81
84
 
82
85
class User(Storm):
83
 
    """
84
 
    Represents an IVLE user.
85
 
    """
 
86
    """An IVLE user account."""
86
87
    __storm_table__ = "login"
87
88
 
88
89
    id = Int(primary=True, name="loginid")
119
120
 
120
121
    @property
121
122
    def display_name(self):
 
123
        """Returns the "nice name" of the user or group."""
122
124
        return self.fullname
123
125
 
124
126
    @property
 
127
    def short_name(self):
 
128
        """Returns the database "identifier" name of the user or group."""
 
129
        return self.login
 
130
 
 
131
    @property
125
132
    def password_expired(self):
126
133
        fieldval = self.pass_exp
127
134
        return fieldval is not None and datetime.datetime.now() > fieldval
143
150
            Offering.semester_id == Semester.id,
144
151
            Offering.subject_id == Subject.id).order_by(
145
152
                Desc(Semester.year),
146
 
                Desc(Semester.semester),
 
153
                Desc(Semester.display_name),
147
154
                Desc(Subject.code)
148
155
            )
149
156
 
164
171
 
165
172
    # TODO: Invitations should be listed too?
166
173
    def get_groups(self, offering=None):
 
174
        """Get groups of which this user is a member.
 
175
 
 
176
        @param offering: An optional offering to restrict the search to.
 
177
        """
167
178
        preds = [
168
179
            ProjectGroupMembership.user_id == self.id,
169
180
            ProjectGroup.id == ProjectGroupMembership.project_group_id,
190
201
        return self._get_enrolments(False) 
191
202
 
192
203
    def get_projects(self, offering=None, active_only=True):
193
 
        '''Return Projects that the user can submit.
 
204
        """Find projects that the user can submit.
194
205
 
195
206
        This will include projects for offerings in which the user is
196
207
        enrolled, as long as the project is not in a project set which has
197
208
        groups (ie. if maximum number of group members is 0).
198
209
 
199
 
        Unless active_only is False, only projects for active offerings will
200
 
        be returned.
201
 
 
202
 
        If an offering is specified, returned projects will be limited to
203
 
        those for that offering.
204
 
        '''
 
210
        @param active_only: Whether to only search active offerings.
 
211
        @param offering: An optional offering to restrict the search to.
 
212
        """
205
213
        return Store.of(self).find(Project,
206
214
            Project.project_set_id == ProjectSet.id,
207
215
            ProjectSet.max_students_per_group == None,
210
218
            Semester.id == Offering.semester_id,
211
219
            (not active_only) or (Semester.state == u'current'),
212
220
            Enrolment.offering_id == Offering.id,
213
 
            Enrolment.user_id == self.id)
 
221
            Enrolment.user_id == self.id,
 
222
            Enrolment.active == True)
214
223
 
215
224
    @staticmethod
216
225
    def hash_password(password):
217
 
        return md5.md5(password).hexdigest()
 
226
        """Hash a password with MD5."""
 
227
        return hashlib.md5(password).hexdigest()
218
228
 
219
229
    @classmethod
220
230
    def get_by_login(cls, store, login):
221
 
        """
222
 
        Get the User from the db associated with a given store and
223
 
        login.
224
 
        """
 
231
        """Find a user in a store by login name."""
225
232
        return store.find(cls, cls.login == unicode(login)).one()
226
233
 
227
 
    def get_permissions(self, user):
 
234
    def get_svn_url(self, config):
 
235
        """Get the subversion repository URL for this user or group."""
 
236
        url = config['urls']['svn_addr']
 
237
        path = 'users/%s' % self.login
 
238
        return urlparse.urljoin(url, path)
 
239
 
 
240
    def get_permissions(self, user, config):
 
241
        """Determine privileges held by a user over this object.
 
242
 
 
243
        If the user requesting privileges is this user or an admin,
 
244
        they may do everything. Otherwise they may do nothing.
 
245
        """
228
246
        if user and user.admin or user is self:
229
 
            return set(['view', 'edit', 'submit_project'])
 
247
            return set(['view_public', 'view', 'edit', 'submit_project'])
230
248
        else:
231
 
            return set()
 
249
            return set(['view_public'])
232
250
 
233
251
# SUBJECTS AND ENROLMENTS #
234
252
 
235
253
class Subject(Storm):
 
254
    """A subject (or course) which is run in some semesters."""
 
255
 
236
256
    __storm_table__ = "subject"
237
257
 
238
258
    id = Int(primary=True, name="subjectid")
239
259
    code = Unicode(name="subj_code")
240
260
    name = Unicode(name="subj_name")
241
261
    short_name = Unicode(name="subj_short_name")
242
 
    url = Unicode()
243
262
 
244
263
    offerings = ReferenceSet(id, 'Offering.subject_id')
245
264
 
248
267
    def __repr__(self):
249
268
        return "<%s '%s'>" % (type(self).__name__, self.short_name)
250
269
 
251
 
    def get_permissions(self, user):
 
270
    def get_permissions(self, user, config):
 
271
        """Determine privileges held by a user over this object.
 
272
 
 
273
        If the user requesting privileges is an admin, they may edit.
 
274
        Otherwise they may only read.
 
275
        """
252
276
        perms = set()
253
277
        if user is not None:
254
278
            perms.add('view')
256
280
                perms.add('edit')
257
281
        return perms
258
282
 
 
283
    def active_offerings(self):
 
284
        """Find active offerings for this subject.
 
285
 
 
286
        Return a sequence of currently active offerings for this subject
 
287
        (offerings whose semester.state is "current"). There should be 0 or 1
 
288
        elements in this sequence, but it's possible there are more.
 
289
        """
 
290
        return self.offerings.find(Offering.semester_id == Semester.id,
 
291
                                   Semester.state == u'current')
 
292
 
 
293
    def offering_for_semester(self, year, semester):
 
294
        """Get the offering for the given year/semester, or None.
 
295
 
 
296
        @param year: A string representation of the year.
 
297
        @param semester: A string representation of the semester.
 
298
        """
 
299
        return self.offerings.find(Offering.semester_id == Semester.id,
 
300
                               Semester.year == unicode(year),
 
301
                               Semester.url_name == unicode(semester)).one()
 
302
 
259
303
class Semester(Storm):
 
304
    """A semester in which subjects can be run."""
 
305
 
260
306
    __storm_table__ = "semester"
261
307
 
262
308
    id = Int(primary=True, name="semesterid")
263
309
    year = Unicode()
264
 
    semester = Unicode()
 
310
    code = Unicode()
 
311
    url_name = Unicode()
 
312
    display_name = Unicode()
265
313
    state = Unicode()
266
314
 
267
315
    offerings = ReferenceSet(id, 'Offering.semester_id')
273
321
    __init__ = _kwarg_init
274
322
 
275
323
    def __repr__(self):
276
 
        return "<%s %s/%s>" % (type(self).__name__, self.year, self.semester)
 
324
        return "<%s %s/%s>" % (type(self).__name__, self.year, self.code)
277
325
 
278
326
class Offering(Storm):
 
327
    """An offering of a subject in a particular semester."""
 
328
 
279
329
    __storm_table__ = "offering"
280
330
 
281
331
    id = Int(primary=True, name="offeringid")
283
333
    subject = Reference(subject_id, Subject.id)
284
334
    semester_id = Int(name="semesterid")
285
335
    semester = Reference(semester_id, Semester.id)
 
336
    description = Unicode()
 
337
    url = Unicode()
 
338
    show_worksheet_marks = Bool()
 
339
    worksheet_cutoff = DateTime()
286
340
    groups_student_permissions = Unicode()
287
341
 
288
342
    enrolments = ReferenceSet(id, 'Enrolment.offering_id')
291
345
                           'Enrolment.user_id',
292
346
                           'User.id')
293
347
    project_sets = ReferenceSet(id, 'ProjectSet.offering_id')
 
348
    projects = ReferenceSet(id,
 
349
                            'ProjectSet.offering_id',
 
350
                            'ProjectSet.id',
 
351
                            'Project.project_set_id')
294
352
 
295
353
    worksheets = ReferenceSet(id, 
296
354
        'Worksheet.offering_id', 
304
362
                                  self.semester)
305
363
 
306
364
    def enrol(self, user, role=u'student'):
307
 
        '''Enrol a user in this offering.'''
 
365
        """Enrol a user in this offering.
 
366
 
 
367
        Enrolments handle both the staff and student cases. The role controls
 
368
        the privileges granted by this enrolment.
 
369
        """
308
370
        enrolment = Store.of(self).find(Enrolment,
309
371
                               Enrolment.user_id == user.id,
310
372
                               Enrolment.offering_id == self.id).one()
323
385
                               Enrolment.offering_id == self.id).one()
324
386
        Store.of(enrolment).remove(enrolment)
325
387
 
326
 
    def get_permissions(self, user):
 
388
    def get_permissions(self, user, config):
327
389
        perms = set()
328
390
        if user is not None:
329
391
            enrolment = self.get_enrolment(user)
330
392
            if enrolment or user.admin:
331
393
                perms.add('view')
332
 
            if (enrolment and enrolment.role in (u'tutor', u'lecturer')) \
333
 
               or user.admin:
334
 
                perms.add('edit')
 
394
            if enrolment and enrolment.role == u'tutor':
 
395
                perms.add('view_project_submissions')
 
396
                # Site-specific policy on the role of tutors
 
397
                if config['policy']['tutors_can_enrol_students']:
 
398
                    perms.add('enrol')
 
399
                    perms.add('enrol_student')
 
400
                if config['policy']['tutors_can_edit_worksheets']:
 
401
                    perms.add('edit_worksheets')
 
402
                if config['policy']['tutors_can_admin_groups']:
 
403
                    perms.add('admin_groups')
 
404
            if (enrolment and enrolment.role in (u'lecturer')) or user.admin:
 
405
                perms.add('view_project_submissions')
 
406
                perms.add('admin_groups')
 
407
                perms.add('edit_worksheets')
 
408
                perms.add('view_worksheet_marks')
 
409
                perms.add('edit')           # Can edit projects & details
 
410
                perms.add('enrol')          # Can see enrolment screen at all
 
411
                perms.add('enrol_student')  # Can enrol students
 
412
                perms.add('enrol_tutor')    # Can enrol tutors
 
413
            if user.admin:
 
414
                perms.add('enrol_lecturer') # Can enrol lecturers
335
415
        return perms
336
416
 
337
417
    def get_enrolment(self, user):
 
418
        """Find the user's enrolment in this offering."""
338
419
        try:
339
420
            enrolment = self.enrolments.find(user=user).one()
340
421
        except NotOneError:
342
423
 
343
424
        return enrolment
344
425
 
 
426
    def get_members_by_role(self, role):
 
427
        return Store.of(self).find(User,
 
428
                Enrolment.user_id == User.id,
 
429
                Enrolment.offering_id == self.id,
 
430
                Enrolment.role == role
 
431
                ).order_by(User.login)
 
432
 
 
433
    @property
 
434
    def students(self):
 
435
        return self.get_members_by_role(u'student')
 
436
 
 
437
    def get_open_projects_for_user(self, user):
 
438
        """Find all projects currently open to submissions by a user."""
 
439
        # XXX: Respect extensions.
 
440
        return self.projects.find(Project.deadline > datetime.datetime.now())
 
441
 
 
442
    def has_worksheet_cutoff_passed(self, user):
 
443
        """Check whether the worksheet cutoff has passed.
 
444
        A user is required, in case we support extensions.
 
445
        """
 
446
        if self.worksheet_cutoff is None:
 
447
            return False
 
448
        else:
 
449
            return self.worksheet_cutoff < datetime.datetime.now()
 
450
 
 
451
    def clone_worksheets(self, source):
 
452
        """Clone all worksheets from the specified source to this offering."""
 
453
        import ivle.worksheet.utils
 
454
        for worksheet in source.worksheets:
 
455
            newws = Worksheet()
 
456
            newws.seq_no = worksheet.seq_no
 
457
            newws.identifier = worksheet.identifier
 
458
            newws.name = worksheet.name
 
459
            newws.assessable = worksheet.assessable
 
460
            newws.published = worksheet.published
 
461
            newws.data = worksheet.data
 
462
            newws.format = worksheet.format
 
463
            newws.offering = self
 
464
            Store.of(self).add(newws)
 
465
            ivle.worksheet.utils.update_exerciselist(newws)
 
466
 
 
467
 
345
468
class Enrolment(Storm):
 
469
    """An enrolment of a user in an offering.
 
470
 
 
471
    This represents the roles of both staff and students.
 
472
    """
 
473
 
346
474
    __storm_table__ = "enrolment"
347
475
    __storm_primary__ = "user_id", "offering_id"
348
476
 
368
496
        return "<%s %r in %r>" % (type(self).__name__, self.user,
369
497
                                  self.offering)
370
498
 
 
499
    def get_permissions(self, user, config):
 
500
        # A user can edit any enrolment that they could have created.
 
501
        perms = set()
 
502
        if ('enrol_' + str(self.role)) in self.offering.get_permissions(
 
503
            user, config):
 
504
            perms.add('edit')
 
505
        return perms
 
506
 
 
507
    def delete(self):
 
508
        """Delete this enrolment."""
 
509
        Store.of(self).remove(self)
 
510
 
 
511
 
371
512
# PROJECTS #
372
513
 
373
514
class ProjectSet(Storm):
 
515
    """A set of projects that share common groups.
 
516
 
 
517
    Each student project group is attached to a project set. The group is
 
518
    valid for all projects in the group's set.
 
519
    """
 
520
 
374
521
    __storm_table__ = "project_set"
375
522
 
376
523
    id = Int(name="projectsetid", primary=True)
387
534
        return "<%s %d in %r>" % (type(self).__name__, self.id,
388
535
                                  self.offering)
389
536
 
 
537
    def get_permissions(self, user, config):
 
538
        return self.offering.get_permissions(user, config)
 
539
 
 
540
    def get_groups_for_user(self, user):
 
541
        """List all groups in this offering of which the user is a member."""
 
542
        assert self.is_group
 
543
        return Store.of(self).find(
 
544
            ProjectGroup,
 
545
            ProjectGroupMembership.user_id == user.id,
 
546
            ProjectGroupMembership.project_group_id == ProjectGroup.id,
 
547
            ProjectGroup.project_set_id == self.id)
 
548
 
 
549
    def get_submission_principal(self, user):
 
550
        """Get the principal on behalf of which the user can submit.
 
551
 
 
552
        If this is a solo project set, the given user is returned. If
 
553
        the user is a member of exactly one group, all the group is
 
554
        returned. Otherwise, None is returned.
 
555
        """
 
556
        if self.is_group:
 
557
            groups = self.get_groups_for_user(user)
 
558
            if groups.count() == 1:
 
559
                return groups.one()
 
560
            else:
 
561
                return None
 
562
        else:
 
563
            return user
 
564
 
 
565
    @property
 
566
    def is_group(self):
 
567
        return self.max_students_per_group is not None
 
568
 
 
569
    @property
 
570
    def assigned(self):
 
571
        """Get the entities (groups or users) assigned to submit this project.
 
572
 
 
573
        This will be a Storm ResultSet.
 
574
        """
 
575
        #If its a solo project, return everyone in offering
 
576
        if self.is_group:
 
577
            return self.project_groups
 
578
        else:
 
579
            return self.offering.students
 
580
 
 
581
class DeadlinePassed(Exception):
 
582
    """An exception indicating that a project cannot be submitted because the
 
583
    deadline has passed."""
 
584
    def __init__(self):
 
585
        pass
 
586
    def __str__(self):
 
587
        return "The project deadline has passed"
 
588
 
390
589
class Project(Storm):
 
590
    """A student project for which submissions can be made."""
 
591
 
391
592
    __storm_table__ = "project"
392
593
 
393
594
    id = Int(name="projectid", primary=True)
411
612
        return "<%s '%s' in %r>" % (type(self).__name__, self.short_name,
412
613
                                  self.project_set.offering)
413
614
 
414
 
    def can_submit(self, principal):
 
615
    def can_submit(self, principal, user, late=False):
 
616
        """
 
617
        @param late: If True, does not take the deadline into account.
 
618
        """
415
619
        return (self in principal.get_projects() and
416
 
                self.deadline > datetime.datetime.now())
 
620
                (late or not self.has_deadline_passed(user)))
417
621
 
418
 
    def submit(self, principal, path, revision, who):
 
622
    def submit(self, principal, path, revision, who, late=False):
419
623
        """Submit a Subversion path and revision to a project.
420
624
 
421
 
        'principal' is the owner of the Subversion repository, and the
422
 
        entity on behalf of whom the submission is being made. 'path' is
423
 
        a path within that repository, and 'revision' specifies which
424
 
        revision of that path. 'who' is the person making the submission.
 
625
        @param principal: The owner of the Subversion repository, and the
 
626
                          entity on behalf of whom the submission is being made
 
627
        @param path: A path within that repository to submit.
 
628
        @param revision: The revision of that path to submit.
 
629
        @param who: The user who is actually making the submission.
 
630
        @param late: If True, will not raise a DeadlinePassed exception even
 
631
            after the deadline. (Default False.)
425
632
        """
426
633
 
427
 
        if not self.can_submit(principal):
428
 
            raise Exception('cannot submit')
 
634
        if not self.can_submit(principal, who, late=late):
 
635
            raise DeadlinePassed()
429
636
 
430
637
        a = Assessed.get(Store.of(self), principal, self)
431
638
        ps = ProjectSubmission()
432
 
        ps.path = path
 
639
        # Raise SubmissionError if the path is illegal
 
640
        ps.path = ProjectSubmission.test_and_normalise_path(path)
433
641
        ps.revision = revision
434
642
        ps.date_submitted = datetime.datetime.now()
435
643
        ps.assessed = a
437
645
 
438
646
        return ps
439
647
 
 
648
    def get_permissions(self, user, config):
 
649
        return self.project_set.offering.get_permissions(user, config)
 
650
 
 
651
    @property
 
652
    def latest_submissions(self):
 
653
        """Return the latest submission for each Assessed."""
 
654
        return Store.of(self).find(ProjectSubmission,
 
655
            Assessed.project_id == self.id,
 
656
            ProjectSubmission.assessed_id == Assessed.id,
 
657
            ProjectSubmission.date_submitted == Select(
 
658
                    Max(ProjectSubmission.date_submitted),
 
659
                    ProjectSubmission.assessed_id == Assessed.id,
 
660
                    tables=ProjectSubmission
 
661
            )
 
662
        )
 
663
 
 
664
    def has_deadline_passed(self, user):
 
665
        """Check whether the deadline has passed."""
 
666
        # XXX: Need to respect extensions.
 
667
        return self.deadline < datetime.datetime.now()
 
668
 
 
669
    def get_submissions_for_principal(self, principal):
 
670
        """Fetch a ResultSet of all submissions by a particular principal."""
 
671
        assessed = Assessed.get(Store.of(self), principal, self)
 
672
        if assessed is None:
 
673
            return
 
674
        return assessed.submissions
 
675
 
 
676
    @property
 
677
    def can_delete(self):
 
678
        """Can only delete if there are no submissions."""
 
679
        return self.submissions.count() == 0
 
680
 
 
681
    def delete(self):
 
682
        """Delete the project. Fails if can_delete is False."""
 
683
        if not self.can_delete:
 
684
            raise IntegrityError()
 
685
        for assessed in self.assesseds:
 
686
            assessed.delete()
 
687
        Store.of(self).remove(self)
440
688
 
441
689
class ProjectGroup(Storm):
 
690
    """A group of students working together on a project."""
 
691
 
442
692
    __storm_table__ = "project_group"
443
693
 
444
694
    id = Int(name="groupid", primary=True)
463
713
 
464
714
    @property
465
715
    def display_name(self):
466
 
        return '%s (%s)' % (self.nick, self.name)
 
716
        """Returns the "nice name" of the user or group."""
 
717
        return self.nick
 
718
 
 
719
    @property
 
720
    def short_name(self):
 
721
        """Returns the database "identifier" name of the user or group."""
 
722
        return self.name
467
723
 
468
724
    def get_projects(self, offering=None, active_only=True):
469
 
        '''Return Projects that the group can submit.
 
725
        '''Find projects that the group can submit.
470
726
 
471
727
        This will include projects in the project set which owns this group,
472
728
        unless the project set disallows groups (in which case none will be
473
729
        returned).
474
730
 
475
 
        Unless active_only is False, projects will only be returned if the
476
 
        group's offering is active.
477
 
 
478
 
        If an offering is specified, projects will only be returned if it
479
 
        matches the group's.
 
731
        @param active_only: Whether to only search active offerings.
 
732
        @param offering: An optional offering to restrict the search to.
480
733
        '''
481
734
        return Store.of(self).find(Project,
482
735
            Project.project_set_id == ProjectSet.id,
487
740
            Semester.id == Offering.semester_id,
488
741
            (not active_only) or (Semester.state == u'current'))
489
742
 
 
743
    def get_svn_url(self, config):
 
744
        """Get the subversion repository URL for this user or group."""
 
745
        url = config['urls']['svn_addr']
 
746
        path = 'groups/%s_%s_%s_%s' % (
 
747
                self.project_set.offering.subject.short_name,
 
748
                self.project_set.offering.semester.year,
 
749
                self.project_set.offering.semester.url_name,
 
750
                self.name
 
751
                )
 
752
        return urlparse.urljoin(url, path)
490
753
 
491
 
    def get_permissions(self, user):
 
754
    def get_permissions(self, user, config):
492
755
        if user.admin or user in self.members:
493
756
            return set(['submit_project'])
494
757
        else:
495
758
            return set()
496
759
 
497
760
class ProjectGroupMembership(Storm):
 
761
    """A student's membership in a project group."""
 
762
 
498
763
    __storm_table__ = "group_member"
499
764
    __storm_primary__ = "user_id", "project_group_id"
500
765
 
510
775
                                  self.project_group)
511
776
 
512
777
class Assessed(Storm):
 
778
    """A composite of a user or group combined with a project.
 
779
 
 
780
    Each project submission and extension refers to an Assessed. It is the
 
781
    sole specifier of the repository and project.
 
782
    """
 
783
 
513
784
    __storm_table__ = "assessed"
514
785
 
515
786
    id = Int(name="assessedid", primary=True)
522
793
    project = Reference(project_id, Project.id)
523
794
 
524
795
    extensions = ReferenceSet(id, 'ProjectExtension.assessed_id')
525
 
    submissions = ReferenceSet(id, 'ProjectSubmission.assessed_id')
 
796
    submissions = ReferenceSet(
 
797
        id, 'ProjectSubmission.assessed_id', order_by='date_submitted')
526
798
 
527
799
    def __repr__(self):
528
800
        return "<%s %r in %r>" % (type(self).__name__,
529
801
            self.user or self.project_group, self.project)
530
802
 
 
803
    @property
 
804
    def is_group(self):
 
805
        """True if the Assessed is a group, False if it is a user."""
 
806
        return self.project_group is not None
 
807
 
 
808
    @property
 
809
    def principal(self):
 
810
        return self.project_group or self.user
 
811
 
 
812
    @property
 
813
    def checkout_location(self):
 
814
        """Returns the location of the Subversion workspace for this piece of
 
815
        assessment, relative to each group member's home directory."""
 
816
        subjectname = self.project.project_set.offering.subject.short_name
 
817
        if self.is_group:
 
818
            checkout_dir_name = self.principal.short_name
 
819
        else:
 
820
            checkout_dir_name = "mywork"
 
821
        return subjectname + "/" + checkout_dir_name
 
822
 
531
823
    @classmethod
532
824
    def get(cls, store, principal, project):
 
825
        """Find or create an Assessed for the given user or group and project.
 
826
 
 
827
        @param principal: The user or group.
 
828
        @param project: The project.
 
829
        """
533
830
        t = type(principal)
534
831
        if t not in (User, ProjectGroup):
535
832
            raise AssertionError('principal must be User or ProjectGroup')
537
834
        a = store.find(cls,
538
835
            (t is User) or (cls.project_group_id == principal.id),
539
836
            (t is ProjectGroup) or (cls.user_id == principal.id),
540
 
            Project.id == project.id).one()
 
837
            cls.project_id == project.id).one()
541
838
 
542
839
        if a is None:
543
840
            a = cls()
550
847
 
551
848
        return a
552
849
 
 
850
    def delete(self):
 
851
        """Delete the assessed. Fails if there are any submissions. Deletes
 
852
        extensions."""
 
853
        if self.submissions.count() > 0:
 
854
            raise IntegrityError()
 
855
        for extension in self.extensions:
 
856
            extension.delete()
 
857
        Store.of(self).remove(self)
553
858
 
554
859
class ProjectExtension(Storm):
 
860
    """An extension granted to a user or group on a particular project.
 
861
 
 
862
    The user or group and project are specified by the Assessed.
 
863
    """
 
864
 
555
865
    __storm_table__ = "project_extension"
556
866
 
557
867
    id = Int(name="extensionid", primary=True)
558
868
    assessed_id = Int(name="assessedid")
559
869
    assessed = Reference(assessed_id, Assessed.id)
560
 
    deadline = DateTime()
 
870
    days = Int()
561
871
    approver_id = Int(name="approver")
562
872
    approver = Reference(approver_id, User.id)
563
873
    notes = Unicode()
564
874
 
 
875
    def delete(self):
 
876
        """Delete the extension."""
 
877
        Store.of(self).remove(self)
 
878
 
 
879
class SubmissionError(Exception):
 
880
    """Denotes a validation error during submission."""
 
881
    pass
 
882
 
565
883
class ProjectSubmission(Storm):
 
884
    """A submission from a user or group repository to a particular project.
 
885
 
 
886
    The content of a submission is a single path and revision inside a
 
887
    repository. The repository is that owned by the submission's user and
 
888
    group, while the path and revision are explicit.
 
889
 
 
890
    The user or group and project are specified by the Assessed.
 
891
    """
 
892
 
566
893
    __storm_table__ = "project_submission"
567
894
 
568
895
    id = Int(name="submissionid", primary=True)
574
901
    submitter = Reference(submitter_id, User.id)
575
902
    date_submitted = DateTime()
576
903
 
 
904
    def get_verify_url(self, user):
 
905
        """Get the URL for verifying this submission, within the account of
 
906
        the given user."""
 
907
        # If this is a solo project, then self.path will be prefixed with the
 
908
        # subject name. Remove the first path segment.
 
909
        submitpath = self.path[1:] if self.path[:1] == '/' else self.path
 
910
        if not self.assessed.is_group:
 
911
            if '/' in submitpath:
 
912
                submitpath = submitpath.split('/', 1)[1]
 
913
            else:
 
914
                submitpath = ''
 
915
        return "/files/%s/%s/%s?r=%d" % (user.login,
 
916
            self.assessed.checkout_location, submitpath, self.revision)
 
917
 
 
918
    def get_svn_url(self, config):
 
919
        """Get subversion URL for this submission"""
 
920
        princ = self.assessed.principal
 
921
        base = princ.get_svn_url(config)
 
922
        if self.path.startswith(os.sep):
 
923
            return os.path.join(base,
 
924
                    urllib.quote(self.path[1:].encode('utf-8')))
 
925
        else:
 
926
            return os.path.join(base, urllib.quote(self.path.encode('utf-8')))
 
927
 
 
928
    def get_svn_export_command(self, req):
 
929
        """Returns a Unix shell command to export a submission"""
 
930
        svn_url = self.get_svn_url(req.config)
 
931
        _, ext = os.path.splitext(svn_url)
 
932
        username = (req.user.login if req.user.login.isalnum() else
 
933
                "'%s'"%req.user.login)
 
934
        # Export to a file or directory relative to the current directory,
 
935
        # with the student's login name, appended with the submitted file's
 
936
        # extension, if any
 
937
        export_path = self.assessed.principal.short_name + ext
 
938
        return "svn export --username %s -r%d '%s' %s"%(req.user.login,
 
939
                self.revision, svn_url, export_path)
 
940
 
 
941
    @staticmethod
 
942
    def test_and_normalise_path(path):
 
943
        """Test that path is valid, and normalise it. This prevents possible
 
944
        injections using malicious paths.
 
945
        Returns the updated path, if successful.
 
946
        Raises SubmissionError if invalid.
 
947
        """
 
948
        # Ensure the path is absolute to prevent being tacked onto working
 
949
        # directories.
 
950
        # Prevent '\n' because it will break all sorts of things.
 
951
        # Prevent '[' and ']' because they can be used to inject into the
 
952
        # svn.conf.
 
953
        # Normalise to avoid resulting in ".." path segments.
 
954
        if not os.path.isabs(path):
 
955
            raise SubmissionError("Path is not absolute")
 
956
        if any(c in path for c in "\n[]"):
 
957
            raise SubmissionError("Path must not contain '\\n', '[' or ']'")
 
958
        return os.path.normpath(path)
 
959
 
 
960
    @property
 
961
    def late(self):
 
962
        """True if the project was submitted late."""
 
963
        return self.days_late > 0
 
964
 
 
965
    @property
 
966
    def days_late(self):
 
967
        """The number of days the project was submitted late (rounded up), or
 
968
        0 if on-time."""
 
969
        # XXX: Need to respect extensions.
 
970
        return max(0,
 
971
            (self.date_submitted - self.assessed.project.deadline).days + 1)
577
972
 
578
973
# WORKSHEETS AND EXERCISES #
579
974
 
580
975
class Exercise(Storm):
 
976
    """An exercise for students to complete in a worksheet.
 
977
 
 
978
    An exercise may be present in any number of worksheets.
 
979
    """
 
980
 
581
981
    __storm_table__ = "exercise"
582
982
    id = Unicode(primary=True, name="identifier")
583
983
    name = Unicode()
584
984
    description = Unicode()
 
985
    _description_xhtml_cache = Unicode(name='description_xhtml_cache')
585
986
    partial = Unicode()
586
987
    solution = Unicode()
587
988
    include = Unicode()
595
996
        'WorksheetExercise.worksheet_id',
596
997
        'Worksheet.id'
597
998
    )
598
 
    
 
999
 
599
1000
    test_suites = ReferenceSet(id, 
600
1001
        'TestSuite.exercise_id',
601
1002
        order_by='seq_no')
605
1006
    def __repr__(self):
606
1007
        return "<%s %s>" % (type(self).__name__, self.name)
607
1008
 
608
 
    def get_permissions(self, user):
 
1009
    def get_permissions(self, user, config):
 
1010
        return self.global_permissions(user, config)
 
1011
 
 
1012
    @staticmethod
 
1013
    def global_permissions(user, config):
 
1014
        """Gets the set of permissions this user has over *all* exercises.
 
1015
        This is used to determine who may view the exercises list, and create
 
1016
        new exercises."""
609
1017
        perms = set()
610
1018
        roles = set()
611
1019
        if user is not None:
612
1020
            if user.admin:
613
1021
                perms.add('edit')
614
1022
                perms.add('view')
615
 
            elif 'lecturer' in set((e.role for e in user.active_enrolments)):
616
 
                perms.add('edit')
617
 
                perms.add('view')
618
 
            
 
1023
            elif u'lecturer' in set((e.role for e in user.active_enrolments)):
 
1024
                perms.add('edit')
 
1025
                perms.add('view')
 
1026
            elif (config['policy']['tutors_can_edit_worksheets']
 
1027
            and u'tutor' in set((e.role for e in user.active_enrolments))):
 
1028
                # Site-specific policy on the role of tutors
 
1029
                perms.add('edit')
 
1030
                perms.add('view')
 
1031
 
619
1032
        return perms
620
 
    
621
 
    def get_description(self):
622
 
        return rst(self.description)
 
1033
 
 
1034
    def _cache_description_xhtml(self, invalidate=False):
 
1035
        # Don't regenerate an existing cache unless forced.
 
1036
        if self._description_xhtml_cache is not None and not invalidate:
 
1037
            return
 
1038
 
 
1039
        if self.description:
 
1040
            self._description_xhtml_cache = rst(self.description)
 
1041
        else:
 
1042
            self._description_xhtml_cache = None
 
1043
 
 
1044
    @property
 
1045
    def description_xhtml(self):
 
1046
        """The XHTML exercise description, converted from reStructuredText."""
 
1047
        self._cache_description_xhtml()
 
1048
        return self._description_xhtml_cache
 
1049
 
 
1050
    def set_description(self, description):
 
1051
        self.description = description
 
1052
        self._cache_description_xhtml(invalidate=True)
623
1053
 
624
1054
    def delete(self):
625
1055
        """Deletes the exercise, providing it has no associated worksheets."""
630
1060
        Store.of(self).remove(self)
631
1061
 
632
1062
class Worksheet(Storm):
 
1063
    """A worksheet with exercises for students to complete.
 
1064
 
 
1065
    Worksheets are owned by offerings.
 
1066
    """
 
1067
 
633
1068
    __storm_table__ = "worksheet"
634
1069
 
635
1070
    id = Int(primary=True, name="worksheetid")
637
1072
    identifier = Unicode()
638
1073
    name = Unicode()
639
1074
    assessable = Bool()
 
1075
    published = Bool()
640
1076
    data = Unicode()
 
1077
    _data_xhtml_cache = Unicode(name='data_xhtml_cache')
641
1078
    seq_no = Int()
642
1079
    format = Unicode()
643
1080
 
660
1097
    def __repr__(self):
661
1098
        return "<%s %s>" % (type(self).__name__, self.name)
662
1099
 
663
 
    # XXX Refactor this - make it an instance method of Subject rather than a
664
 
    # class method of Worksheet. Can't do that now because Subject isn't
665
 
    # linked referentially to the Worksheet.
666
 
    @classmethod
667
 
    def get_by_name(cls, store, subjectname, worksheetname):
668
 
        """
669
 
        Get the Worksheet from the db associated with a given store, subject
670
 
        name and worksheet name.
671
 
        """
672
 
        return store.find(cls, cls.subject == unicode(subjectname),
673
 
            cls.name == unicode(worksheetname)).one()
674
 
 
675
1100
    def remove_all_exercises(self):
676
 
        """
677
 
        Remove all exercises from this worksheet.
 
1101
        """Remove all exercises from this worksheet.
 
1102
 
678
1103
        This does not delete the exercises themselves. It just removes them
679
1104
        from the worksheet.
680
1105
        """
684
1109
                raise IntegrityError()
685
1110
        store.find(WorksheetExercise,
686
1111
            WorksheetExercise.worksheet == self).remove()
687
 
            
688
 
    def get_permissions(self, user):
689
 
        return self.offering.get_permissions(user)
690
 
    
691
 
    def get_xml(self):
692
 
        """Returns the xml of this worksheet, converts from rst if required."""
693
 
        if self.format == u'rst':
694
 
            ws_xml = rst(self.data)
695
 
            return ws_xml
 
1112
 
 
1113
    def get_permissions(self, user, config):
 
1114
        offering_perms = self.offering.get_permissions(user, config)
 
1115
 
 
1116
        perms = set()
 
1117
 
 
1118
        # Anybody who can view an offering can view a published
 
1119
        # worksheet.
 
1120
        if 'view' in offering_perms and self.published:
 
1121
            perms.add('view')
 
1122
 
 
1123
        # Any worksheet editors can both view and edit.
 
1124
        if 'edit_worksheets' in offering_perms:
 
1125
            perms.add('view')
 
1126
            perms.add('edit')
 
1127
 
 
1128
        return perms
 
1129
 
 
1130
    def _cache_data_xhtml(self, invalidate=False):
 
1131
        # Don't regenerate an existing cache unless forced.
 
1132
        if self._data_xhtml_cache is not None and not invalidate:
 
1133
            return
 
1134
 
 
1135
        if self.format == u'rst':
 
1136
            self._data_xhtml_cache = rst(self.data)
 
1137
        else:
 
1138
            self._data_xhtml_cache = None
 
1139
 
 
1140
    @property
 
1141
    def data_xhtml(self):
 
1142
        """The XHTML of this worksheet, converted from rST if required."""
 
1143
        # Update the rST -> XHTML cache, if required.
 
1144
        self._cache_data_xhtml()
 
1145
 
 
1146
        if self.format == u'rst':
 
1147
            return self._data_xhtml_cache
696
1148
        else:
697
1149
            return self.data
698
 
    
 
1150
 
 
1151
    def set_data(self, data):
 
1152
        self.data = data
 
1153
        self._cache_data_xhtml(invalidate=True)
 
1154
 
699
1155
    def delete(self):
700
1156
        """Deletes the worksheet, provided it has no attempts on any exercises.
701
 
        
 
1157
 
702
1158
        Returns True if delete succeeded, or False if this worksheet has
703
1159
        attempts attached."""
704
1160
        for ws_ex in self.all_worksheet_exercises:
705
1161
            if ws_ex.saves.count() > 0 or ws_ex.attempts.count() > 0:
706
1162
                raise IntegrityError()
707
 
        
 
1163
 
708
1164
        self.remove_all_exercises()
709
1165
        Store.of(self).remove(self)
710
 
        
 
1166
 
711
1167
class WorksheetExercise(Storm):
 
1168
    """A link between a worksheet and one of its exercises.
 
1169
 
 
1170
    These may be marked optional, in which case the exercise does not count
 
1171
    for marking purposes. The sequence number is used to order the worksheet
 
1172
    ToC.
 
1173
    """
 
1174
 
712
1175
    __storm_table__ = "worksheet_exercise"
713
 
    
 
1176
 
714
1177
    id = Int(primary=True, name="ws_ex_id")
715
1178
 
716
1179
    worksheet_id = Int(name="worksheetid")
720
1183
    optional = Bool()
721
1184
    active = Bool()
722
1185
    seq_no = Int()
723
 
    
 
1186
 
724
1187
    saves = ReferenceSet(id, "ExerciseSave.ws_ex_id")
725
1188
    attempts = ReferenceSet(id, "ExerciseAttempt.ws_ex_id")
726
1189
 
730
1193
        return "<%s %s in %s>" % (type(self).__name__, self.exercise.name,
731
1194
                                  self.worksheet.identifier)
732
1195
 
733
 
    def get_permissions(self, user):
734
 
        return self.worksheet.get_permissions(user)
735
 
    
 
1196
    def get_permissions(self, user, config):
 
1197
        return self.worksheet.get_permissions(user, config)
 
1198
 
736
1199
 
737
1200
class ExerciseSave(Storm):
738
 
    """
739
 
    Represents a potential solution to an exercise that a user has submitted
740
 
    to the server for storage.
741
 
    A basic ExerciseSave is just the current saved text for this exercise for
742
 
    this user (doesn't count towards their attempts).
743
 
    ExerciseSave may be extended with additional semantics (such as
744
 
    ExerciseAttempt).
745
 
    """
 
1201
    """A potential exercise solution submitted by a user for storage.
 
1202
 
 
1203
    This is not an actual tested attempt at an exercise, it's just a save of
 
1204
    the editing session.
 
1205
    """
 
1206
 
746
1207
    __storm_table__ = "exercise_save"
747
1208
    __storm_primary__ = "ws_ex_id", "user_id"
748
1209
 
758
1219
 
759
1220
    def __repr__(self):
760
1221
        return "<%s %s by %s at %s>" % (type(self).__name__,
761
 
            self.exercise.name, self.user.login, self.date.strftime("%c"))
 
1222
            self.worksheet_exercise.exercise.name, self.user.login,
 
1223
            self.date.strftime("%c"))
762
1224
 
763
1225
class ExerciseAttempt(ExerciseSave):
764
 
    """
765
 
    An ExerciseAttempt is a special case of an ExerciseSave. Like an
766
 
    ExerciseSave, it constitutes exercise solution data that the user has
767
 
    submitted to the server for storage.
768
 
    In addition, it contains additional information about the submission.
769
 
    complete - True if this submission was successful, rendering this exercise
770
 
        complete for this user.
771
 
    active - True if this submission is "active" (usually true). Submissions
772
 
        may be de-activated by privileged users for special reasons, and then
773
 
        they won't count (either as a penalty or success), but will still be
774
 
        stored.
775
 
    """
 
1226
    """An attempt at solving an exercise.
 
1227
 
 
1228
    This is a special case of ExerciseSave, used when the user submits a
 
1229
    candidate solution. Like an ExerciseSave, it constitutes exercise solution
 
1230
    data.
 
1231
 
 
1232
    In addition, it contains information about the result of the submission:
 
1233
 
 
1234
     - complete - True if this submission was successful, rendering this
 
1235
                  exercise complete for this user in this worksheet.
 
1236
     - active   - True if this submission is "active" (usually true).
 
1237
                  Submissions may be de-activated by privileged users for
 
1238
                  special reasons, and then they won't count (either as a
 
1239
                  penalty or success), but will still be stored.
 
1240
    """
 
1241
 
776
1242
    __storm_table__ = "exercise_attempt"
777
1243
    __storm_primary__ = "ws_ex_id", "user_id", "date"
778
1244
 
781
1247
    text = Unicode(name="attempt")
782
1248
    complete = Bool()
783
1249
    active = Bool()
784
 
    
785
 
    def get_permissions(self, user):
 
1250
 
 
1251
    def get_permissions(self, user, config):
786
1252
        return set(['view']) if user is self.user else set()
787
 
  
 
1253
 
788
1254
class TestSuite(Storm):
789
 
    """A Testsuite acts as a container for the test cases of an exercise."""
 
1255
    """A container to group an exercise's test cases.
 
1256
 
 
1257
    The test suite contains some information on how to test. The function to
 
1258
    test, variables to set and stdin data are stored here.
 
1259
    """
 
1260
 
790
1261
    __storm_table__ = "test_suite"
791
1262
    __storm_primary__ = "exercise_id", "suiteid"
792
 
    
 
1263
 
793
1264
    suiteid = Int()
794
1265
    exercise_id = Unicode(name="exerciseid")
795
1266
    description = Unicode()
799
1270
    exercise = Reference(exercise_id, Exercise.id)
800
1271
    test_cases = ReferenceSet(suiteid, 'TestCase.suiteid', order_by="seq_no")
801
1272
    variables = ReferenceSet(suiteid, 'TestSuiteVar.suiteid', order_by='arg_no')
802
 
    
 
1273
 
803
1274
    def delete(self):
804
1275
        """Delete this suite, without asking questions."""
805
 
        for vaariable in self.variables:
 
1276
        for variable in self.variables:
806
1277
            variable.delete()
807
1278
        for test_case in self.test_cases:
808
1279
            test_case.delete()
809
1280
        Store.of(self).remove(self)
810
1281
 
811
1282
class TestCase(Storm):
812
 
    """A TestCase is a member of a TestSuite.
813
 
    
814
 
    It contains the data necessary to check if an exercise is correct"""
 
1283
    """A container for actual tests (see TestCasePart), inside a test suite.
 
1284
 
 
1285
    It is the lowest level shown to students on their pass/fail status."""
 
1286
 
815
1287
    __storm_table__ = "test_case"
816
1288
    __storm_primary__ = "testid", "suiteid"
817
 
    
 
1289
 
818
1290
    testid = Int()
819
1291
    suiteid = Int()
820
1292
    suite = Reference(suiteid, "TestSuite.suiteid")
821
1293
    passmsg = Unicode()
822
1294
    failmsg = Unicode()
823
 
    test_default = Unicode()
 
1295
    test_default = Unicode() # Currently unused - only used for file matching.
824
1296
    seq_no = Int()
825
 
    
 
1297
 
826
1298
    parts = ReferenceSet(testid, "TestCasePart.testid")
827
 
    
 
1299
 
828
1300
    __init__ = _kwarg_init
829
 
    
 
1301
 
830
1302
    def delete(self):
831
1303
        for part in self.parts:
832
1304
            part.delete()
833
1305
        Store.of(self).remove(self)
834
1306
 
835
1307
class TestSuiteVar(Storm):
836
 
    """A container for the arguments of a Test Suite"""
 
1308
    """A variable used by an exercise test suite.
 
1309
 
 
1310
    This may represent a function argument or a normal variable.
 
1311
    """
 
1312
 
837
1313
    __storm_table__ = "suite_variable"
838
1314
    __storm_primary__ = "varid"
839
 
    
 
1315
 
840
1316
    varid = Int()
841
1317
    suiteid = Int()
842
1318
    var_name = Unicode()
843
1319
    var_value = Unicode()
844
1320
    var_type = Unicode()
845
1321
    arg_no = Int()
846
 
    
 
1322
 
847
1323
    suite = Reference(suiteid, "TestSuite.suiteid")
848
 
    
 
1324
 
849
1325
    __init__ = _kwarg_init
850
 
    
 
1326
 
851
1327
    def delete(self):
852
1328
        Store.of(self).remove(self)
853
 
    
 
1329
 
854
1330
class TestCasePart(Storm):
855
 
    """A container for the test elements of a Test Case"""
 
1331
    """An actual piece of code to test an exercise solution."""
 
1332
 
856
1333
    __storm_table__ = "test_case_part"
857
1334
    __storm_primary__ = "partid"
858
 
    
 
1335
 
859
1336
    partid = Int()
860
1337
    testid = Int()
861
 
    
 
1338
 
862
1339
    part_type = Unicode()
863
1340
    test_type = Unicode()
864
1341
    data = Unicode()
865
1342
    filename = Unicode()
866
 
    
 
1343
 
867
1344
    test = Reference(testid, "TestCase.testid")
868
 
    
 
1345
 
869
1346
    __init__ = _kwarg_init
870
 
    
 
1347
 
871
1348
    def delete(self):
872
1349
        Store.of(self).remove(self)