~azzar1/unity/add-show-desktop-key

« back to all changes in this revision

Viewing changes to ivle/database.py

  • Committer: William Grant
  • Date: 2009-04-07 03:48:23 UTC
  • mfrom: (1165.1.46 submissions)
  • Revision ID: grantw@unimelb.edu.au-20090407034823-snd6wa5p6otzq073
Allow students to submit projects from personal or group repositories.

Show diffs side-by-side

added added

removed removed

Lines of Context:
17
17
 
18
18
# Author: Matt Giuca, Will Grant
19
19
 
20
 
"""Database utilities and content classes.
 
20
"""
 
21
Database Classes and Utilities for Storm ORM
21
22
 
22
23
This module provides all of the classes which map to database tables.
23
24
It also provides miscellaneous utility functions for database interaction.
24
25
"""
25
26
 
26
 
import hashlib
 
27
import md5
27
28
import datetime
28
 
import os
29
 
import urlparse
30
 
import urllib
31
29
 
32
30
from storm.locals import create_database, Store, Int, Unicode, DateTime, \
33
31
                         Reference, ReferenceSet, Bool, Storm, Desc
34
 
from storm.expr import Select, Max
35
32
from storm.exceptions import NotOneError, IntegrityError
36
33
 
 
34
import ivle.conf
37
35
from ivle.worksheet.rst import rst
38
36
 
39
37
__all__ = ['get_store',
53
51
                % (self.__class__.__name__, k))
54
52
        setattr(self, k, v)
55
53
 
56
 
def get_conn_string(config):
57
 
    """Create a Storm connection string to the IVLE database
58
 
 
59
 
    @param config: The IVLE configuration.
 
54
def get_conn_string():
 
55
    """
 
56
    Returns the Storm connection string, generated from the conf file.
60
57
    """
61
58
 
62
59
    clusterstr = ''
63
 
    if config['database']['username']:
64
 
        clusterstr += config['database']['username']
65
 
        if config['database']['password']:
66
 
            clusterstr += ':' + config['database']['password']
 
60
    if ivle.conf.db_user:
 
61
        clusterstr += ivle.conf.db_user
 
62
        if ivle.conf.db_password:
 
63
            clusterstr += ':' + ivle.conf.db_password
67
64
        clusterstr += '@'
68
65
 
69
 
    host = config['database']['host'] or 'localhost'
70
 
    port = config['database']['port'] or 5432
 
66
    host = ivle.conf.db_host or 'localhost'
 
67
    port = ivle.conf.db_port or 5432
71
68
 
72
69
    clusterstr += '%s:%d' % (host, port)
73
70
 
74
 
    return "postgres://%s/%s" % (clusterstr, config['database']['name'])
75
 
 
76
 
def get_store(config):
77
 
    """Create a Storm store connected to the IVLE database.
78
 
 
79
 
    @param config: The IVLE configuration.
80
 
    """
81
 
    return Store(create_database(get_conn_string(config)))
 
71
    return "postgres://%s/%s" % (clusterstr, ivle.conf.db_dbname)
 
72
 
 
73
def get_store():
 
74
    """
 
75
    Open a database connection and transaction. Return a storm.store.Store
 
76
    instance connected to the configured IVLE database.
 
77
    """
 
78
    return Store(create_database(get_conn_string()))
82
79
 
83
80
# USERS #
84
81
 
85
82
class User(Storm):
86
 
    """An IVLE user account."""
 
83
    """
 
84
    Represents an IVLE user.
 
85
    """
87
86
    __storm_table__ = "login"
88
87
 
89
88
    id = Int(primary=True, name="loginid")
120
119
 
121
120
    @property
122
121
    def display_name(self):
123
 
        """Returns the "nice name" of the user or group."""
124
122
        return self.fullname
125
123
 
126
124
    @property
127
 
    def short_name(self):
128
 
        """Returns the database "identifier" name of the user or group."""
129
 
        return self.login
130
 
 
131
 
    @property
132
125
    def password_expired(self):
133
126
        fieldval = self.pass_exp
134
127
        return fieldval is not None and datetime.datetime.now() > fieldval
150
143
            Offering.semester_id == Semester.id,
151
144
            Offering.subject_id == Subject.id).order_by(
152
145
                Desc(Semester.year),
153
 
                Desc(Semester.display_name),
 
146
                Desc(Semester.semester),
154
147
                Desc(Subject.code)
155
148
            )
156
149
 
171
164
 
172
165
    # TODO: Invitations should be listed too?
173
166
    def get_groups(self, offering=None):
174
 
        """Get groups of which this user is a member.
175
 
 
176
 
        @param offering: An optional offering to restrict the search to.
177
 
        """
178
167
        preds = [
179
168
            ProjectGroupMembership.user_id == self.id,
180
169
            ProjectGroup.id == ProjectGroupMembership.project_group_id,
201
190
        return self._get_enrolments(False) 
202
191
 
203
192
    def get_projects(self, offering=None, active_only=True):
204
 
        """Find projects that the user can submit.
 
193
        '''Return Projects that the user can submit.
205
194
 
206
195
        This will include projects for offerings in which the user is
207
196
        enrolled, as long as the project is not in a project set which has
208
197
        groups (ie. if maximum number of group members is 0).
209
198
 
210
 
        @param active_only: Whether to only search active offerings.
211
 
        @param offering: An optional offering to restrict the search to.
212
 
        """
 
199
        Unless active_only is False, only projects for active offerings will
 
200
        be returned.
 
201
 
 
202
        If an offering is specified, returned projects will be limited to
 
203
        those for that offering.
 
204
        '''
213
205
        return Store.of(self).find(Project,
214
206
            Project.project_set_id == ProjectSet.id,
215
207
            ProjectSet.max_students_per_group == None,
218
210
            Semester.id == Offering.semester_id,
219
211
            (not active_only) or (Semester.state == u'current'),
220
212
            Enrolment.offering_id == Offering.id,
221
 
            Enrolment.user_id == self.id,
222
 
            Enrolment.active == True)
 
213
            Enrolment.user_id == self.id)
223
214
 
224
215
    @staticmethod
225
216
    def hash_password(password):
226
 
        """Hash a password with MD5."""
227
 
        return hashlib.md5(password).hexdigest()
 
217
        return md5.md5(password).hexdigest()
228
218
 
229
219
    @classmethod
230
220
    def get_by_login(cls, store, login):
231
 
        """Find a user in a store by login name."""
 
221
        """
 
222
        Get the User from the db associated with a given store and
 
223
        login.
 
224
        """
232
225
        return store.find(cls, cls.login == unicode(login)).one()
233
226
 
234
 
    def get_svn_url(self, config):
235
 
        """Get the subversion repository URL for this user or group."""
236
 
        url = config['urls']['svn_addr']
237
 
        path = 'users/%s' % self.login
238
 
        return urlparse.urljoin(url, path)
239
 
 
240
 
    def get_permissions(self, user, config):
241
 
        """Determine privileges held by a user over this object.
242
 
 
243
 
        If the user requesting privileges is this user or an admin,
244
 
        they may do everything. Otherwise they may do nothing.
245
 
        """
 
227
    def get_permissions(self, user):
246
228
        if user and user.admin or user is self:
247
 
            return set(['view_public', 'view', 'edit', 'submit_project'])
 
229
            return set(['view', 'edit', 'submit_project'])
248
230
        else:
249
 
            return set(['view_public'])
 
231
            return set()
250
232
 
251
233
# SUBJECTS AND ENROLMENTS #
252
234
 
253
235
class Subject(Storm):
254
 
    """A subject (or course) which is run in some semesters."""
255
 
 
256
236
    __storm_table__ = "subject"
257
237
 
258
238
    id = Int(primary=True, name="subjectid")
259
239
    code = Unicode(name="subj_code")
260
240
    name = Unicode(name="subj_name")
261
241
    short_name = Unicode(name="subj_short_name")
 
242
    url = Unicode()
262
243
 
263
244
    offerings = ReferenceSet(id, 'Offering.subject_id')
264
245
 
267
248
    def __repr__(self):
268
249
        return "<%s '%s'>" % (type(self).__name__, self.short_name)
269
250
 
270
 
    def get_permissions(self, user, config):
271
 
        """Determine privileges held by a user over this object.
272
 
 
273
 
        If the user requesting privileges is an admin, they may edit.
274
 
        Otherwise they may only read.
275
 
        """
 
251
    def get_permissions(self, user):
276
252
        perms = set()
277
253
        if user is not None:
278
254
            perms.add('view')
280
256
                perms.add('edit')
281
257
        return perms
282
258
 
283
 
    def active_offerings(self):
284
 
        """Find active offerings for this subject.
285
 
 
286
 
        Return a sequence of currently active offerings for this subject
287
 
        (offerings whose semester.state is "current"). There should be 0 or 1
288
 
        elements in this sequence, but it's possible there are more.
289
 
        """
290
 
        return self.offerings.find(Offering.semester_id == Semester.id,
291
 
                                   Semester.state == u'current')
292
 
 
293
 
    def offering_for_semester(self, year, semester):
294
 
        """Get the offering for the given year/semester, or None.
295
 
 
296
 
        @param year: A string representation of the year.
297
 
        @param semester: A string representation of the semester.
298
 
        """
299
 
        return self.offerings.find(Offering.semester_id == Semester.id,
300
 
                               Semester.year == unicode(year),
301
 
                               Semester.url_name == unicode(semester)).one()
302
 
 
303
259
class Semester(Storm):
304
 
    """A semester in which subjects can be run."""
305
 
 
306
260
    __storm_table__ = "semester"
307
261
 
308
262
    id = Int(primary=True, name="semesterid")
309
263
    year = Unicode()
310
 
    code = Unicode()
311
 
    url_name = Unicode()
312
 
    display_name = Unicode()
 
264
    semester = Unicode()
313
265
    state = Unicode()
314
266
 
315
267
    offerings = ReferenceSet(id, 'Offering.semester_id')
321
273
    __init__ = _kwarg_init
322
274
 
323
275
    def __repr__(self):
324
 
        return "<%s %s/%s>" % (type(self).__name__, self.year, self.code)
 
276
        return "<%s %s/%s>" % (type(self).__name__, self.year, self.semester)
325
277
 
326
278
class Offering(Storm):
327
 
    """An offering of a subject in a particular semester."""
328
 
 
329
279
    __storm_table__ = "offering"
330
280
 
331
281
    id = Int(primary=True, name="offeringid")
333
283
    subject = Reference(subject_id, Subject.id)
334
284
    semester_id = Int(name="semesterid")
335
285
    semester = Reference(semester_id, Semester.id)
336
 
    description = Unicode()
337
 
    url = Unicode()
338
 
    show_worksheet_marks = Bool()
339
 
    worksheet_cutoff = DateTime()
340
286
    groups_student_permissions = Unicode()
341
287
 
342
288
    enrolments = ReferenceSet(id, 'Enrolment.offering_id')
345
291
                           'Enrolment.user_id',
346
292
                           'User.id')
347
293
    project_sets = ReferenceSet(id, 'ProjectSet.offering_id')
348
 
    projects = ReferenceSet(id,
349
 
                            'ProjectSet.offering_id',
350
 
                            'ProjectSet.id',
351
 
                            'Project.project_set_id')
352
294
 
353
295
    worksheets = ReferenceSet(id, 
354
296
        'Worksheet.offering_id', 
362
304
                                  self.semester)
363
305
 
364
306
    def enrol(self, user, role=u'student'):
365
 
        """Enrol a user in this offering.
366
 
 
367
 
        Enrolments handle both the staff and student cases. The role controls
368
 
        the privileges granted by this enrolment.
369
 
        """
 
307
        '''Enrol a user in this offering.'''
370
308
        enrolment = Store.of(self).find(Enrolment,
371
309
                               Enrolment.user_id == user.id,
372
310
                               Enrolment.offering_id == self.id).one()
385
323
                               Enrolment.offering_id == self.id).one()
386
324
        Store.of(enrolment).remove(enrolment)
387
325
 
388
 
    def get_permissions(self, user, config):
 
326
    def get_permissions(self, user):
389
327
        perms = set()
390
328
        if user is not None:
391
329
            enrolment = self.get_enrolment(user)
392
330
            if enrolment or user.admin:
393
331
                perms.add('view')
394
 
            if enrolment and enrolment.role == u'tutor':
395
 
                perms.add('view_project_submissions')
396
 
                # Site-specific policy on the role of tutors
397
 
                if config['policy']['tutors_can_enrol_students']:
398
 
                    perms.add('enrol')
399
 
                    perms.add('enrol_student')
400
 
                if config['policy']['tutors_can_edit_worksheets']:
401
 
                    perms.add('edit_worksheets')
402
 
                if config['policy']['tutors_can_admin_groups']:
403
 
                    perms.add('admin_groups')
404
 
            if (enrolment and enrolment.role in (u'lecturer')) or user.admin:
405
 
                perms.add('view_project_submissions')
406
 
                perms.add('admin_groups')
407
 
                perms.add('edit_worksheets')
408
 
                perms.add('view_worksheet_marks')
409
 
                perms.add('edit')           # Can edit projects & details
410
 
                perms.add('enrol')          # Can see enrolment screen at all
411
 
                perms.add('enrol_student')  # Can enrol students
412
 
                perms.add('enrol_tutor')    # Can enrol tutors
413
 
            if user.admin:
414
 
                perms.add('enrol_lecturer') # Can enrol lecturers
 
332
            if (enrolment and enrolment.role in (u'tutor', u'lecturer')) \
 
333
               or user.admin:
 
334
                perms.add('edit')
415
335
        return perms
416
336
 
417
337
    def get_enrolment(self, user):
418
 
        """Find the user's enrolment in this offering."""
419
338
        try:
420
339
            enrolment = self.enrolments.find(user=user).one()
421
340
        except NotOneError:
423
342
 
424
343
        return enrolment
425
344
 
426
 
    def get_members_by_role(self, role):
427
 
        return Store.of(self).find(User,
428
 
                Enrolment.user_id == User.id,
429
 
                Enrolment.offering_id == self.id,
430
 
                Enrolment.role == role
431
 
                ).order_by(User.login)
432
 
 
433
 
    @property
434
 
    def students(self):
435
 
        return self.get_members_by_role(u'student')
436
 
 
437
 
    def get_open_projects_for_user(self, user):
438
 
        """Find all projects currently open to submissions by a user."""
439
 
        # XXX: Respect extensions.
440
 
        return self.projects.find(Project.deadline > datetime.datetime.now())
441
 
 
442
 
    def has_worksheet_cutoff_passed(self, user):
443
 
        """Check whether the worksheet cutoff has passed.
444
 
        A user is required, in case we support extensions.
445
 
        """
446
 
        if self.worksheet_cutoff is None:
447
 
            return False
448
 
        else:
449
 
            return self.worksheet_cutoff < datetime.datetime.now()
450
 
 
451
 
    def clone_worksheets(self, source):
452
 
        """Clone all worksheets from the specified source to this offering."""
453
 
        import ivle.worksheet.utils
454
 
        for worksheet in source.worksheets:
455
 
            newws = Worksheet()
456
 
            newws.seq_no = worksheet.seq_no
457
 
            newws.identifier = worksheet.identifier
458
 
            newws.name = worksheet.name
459
 
            newws.assessable = worksheet.assessable
460
 
            newws.published = worksheet.published
461
 
            newws.data = worksheet.data
462
 
            newws.format = worksheet.format
463
 
            newws.offering = self
464
 
            Store.of(self).add(newws)
465
 
            ivle.worksheet.utils.update_exerciselist(newws)
466
 
 
467
 
 
468
345
class Enrolment(Storm):
469
 
    """An enrolment of a user in an offering.
470
 
 
471
 
    This represents the roles of both staff and students.
472
 
    """
473
 
 
474
346
    __storm_table__ = "enrolment"
475
347
    __storm_primary__ = "user_id", "offering_id"
476
348
 
496
368
        return "<%s %r in %r>" % (type(self).__name__, self.user,
497
369
                                  self.offering)
498
370
 
499
 
    def get_permissions(self, user, config):
500
 
        # A user can edit any enrolment that they could have created.
501
 
        perms = set()
502
 
        if ('enrol_' + str(self.role)) in self.offering.get_permissions(
503
 
            user, config):
504
 
            perms.add('edit')
505
 
        return perms
506
 
 
507
 
    def delete(self):
508
 
        """Delete this enrolment."""
509
 
        Store.of(self).remove(self)
510
 
 
511
 
 
512
371
# PROJECTS #
513
372
 
514
373
class ProjectSet(Storm):
515
 
    """A set of projects that share common groups.
516
 
 
517
 
    Each student project group is attached to a project set. The group is
518
 
    valid for all projects in the group's set.
519
 
    """
520
 
 
521
374
    __storm_table__ = "project_set"
522
375
 
523
376
    id = Int(name="projectsetid", primary=True)
534
387
        return "<%s %d in %r>" % (type(self).__name__, self.id,
535
388
                                  self.offering)
536
389
 
537
 
    def get_permissions(self, user, config):
538
 
        return self.offering.get_permissions(user, config)
539
 
 
540
 
    def get_groups_for_user(self, user):
541
 
        """List all groups in this offering of which the user is a member."""
542
 
        assert self.is_group
543
 
        return Store.of(self).find(
544
 
            ProjectGroup,
545
 
            ProjectGroupMembership.user_id == user.id,
546
 
            ProjectGroupMembership.project_group_id == ProjectGroup.id,
547
 
            ProjectGroup.project_set_id == self.id)
548
 
 
549
 
    def get_submission_principal(self, user):
550
 
        """Get the principal on behalf of which the user can submit.
551
 
 
552
 
        If this is a solo project set, the given user is returned. If
553
 
        the user is a member of exactly one group, all the group is
554
 
        returned. Otherwise, None is returned.
555
 
        """
556
 
        if self.is_group:
557
 
            groups = self.get_groups_for_user(user)
558
 
            if groups.count() == 1:
559
 
                return groups.one()
560
 
            else:
561
 
                return None
562
 
        else:
563
 
            return user
564
 
 
565
 
    @property
566
 
    def is_group(self):
567
 
        return self.max_students_per_group is not None
568
 
 
569
 
    @property
570
 
    def assigned(self):
571
 
        """Get the entities (groups or users) assigned to submit this project.
572
 
 
573
 
        This will be a Storm ResultSet.
574
 
        """
575
 
        #If its a solo project, return everyone in offering
576
 
        if self.is_group:
577
 
            return self.project_groups
578
 
        else:
579
 
            return self.offering.students
580
 
 
581
 
class DeadlinePassed(Exception):
582
 
    """An exception indicating that a project cannot be submitted because the
583
 
    deadline has passed."""
584
 
    def __init__(self):
585
 
        pass
586
 
    def __str__(self):
587
 
        return "The project deadline has passed"
588
 
 
589
390
class Project(Storm):
590
 
    """A student project for which submissions can be made."""
591
 
 
592
391
    __storm_table__ = "project"
593
392
 
594
393
    id = Int(name="projectid", primary=True)
612
411
        return "<%s '%s' in %r>" % (type(self).__name__, self.short_name,
613
412
                                  self.project_set.offering)
614
413
 
615
 
    def can_submit(self, principal, user, late=False):
616
 
        """
617
 
        @param late: If True, does not take the deadline into account.
618
 
        """
 
414
    def can_submit(self, principal):
619
415
        return (self in principal.get_projects() and
620
 
                (late or not self.has_deadline_passed(user)))
 
416
                self.deadline > datetime.datetime.now())
621
417
 
622
 
    def submit(self, principal, path, revision, who, late=False):
 
418
    def submit(self, principal, path, revision, who):
623
419
        """Submit a Subversion path and revision to a project.
624
420
 
625
 
        @param principal: The owner of the Subversion repository, and the
626
 
                          entity on behalf of whom the submission is being made
627
 
        @param path: A path within that repository to submit.
628
 
        @param revision: The revision of that path to submit.
629
 
        @param who: The user who is actually making the submission.
630
 
        @param late: If True, will not raise a DeadlinePassed exception even
631
 
            after the deadline. (Default False.)
 
421
        'principal' is the owner of the Subversion repository, and the
 
422
        entity on behalf of whom the submission is being made. 'path' is
 
423
        a path within that repository, and 'revision' specifies which
 
424
        revision of that path. 'who' is the person making the submission.
632
425
        """
633
426
 
634
 
        if not self.can_submit(principal, who, late=late):
635
 
            raise DeadlinePassed()
 
427
        if not self.can_submit(principal):
 
428
            raise Exception('cannot submit')
636
429
 
637
430
        a = Assessed.get(Store.of(self), principal, self)
638
431
        ps = ProjectSubmission()
639
 
        # Raise SubmissionError if the path is illegal
640
 
        ps.path = ProjectSubmission.test_and_normalise_path(path)
 
432
        ps.path = path
641
433
        ps.revision = revision
642
434
        ps.date_submitted = datetime.datetime.now()
643
435
        ps.assessed = a
645
437
 
646
438
        return ps
647
439
 
648
 
    def get_permissions(self, user, config):
649
 
        return self.project_set.offering.get_permissions(user, config)
650
 
 
651
 
    @property
652
 
    def latest_submissions(self):
653
 
        """Return the latest submission for each Assessed."""
654
 
        return Store.of(self).find(ProjectSubmission,
655
 
            Assessed.project_id == self.id,
656
 
            ProjectSubmission.assessed_id == Assessed.id,
657
 
            ProjectSubmission.date_submitted == Select(
658
 
                    Max(ProjectSubmission.date_submitted),
659
 
                    ProjectSubmission.assessed_id == Assessed.id,
660
 
                    tables=ProjectSubmission
661
 
            )
662
 
        )
663
 
 
664
 
    def has_deadline_passed(self, user):
665
 
        """Check whether the deadline has passed."""
666
 
        # XXX: Need to respect extensions.
667
 
        return self.deadline < datetime.datetime.now()
668
 
 
669
 
    def get_submissions_for_principal(self, principal):
670
 
        """Fetch a ResultSet of all submissions by a particular principal."""
671
 
        assessed = Assessed.get(Store.of(self), principal, self)
672
 
        if assessed is None:
673
 
            return
674
 
        return assessed.submissions
675
 
 
676
 
    @property
677
 
    def can_delete(self):
678
 
        """Can only delete if there are no submissions."""
679
 
        return self.submissions.count() == 0
680
 
 
681
 
    def delete(self):
682
 
        """Delete the project. Fails if can_delete is False."""
683
 
        if not self.can_delete:
684
 
            raise IntegrityError()
685
 
        for assessed in self.assesseds:
686
 
            assessed.delete()
687
 
        Store.of(self).remove(self)
688
440
 
689
441
class ProjectGroup(Storm):
690
 
    """A group of students working together on a project."""
691
 
 
692
442
    __storm_table__ = "project_group"
693
443
 
694
444
    id = Int(name="groupid", primary=True)
713
463
 
714
464
    @property
715
465
    def display_name(self):
716
 
        """Returns the "nice name" of the user or group."""
717
 
        return self.nick
718
 
 
719
 
    @property
720
 
    def short_name(self):
721
 
        """Returns the database "identifier" name of the user or group."""
722
 
        return self.name
 
466
        return '%s (%s)' % (self.nick, self.name)
723
467
 
724
468
    def get_projects(self, offering=None, active_only=True):
725
 
        '''Find projects that the group can submit.
 
469
        '''Return Projects that the group can submit.
726
470
 
727
471
        This will include projects in the project set which owns this group,
728
472
        unless the project set disallows groups (in which case none will be
729
473
        returned).
730
474
 
731
 
        @param active_only: Whether to only search active offerings.
732
 
        @param offering: An optional offering to restrict the search to.
 
475
        Unless active_only is False, projects will only be returned if the
 
476
        group's offering is active.
 
477
 
 
478
        If an offering is specified, projects will only be returned if it
 
479
        matches the group's.
733
480
        '''
734
481
        return Store.of(self).find(Project,
735
482
            Project.project_set_id == ProjectSet.id,
740
487
            Semester.id == Offering.semester_id,
741
488
            (not active_only) or (Semester.state == u'current'))
742
489
 
743
 
    def get_svn_url(self, config):
744
 
        """Get the subversion repository URL for this user or group."""
745
 
        url = config['urls']['svn_addr']
746
 
        path = 'groups/%s_%s_%s_%s' % (
747
 
                self.project_set.offering.subject.short_name,
748
 
                self.project_set.offering.semester.year,
749
 
                self.project_set.offering.semester.url_name,
750
 
                self.name
751
 
                )
752
 
        return urlparse.urljoin(url, path)
753
490
 
754
 
    def get_permissions(self, user, config):
 
491
    def get_permissions(self, user):
755
492
        if user.admin or user in self.members:
756
493
            return set(['submit_project'])
757
494
        else:
758
495
            return set()
759
496
 
760
497
class ProjectGroupMembership(Storm):
761
 
    """A student's membership in a project group."""
762
 
 
763
498
    __storm_table__ = "group_member"
764
499
    __storm_primary__ = "user_id", "project_group_id"
765
500
 
775
510
                                  self.project_group)
776
511
 
777
512
class Assessed(Storm):
778
 
    """A composite of a user or group combined with a project.
779
 
 
780
 
    Each project submission and extension refers to an Assessed. It is the
781
 
    sole specifier of the repository and project.
782
 
    """
783
 
 
784
513
    __storm_table__ = "assessed"
785
514
 
786
515
    id = Int(name="assessedid", primary=True)
793
522
    project = Reference(project_id, Project.id)
794
523
 
795
524
    extensions = ReferenceSet(id, 'ProjectExtension.assessed_id')
796
 
    submissions = ReferenceSet(
797
 
        id, 'ProjectSubmission.assessed_id', order_by='date_submitted')
 
525
    submissions = ReferenceSet(id, 'ProjectSubmission.assessed_id')
798
526
 
799
527
    def __repr__(self):
800
528
        return "<%s %r in %r>" % (type(self).__name__,
801
529
            self.user or self.project_group, self.project)
802
530
 
803
 
    @property
804
 
    def is_group(self):
805
 
        """True if the Assessed is a group, False if it is a user."""
806
 
        return self.project_group is not None
807
 
 
808
 
    @property
809
 
    def principal(self):
810
 
        return self.project_group or self.user
811
 
 
812
 
    @property
813
 
    def checkout_location(self):
814
 
        """Returns the location of the Subversion workspace for this piece of
815
 
        assessment, relative to each group member's home directory."""
816
 
        subjectname = self.project.project_set.offering.subject.short_name
817
 
        if self.is_group:
818
 
            checkout_dir_name = self.principal.short_name
819
 
        else:
820
 
            checkout_dir_name = "mywork"
821
 
        return subjectname + "/" + checkout_dir_name
822
 
 
823
531
    @classmethod
824
532
    def get(cls, store, principal, project):
825
 
        """Find or create an Assessed for the given user or group and project.
826
 
 
827
 
        @param principal: The user or group.
828
 
        @param project: The project.
829
 
        """
830
533
        t = type(principal)
831
534
        if t not in (User, ProjectGroup):
832
535
            raise AssertionError('principal must be User or ProjectGroup')
834
537
        a = store.find(cls,
835
538
            (t is User) or (cls.project_group_id == principal.id),
836
539
            (t is ProjectGroup) or (cls.user_id == principal.id),
837
 
            cls.project_id == project.id).one()
 
540
            Project.id == project.id).one()
838
541
 
839
542
        if a is None:
840
543
            a = cls()
847
550
 
848
551
        return a
849
552
 
850
 
    def delete(self):
851
 
        """Delete the assessed. Fails if there are any submissions. Deletes
852
 
        extensions."""
853
 
        if self.submissions.count() > 0:
854
 
            raise IntegrityError()
855
 
        for extension in self.extensions:
856
 
            extension.delete()
857
 
        Store.of(self).remove(self)
858
553
 
859
554
class ProjectExtension(Storm):
860
 
    """An extension granted to a user or group on a particular project.
861
 
 
862
 
    The user or group and project are specified by the Assessed.
863
 
    """
864
 
 
865
555
    __storm_table__ = "project_extension"
866
556
 
867
557
    id = Int(name="extensionid", primary=True)
868
558
    assessed_id = Int(name="assessedid")
869
559
    assessed = Reference(assessed_id, Assessed.id)
870
 
    days = Int()
 
560
    deadline = DateTime()
871
561
    approver_id = Int(name="approver")
872
562
    approver = Reference(approver_id, User.id)
873
563
    notes = Unicode()
874
564
 
875
 
    def delete(self):
876
 
        """Delete the extension."""
877
 
        Store.of(self).remove(self)
878
 
 
879
 
class SubmissionError(Exception):
880
 
    """Denotes a validation error during submission."""
881
 
    pass
882
 
 
883
565
class ProjectSubmission(Storm):
884
 
    """A submission from a user or group repository to a particular project.
885
 
 
886
 
    The content of a submission is a single path and revision inside a
887
 
    repository. The repository is that owned by the submission's user and
888
 
    group, while the path and revision are explicit.
889
 
 
890
 
    The user or group and project are specified by the Assessed.
891
 
    """
892
 
 
893
566
    __storm_table__ = "project_submission"
894
567
 
895
568
    id = Int(name="submissionid", primary=True)
901
574
    submitter = Reference(submitter_id, User.id)
902
575
    date_submitted = DateTime()
903
576
 
904
 
    def get_verify_url(self, user):
905
 
        """Get the URL for verifying this submission, within the account of
906
 
        the given user."""
907
 
        # If this is a solo project, then self.path will be prefixed with the
908
 
        # subject name. Remove the first path segment.
909
 
        submitpath = self.path[1:] if self.path[:1] == '/' else self.path
910
 
        if not self.assessed.is_group:
911
 
            if '/' in submitpath:
912
 
                submitpath = submitpath.split('/', 1)[1]
913
 
            else:
914
 
                submitpath = ''
915
 
        return "/files/%s/%s/%s?r=%d" % (user.login,
916
 
            self.assessed.checkout_location, submitpath, self.revision)
917
 
 
918
 
    def get_svn_url(self, config):
919
 
        """Get subversion URL for this submission"""
920
 
        princ = self.assessed.principal
921
 
        base = princ.get_svn_url(config)
922
 
        if self.path.startswith(os.sep):
923
 
            return os.path.join(base,
924
 
                    urllib.quote(self.path[1:].encode('utf-8')))
925
 
        else:
926
 
            return os.path.join(base, urllib.quote(self.path.encode('utf-8')))
927
 
 
928
 
    def get_svn_export_command(self, req):
929
 
        """Returns a Unix shell command to export a submission"""
930
 
        svn_url = self.get_svn_url(req.config)
931
 
        username = (req.user.login if req.user.login.isalnum() else
932
 
                "'%s'"%req.user.login)
933
 
        export_dir = self.assessed.principal.short_name
934
 
        return "svn export --username %s -r%d '%s' %s"%(req.user.login,
935
 
                self.revision, svn_url, export_dir)
936
 
 
937
 
    @staticmethod
938
 
    def test_and_normalise_path(path):
939
 
        """Test that path is valid, and normalise it. This prevents possible
940
 
        injections using malicious paths.
941
 
        Returns the updated path, if successful.
942
 
        Raises SubmissionError if invalid.
943
 
        """
944
 
        # Ensure the path is absolute to prevent being tacked onto working
945
 
        # directories.
946
 
        # Prevent '\n' because it will break all sorts of things.
947
 
        # Prevent '[' and ']' because they can be used to inject into the
948
 
        # svn.conf.
949
 
        # Normalise to avoid resulting in ".." path segments.
950
 
        if not os.path.isabs(path):
951
 
            raise SubmissionError("Path is not absolute")
952
 
        if any(c in path for c in "\n[]"):
953
 
            raise SubmissionError("Path must not contain '\\n', '[' or ']'")
954
 
        return os.path.normpath(path)
955
 
 
956
 
    @property
957
 
    def late(self):
958
 
        """True if the project was submitted late."""
959
 
        return self.days_late > 0
960
 
 
961
 
    @property
962
 
    def days_late(self):
963
 
        """The number of days the project was submitted late (rounded up), or
964
 
        0 if on-time."""
965
 
        # XXX: Need to respect extensions.
966
 
        return max(0,
967
 
            (self.date_submitted - self.assessed.project.deadline).days + 1)
968
577
 
969
578
# WORKSHEETS AND EXERCISES #
970
579
 
971
580
class Exercise(Storm):
972
 
    """An exercise for students to complete in a worksheet.
973
 
 
974
 
    An exercise may be present in any number of worksheets.
975
 
    """
976
 
 
977
581
    __storm_table__ = "exercise"
978
582
    id = Unicode(primary=True, name="identifier")
979
583
    name = Unicode()
980
584
    description = Unicode()
981
 
    _description_xhtml_cache = Unicode(name='description_xhtml_cache')
982
585
    partial = Unicode()
983
586
    solution = Unicode()
984
587
    include = Unicode()
992
595
        'WorksheetExercise.worksheet_id',
993
596
        'Worksheet.id'
994
597
    )
995
 
 
 
598
    
996
599
    test_suites = ReferenceSet(id, 
997
600
        'TestSuite.exercise_id',
998
601
        order_by='seq_no')
1002
605
    def __repr__(self):
1003
606
        return "<%s %s>" % (type(self).__name__, self.name)
1004
607
 
1005
 
    def get_permissions(self, user, config):
1006
 
        return self.global_permissions(user, config)
1007
 
 
1008
 
    @staticmethod
1009
 
    def global_permissions(user, config):
1010
 
        """Gets the set of permissions this user has over *all* exercises.
1011
 
        This is used to determine who may view the exercises list, and create
1012
 
        new exercises."""
 
608
    def get_permissions(self, user):
1013
609
        perms = set()
1014
610
        roles = set()
1015
611
        if user is not None:
1016
612
            if user.admin:
1017
613
                perms.add('edit')
1018
614
                perms.add('view')
1019
 
            elif u'lecturer' in set((e.role for e in user.active_enrolments)):
1020
 
                perms.add('edit')
1021
 
                perms.add('view')
1022
 
            elif (config['policy']['tutors_can_edit_worksheets']
1023
 
            and u'tutor' in set((e.role for e in user.active_enrolments))):
1024
 
                # Site-specific policy on the role of tutors
1025
 
                perms.add('edit')
1026
 
                perms.add('view')
1027
 
 
 
615
            elif 'lecturer' in set((e.role for e in user.active_enrolments)):
 
616
                perms.add('edit')
 
617
                perms.add('view')
 
618
            
1028
619
        return perms
1029
 
 
1030
 
    def _cache_description_xhtml(self, invalidate=False):
1031
 
        # Don't regenerate an existing cache unless forced.
1032
 
        if self._description_xhtml_cache is not None and not invalidate:
1033
 
            return
1034
 
 
1035
 
        if self.description:
1036
 
            self._description_xhtml_cache = rst(self.description)
1037
 
        else:
1038
 
            self._description_xhtml_cache = None
1039
 
 
1040
 
    @property
1041
 
    def description_xhtml(self):
1042
 
        """The XHTML exercise description, converted from reStructuredText."""
1043
 
        self._cache_description_xhtml()
1044
 
        return self._description_xhtml_cache
1045
 
 
1046
 
    def set_description(self, description):
1047
 
        self.description = description
1048
 
        self._cache_description_xhtml(invalidate=True)
 
620
    
 
621
    def get_description(self):
 
622
        return rst(self.description)
1049
623
 
1050
624
    def delete(self):
1051
625
        """Deletes the exercise, providing it has no associated worksheets."""
1056
630
        Store.of(self).remove(self)
1057
631
 
1058
632
class Worksheet(Storm):
1059
 
    """A worksheet with exercises for students to complete.
1060
 
 
1061
 
    Worksheets are owned by offerings.
1062
 
    """
1063
 
 
1064
633
    __storm_table__ = "worksheet"
1065
634
 
1066
635
    id = Int(primary=True, name="worksheetid")
1068
637
    identifier = Unicode()
1069
638
    name = Unicode()
1070
639
    assessable = Bool()
1071
 
    published = Bool()
1072
640
    data = Unicode()
1073
 
    _data_xhtml_cache = Unicode(name='data_xhtml_cache')
1074
641
    seq_no = Int()
1075
642
    format = Unicode()
1076
643
 
1093
660
    def __repr__(self):
1094
661
        return "<%s %s>" % (type(self).__name__, self.name)
1095
662
 
 
663
    # XXX Refactor this - make it an instance method of Subject rather than a
 
664
    # class method of Worksheet. Can't do that now because Subject isn't
 
665
    # linked referentially to the Worksheet.
 
666
    @classmethod
 
667
    def get_by_name(cls, store, subjectname, worksheetname):
 
668
        """
 
669
        Get the Worksheet from the db associated with a given store, subject
 
670
        name and worksheet name.
 
671
        """
 
672
        return store.find(cls, cls.subject == unicode(subjectname),
 
673
            cls.name == unicode(worksheetname)).one()
 
674
 
1096
675
    def remove_all_exercises(self):
1097
 
        """Remove all exercises from this worksheet.
1098
 
 
 
676
        """
 
677
        Remove all exercises from this worksheet.
1099
678
        This does not delete the exercises themselves. It just removes them
1100
679
        from the worksheet.
1101
680
        """
1105
684
                raise IntegrityError()
1106
685
        store.find(WorksheetExercise,
1107
686
            WorksheetExercise.worksheet == self).remove()
1108
 
 
1109
 
    def get_permissions(self, user, config):
1110
 
        offering_perms = self.offering.get_permissions(user, config)
1111
 
 
1112
 
        perms = set()
1113
 
 
1114
 
        # Anybody who can view an offering can view a published
1115
 
        # worksheet.
1116
 
        if 'view' in offering_perms and self.published:
1117
 
            perms.add('view')
1118
 
 
1119
 
        # Any worksheet editors can both view and edit.
1120
 
        if 'edit_worksheets' in offering_perms:
1121
 
            perms.add('view')
1122
 
            perms.add('edit')
1123
 
 
1124
 
        return perms
1125
 
 
1126
 
    def _cache_data_xhtml(self, invalidate=False):
1127
 
        # Don't regenerate an existing cache unless forced.
1128
 
        if self._data_xhtml_cache is not None and not invalidate:
1129
 
            return
1130
 
 
1131
 
        if self.format == u'rst':
1132
 
            self._data_xhtml_cache = rst(self.data)
1133
 
        else:
1134
 
            self._data_xhtml_cache = None
1135
 
 
1136
 
    @property
1137
 
    def data_xhtml(self):
1138
 
        """The XHTML of this worksheet, converted from rST if required."""
1139
 
        # Update the rST -> XHTML cache, if required.
1140
 
        self._cache_data_xhtml()
1141
 
 
1142
 
        if self.format == u'rst':
1143
 
            return self._data_xhtml_cache
 
687
            
 
688
    def get_permissions(self, user):
 
689
        return self.offering.get_permissions(user)
 
690
    
 
691
    def get_xml(self):
 
692
        """Returns the xml of this worksheet, converts from rst if required."""
 
693
        if self.format == u'rst':
 
694
            ws_xml = rst(self.data)
 
695
            return ws_xml
1144
696
        else:
1145
697
            return self.data
1146
 
 
1147
 
    def set_data(self, data):
1148
 
        self.data = data
1149
 
        self._cache_data_xhtml(invalidate=True)
1150
 
 
 
698
    
1151
699
    def delete(self):
1152
700
        """Deletes the worksheet, provided it has no attempts on any exercises.
1153
 
 
 
701
        
1154
702
        Returns True if delete succeeded, or False if this worksheet has
1155
703
        attempts attached."""
1156
704
        for ws_ex in self.all_worksheet_exercises:
1157
705
            if ws_ex.saves.count() > 0 or ws_ex.attempts.count() > 0:
1158
706
                raise IntegrityError()
1159
 
 
 
707
        
1160
708
        self.remove_all_exercises()
1161
709
        Store.of(self).remove(self)
1162
 
 
 
710
        
1163
711
class WorksheetExercise(Storm):
1164
 
    """A link between a worksheet and one of its exercises.
1165
 
 
1166
 
    These may be marked optional, in which case the exercise does not count
1167
 
    for marking purposes. The sequence number is used to order the worksheet
1168
 
    ToC.
1169
 
    """
1170
 
 
1171
712
    __storm_table__ = "worksheet_exercise"
1172
 
 
 
713
    
1173
714
    id = Int(primary=True, name="ws_ex_id")
1174
715
 
1175
716
    worksheet_id = Int(name="worksheetid")
1179
720
    optional = Bool()
1180
721
    active = Bool()
1181
722
    seq_no = Int()
1182
 
 
 
723
    
1183
724
    saves = ReferenceSet(id, "ExerciseSave.ws_ex_id")
1184
725
    attempts = ReferenceSet(id, "ExerciseAttempt.ws_ex_id")
1185
726
 
1189
730
        return "<%s %s in %s>" % (type(self).__name__, self.exercise.name,
1190
731
                                  self.worksheet.identifier)
1191
732
 
1192
 
    def get_permissions(self, user, config):
1193
 
        return self.worksheet.get_permissions(user, config)
1194
 
 
 
733
    def get_permissions(self, user):
 
734
        return self.worksheet.get_permissions(user)
 
735
    
1195
736
 
1196
737
class ExerciseSave(Storm):
1197
 
    """A potential exercise solution submitted by a user for storage.
1198
 
 
1199
 
    This is not an actual tested attempt at an exercise, it's just a save of
1200
 
    the editing session.
1201
 
    """
1202
 
 
 
738
    """
 
739
    Represents a potential solution to an exercise that a user has submitted
 
740
    to the server for storage.
 
741
    A basic ExerciseSave is just the current saved text for this exercise for
 
742
    this user (doesn't count towards their attempts).
 
743
    ExerciseSave may be extended with additional semantics (such as
 
744
    ExerciseAttempt).
 
745
    """
1203
746
    __storm_table__ = "exercise_save"
1204
747
    __storm_primary__ = "ws_ex_id", "user_id"
1205
748
 
1215
758
 
1216
759
    def __repr__(self):
1217
760
        return "<%s %s by %s at %s>" % (type(self).__name__,
1218
 
            self.worksheet_exercise.exercise.name, self.user.login,
1219
 
            self.date.strftime("%c"))
 
761
            self.exercise.name, self.user.login, self.date.strftime("%c"))
1220
762
 
1221
763
class ExerciseAttempt(ExerciseSave):
1222
 
    """An attempt at solving an exercise.
1223
 
 
1224
 
    This is a special case of ExerciseSave, used when the user submits a
1225
 
    candidate solution. Like an ExerciseSave, it constitutes exercise solution
1226
 
    data.
1227
 
 
1228
 
    In addition, it contains information about the result of the submission:
1229
 
 
1230
 
     - complete - True if this submission was successful, rendering this
1231
 
                  exercise complete for this user in this worksheet.
1232
 
     - active   - True if this submission is "active" (usually true).
1233
 
                  Submissions may be de-activated by privileged users for
1234
 
                  special reasons, and then they won't count (either as a
1235
 
                  penalty or success), but will still be stored.
1236
 
    """
1237
 
 
 
764
    """
 
765
    An ExerciseAttempt is a special case of an ExerciseSave. Like an
 
766
    ExerciseSave, it constitutes exercise solution data that the user has
 
767
    submitted to the server for storage.
 
768
    In addition, it contains additional information about the submission.
 
769
    complete - True if this submission was successful, rendering this exercise
 
770
        complete for this user.
 
771
    active - True if this submission is "active" (usually true). Submissions
 
772
        may be de-activated by privileged users for special reasons, and then
 
773
        they won't count (either as a penalty or success), but will still be
 
774
        stored.
 
775
    """
1238
776
    __storm_table__ = "exercise_attempt"
1239
777
    __storm_primary__ = "ws_ex_id", "user_id", "date"
1240
778
 
1243
781
    text = Unicode(name="attempt")
1244
782
    complete = Bool()
1245
783
    active = Bool()
1246
 
 
1247
 
    def get_permissions(self, user, config):
 
784
    
 
785
    def get_permissions(self, user):
1248
786
        return set(['view']) if user is self.user else set()
1249
 
 
 
787
  
1250
788
class TestSuite(Storm):
1251
 
    """A container to group an exercise's test cases.
1252
 
 
1253
 
    The test suite contains some information on how to test. The function to
1254
 
    test, variables to set and stdin data are stored here.
1255
 
    """
1256
 
 
 
789
    """A Testsuite acts as a container for the test cases of an exercise."""
1257
790
    __storm_table__ = "test_suite"
1258
791
    __storm_primary__ = "exercise_id", "suiteid"
1259
 
 
 
792
    
1260
793
    suiteid = Int()
1261
794
    exercise_id = Unicode(name="exerciseid")
1262
795
    description = Unicode()
1266
799
    exercise = Reference(exercise_id, Exercise.id)
1267
800
    test_cases = ReferenceSet(suiteid, 'TestCase.suiteid', order_by="seq_no")
1268
801
    variables = ReferenceSet(suiteid, 'TestSuiteVar.suiteid', order_by='arg_no')
1269
 
 
 
802
    
1270
803
    def delete(self):
1271
804
        """Delete this suite, without asking questions."""
1272
 
        for variable in self.variables:
 
805
        for vaariable in self.variables:
1273
806
            variable.delete()
1274
807
        for test_case in self.test_cases:
1275
808
            test_case.delete()
1276
809
        Store.of(self).remove(self)
1277
810
 
1278
811
class TestCase(Storm):
1279
 
    """A container for actual tests (see TestCasePart), inside a test suite.
1280
 
 
1281
 
    It is the lowest level shown to students on their pass/fail status."""
1282
 
 
 
812
    """A TestCase is a member of a TestSuite.
 
813
    
 
814
    It contains the data necessary to check if an exercise is correct"""
1283
815
    __storm_table__ = "test_case"
1284
816
    __storm_primary__ = "testid", "suiteid"
1285
 
 
 
817
    
1286
818
    testid = Int()
1287
819
    suiteid = Int()
1288
820
    suite = Reference(suiteid, "TestSuite.suiteid")
1289
821
    passmsg = Unicode()
1290
822
    failmsg = Unicode()
1291
 
    test_default = Unicode() # Currently unused - only used for file matching.
 
823
    test_default = Unicode()
1292
824
    seq_no = Int()
1293
 
 
 
825
    
1294
826
    parts = ReferenceSet(testid, "TestCasePart.testid")
1295
 
 
 
827
    
1296
828
    __init__ = _kwarg_init
1297
 
 
 
829
    
1298
830
    def delete(self):
1299
831
        for part in self.parts:
1300
832
            part.delete()
1301
833
        Store.of(self).remove(self)
1302
834
 
1303
835
class TestSuiteVar(Storm):
1304
 
    """A variable used by an exercise test suite.
1305
 
 
1306
 
    This may represent a function argument or a normal variable.
1307
 
    """
1308
 
 
 
836
    """A container for the arguments of a Test Suite"""
1309
837
    __storm_table__ = "suite_variable"
1310
838
    __storm_primary__ = "varid"
1311
 
 
 
839
    
1312
840
    varid = Int()
1313
841
    suiteid = Int()
1314
842
    var_name = Unicode()
1315
843
    var_value = Unicode()
1316
844
    var_type = Unicode()
1317
845
    arg_no = Int()
1318
 
 
 
846
    
1319
847
    suite = Reference(suiteid, "TestSuite.suiteid")
1320
 
 
 
848
    
1321
849
    __init__ = _kwarg_init
1322
 
 
 
850
    
1323
851
    def delete(self):
1324
852
        Store.of(self).remove(self)
1325
 
 
 
853
    
1326
854
class TestCasePart(Storm):
1327
 
    """An actual piece of code to test an exercise solution."""
1328
 
 
 
855
    """A container for the test elements of a Test Case"""
1329
856
    __storm_table__ = "test_case_part"
1330
857
    __storm_primary__ = "partid"
1331
 
 
 
858
    
1332
859
    partid = Int()
1333
860
    testid = Int()
1334
 
 
 
861
    
1335
862
    part_type = Unicode()
1336
863
    test_type = Unicode()
1337
864
    data = Unicode()
1338
865
    filename = Unicode()
1339
 
 
 
866
    
1340
867
    test = Reference(testid, "TestCase.testid")
1341
 
 
 
868
    
1342
869
    __init__ = _kwarg_init
1343
 
 
 
870
    
1344
871
    def delete(self):
1345
872
        Store.of(self).remove(self)