← Back to branch summary

~azzar1/unity/add-show-desktop-key

« back to all changes in this revision

Viewing changes to ivle/makeuser.py

  • Committer: Matt Giuca
  • Date: 2010-02-23 05:27:07 UTC
  • Revision ID: matt.giuca@gmail.com-20100223052707-3a76wo23r2z503t8
https://launchpad.net/bugs/526161
browser.js: Adjusted condition for enabling "Commit" action; now allowed if
    no files are selected AND current directory is versioned (as well as if
    all selected files are versioned). Committing with 0 files selected will
    commit the current directory.
ivle.fileservice_lib.action: Fixed to allow commit to contain 0 paths. This
    will commit the current directory instead.
This fixes Launchpad bug #526161.

Show diffs side-by-side

added added

removed removed

Lines of Context:
ivle/makeuser.py
1
1
# IVLE - Informatics Virtual Learning Environment
2
 
# Copyright (C) 2007-2008 The University of Melbourne
 
2
# Copyright (C) 2007-2009 The University of Melbourne
3
3
#
4
4
# This program is free software; you can redistribute it and/or modify
5
5
# it under the terms of the GNU General Public License as published by
15
15
# along with this program; if not, write to the Free Software
16
16
# Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301  USA
17
17
 
18
 
# Module: MakeUser
19
 
# Author: Matt Giuca
20
 
# Date:   1/2/2008
21
 
 
22
 
# Allows creation of users. This sets up the following:
23
 
# * User's jail and home directory within the jail.
24
 
# * Subversion repository (TODO)
25
 
# * Check out Subversion workspace into jail (TODO)
26
 
# * Database details for user
27
 
# * Unix user account
28
 
 
29
 
# TODO: Sanitize login name and other fields.
30
 
# Users must not be called "temp" or "template".
31
 
 
32
 
# TODO: When creating a new home directory, chown it to its owner
33
 
 
34
 
# TODO: In chown_to_webserver:
35
 
# Do not call os.system("chown www-data") - use Python lib
36
 
# and use the web server uid given in conf. (Several places).
 
18
"""User and group filesystem management helpers."""
37
19
 
38
20
import hashlib
39
21
import os
42
24
import time
43
25
import uuid
44
26
import warnings
45
 
import filecmp
46
27
import logging
47
 
import ivle.pulldown_subj
48
 
 
49
 
from ivle.database import ProjectGroup
 
28
import subprocess
 
29
 
 
30
from storm.expr import Select, Max
 
31
 
 
32
import ivle.config
 
33
from ivle.database import (User, ProjectGroup, Assessed, ProjectSubmission,
 
34
        Project, ProjectSet, Offering, Enrolment, Subject, Semester)
50
35
 
51
36
def chown_to_webserver(filename):
52
 
    """
53
 
    Chowns a file so the web server user owns it.
54
 
    (This is useful in setting up Subversion conf files).
 
37
    """chown a directory and its contents to the web server.
 
38
 
 
39
    Recursively chowns a file or directory so the web server user owns it.
55
40
    Assumes root.
56
41
    """
57
 
    try:
58
 
        os.system("chown -R www-data:www-data %s" % filename)
59
 
    except:
60
 
        pass
 
42
    subprocess.call(['chown', '-R', 'www-data:www-data', filename])
61
43
 
62
44
def make_svn_repo(path, throw_on_error=True):
63
 
    """Create a Subversion repository at the given path.
64
 
    """
 
45
    """Create a Subversion repository at the given path."""
65
46
    try:
66
 
        res = os.system("svnadmin create '%s'" % path)
 
47
        res = subprocess.call(['svnadmin', 'create', path])
67
48
        if res != 0 and throw_on_error:
68
49
            raise Exception("Cannot create repository: %s" % path)
69
50
    except Exception, exc:
75
56
 
76
57
def rebuild_svn_config(store, config):
77
58
    """Build the complete SVN configuration file.
 
59
 
78
60
    @param config: An ivle.config.Config object.
79
61
    """
80
 
    users = store.find(ivle.database.User)
81
 
    groups = {}
82
 
    # TODO: Populate groups with per-offering tutors/lecturers/etc.
 
62
    users = store.find(User)
83
63
    conf_name = config['paths']['svn']['conf']
84
64
    temp_name = conf_name + ".new"
85
65
    f = open(temp_name, "w")
86
 
    f.write("# IVLE SVN Repositories Configuration\n")
87
 
    f.write("# Auto-generated on %s\n" % time.asctime())
88
 
    f.write("\n")
89
 
    f.write("[groups]\n")
90
 
    for (g,ls) in groups.iteritems():
91
 
        f.write("%s = %s\n" % (g, ",".join(ls)))
92
 
    f.write("\n")
 
66
    f.write("""\
 
67
# IVLE SVN repository authorisation configuration
 
68
# Generated: %(time)s
 
69
""" % {'time': time.asctime()})
 
70
 
93
71
    for u in users:
94
 
        f.write("[%s:/]\n" % u.login)
95
 
        f.write("%s = rw\n" % u.login)
96
 
        #f.write("@tutor = r\n")
97
 
        #f.write("@lecturer = rw\n")
98
 
        #f.write("@admin = rw\n")
99
 
        f.write("\n")
 
72
        f.write("""
 
73
[%(login)s:/]
 
74
%(login)s = rw
 
75
""" % {'login': u.login.encode('utf-8')})
 
76
 
 
77
    # Now we need to grant offering tutors and lecturers access to the latest
 
78
    # submissions in their offerings. There are much prettier ways to do this,
 
79
    # but a lot of browser requests call this function, so it needs to be
 
80
    # fast. We can grab all of the paths needing authorisation directives with
 
81
    # a single query, and we cache the list of viewers for each offering.
 
82
    offering_viewers_cache = {}
 
83
    for (login, psid, pspath, offeringid) in store.find(
 
84
        (User.login, ProjectSubmission.id, ProjectSubmission.path,
 
85
         Offering.id),
 
86
            Assessed.id == ProjectSubmission.assessed_id,
 
87
            User.id == Assessed.user_id,
 
88
            Project.id == Assessed.project_id,
 
89
            ProjectSet.id == Project.project_set_id,
 
90
            Offering.id == ProjectSet.id,
 
91
            ProjectSubmission.date_submitted == Select(
 
92
                    Max(ProjectSubmission.date_submitted),
 
93
                    ProjectSubmission.assessed_id == Assessed.id,
 
94
                    tables=ProjectSubmission
 
95
            )
 
96
        ):
 
97
 
 
98
        # Do we already have the list of logins authorised for this offering
 
99
        # cached? If not, get it.
 
100
        if offeringid not in offering_viewers_cache:
 
101
            offering_viewers_cache[offeringid] = list(store.find(
 
102
                    User.login,
 
103
                    User.id == Enrolment.user_id,
 
104
                    Enrolment.offering_id == offeringid,
 
105
                    Enrolment.role.is_in((u'tutor', u'lecturer')),
 
106
                    Enrolment.active == True,
 
107
                )
 
108
            )
 
109
 
 
110
        f.write("""
 
111
# Submission %(id)d
 
112
[%(login)s:%(path)s]
 
113
""" % {'login': login.encode('utf-8'), 'id': psid,
 
114
       'path': pspath.encode('utf-8')})
 
115
 
 
116
        for viewer_login in offering_viewers_cache[offeringid]:
 
117
            # We don't want to override the owner's write privilege,
 
118
            # so we don't add them to the read-only ACL.
 
119
            if login != viewer_login:
 
120
                f.write("%s = r\n" % viewer_login.encode('utf-8'))
 
121
 
100
122
    f.close()
101
123
    os.rename(temp_name, conf_name)
102
124
    chown_to_webserver(conf_name)
103
125
 
104
126
def rebuild_svn_group_config(store, config):
105
127
    """Build the complete SVN configuration file for groups
 
128
 
106
129
    @param config: An ivle.config.Config object.
107
130
    """
108
131
    conf_name = config['paths']['svn']['group_conf']
109
132
    temp_name = conf_name + ".new"
110
133
    f = open(temp_name, "w")
111
 
    f.write("# IVLE SVN Group Repositories Configuration\n")
112
 
    f.write("# Auto-generated on %s\n" % time.asctime())
113
 
    f.write("\n")
 
134
 
 
135
    f.write("""\
 
136
# IVLE SVN group repository authorisation configuration
 
137
# Generated: %(time)s
 
138
 
 
139
""" % {'time': time.asctime()})
 
140
 
 
141
    group_members_cache = {}
114
142
    for group in store.find(ProjectGroup):
115
143
        offering = group.project_set.offering
116
144
        reponame = "_".join([offering.subject.short_name,
117
145
                             offering.semester.year,
118
146
                             offering.semester.semester,
119
147
                             group.name])
120
 
        f.write("[%s:/]\n"%reponame)
 
148
 
 
149
        f.write("[%s:/]\n" % reponame.encode('utf-8'))
 
150
        if group.id not in group_members_cache:
 
151
            group_members_cache[group.id] = set()
121
152
        for user in group.members:
122
 
            f.write("%s = rw\n" % user.login)
 
153
            group_members_cache[group.id].add(user.login)
 
154
            f.write("%s = rw\n" % user.login.encode('utf-8'))
123
155
        f.write("\n")
 
156
 
 
157
    # Now we need to grant offering tutors and lecturers access to the latest
 
158
    # submissions in their offerings. There are much prettier ways to do this,
 
159
    # but a lot of browser requests call this function, so it needs to be
 
160
    # fast. We can grab all of the paths needing authorisation directives with
 
161
    # a single query, and we cache the list of viewers for each offering.
 
162
    offering_viewers_cache = {}
 
163
    for (ssn, year, sem, name, psid, pspath, gid, offeringid) in store.find(
 
164
        (Subject.short_name, Semester.year, Semester.semester,
 
165
         ProjectGroup.name, ProjectSubmission.id, ProjectSubmission.path,
 
166
         ProjectGroup.id, Offering.id),
 
167
            Assessed.id == ProjectSubmission.assessed_id,
 
168
            ProjectGroup.id == Assessed.project_group_id,
 
169
            Project.id == Assessed.project_id,
 
170
            ProjectSet.id == Project.project_set_id,
 
171
            Offering.id == ProjectSet.offering_id,
 
172
            Subject.id == Offering.subject_id,
 
173
            Semester.id == Offering.semester_id,
 
174
            ProjectSubmission.date_submitted == Select(
 
175
                    Max(ProjectSubmission.date_submitted),
 
176
                    ProjectSubmission.assessed_id == Assessed.id,
 
177
                    tables=ProjectSubmission
 
178
            )
 
179
        ):
 
180
 
 
181
        reponame = "_".join([ssn, year, sem, name])
 
182
 
 
183
        # Do we already have the list of logins authorised for this offering
 
184
        # cached? If not, get it.
 
185
        if offeringid not in offering_viewers_cache:
 
186
            offering_viewers_cache[offeringid] = list(store.find(
 
187
                    User.login,
 
188
                    User.id == Enrolment.user_id,
 
189
                    Enrolment.offering_id == offeringid,
 
190
                    Enrolment.role.is_in((u'tutor', u'lecturer')),
 
191
                    Enrolment.active == True,
 
192
                )
 
193
            )
 
194
 
 
195
        f.write("""
 
196
# Submission %(id)d
 
197
[%(repo)s:%(path)s]
 
198
""" % {'repo': reponame.encode('utf-8'), 'id': psid,
 
199
       'path': pspath.encode('utf-8')})
 
200
 
 
201
        for viewer_login in offering_viewers_cache[offeringid]:
 
202
            # Skip existing group members, or they can't write to it any more.
 
203
            if viewer_login not in group_members_cache[gid]:
 
204
                f.write("%s = r\n" % viewer_login)
 
205
 
124
206
    f.close()
125
207
    os.rename(temp_name, conf_name)
126
208
    chown_to_webserver(conf_name)
127
209
 
128
210
def make_svn_auth(store, login, config, throw_on_error=True):
129
 
    """Setup svn authentication for the given user.
130
 
       Uses the given DB store object. Does not commit to the db.
 
211
    """Create a Subversion password for a user.
 
212
 
 
213
    Generates a new random Subversion password, and assigns it to the user.
 
214
    The password is added to Apache's Subversion authentication file.
131
215
    """
132
216
    # filename is, eg, /var/lib/ivle/svn/ivle.auth
133
217
    filename = config['paths']['svn']['auth_ivle']
134
 
    passwd = hashlib.md5(uuid.uuid4().bytes).hexdigest()
135
218
    if os.path.exists(filename):
136
219
        create = ""
137
220
    else:
138
221
        create = "c"
139
222
 
140
 
    user = ivle.database.User.get_by_login(store, login)
141
 
    user.svn_pass = unicode(passwd)
142
 
 
143
 
    res = os.system("htpasswd -%smb %s %s %s" % (create, filename,
144
 
                                              login, passwd))
 
223
    user = User.get_by_login(store, login)
 
224
 
 
225
    if user.svn_pass is None:
 
226
        passwd = hashlib.md5(uuid.uuid4().bytes).hexdigest()
 
227
        user.svn_pass = unicode(passwd)
 
228
 
 
229
    res = subprocess.call(['htpasswd', '-%smb' % create,
 
230
                           filename, login, user.svn_pass])
145
231
    if res != 0 and throw_on_error:
146
232
        raise Exception("Unable to create ivle-auth for %s" % login)
147
233
 
149
235
    if create == "c":
150
236
        chown_to_webserver(filename)
151
237
 
152
 
    return passwd
153
 
 
154
 
def generate_manifest(basedir, targetdir, parent=''):
155
 
    """ From a basedir and a targetdir work out which files are missing or out 
156
 
    of date and need to be added/updated and which files are redundant and need 
157
 
    to be removed.
158
 
    
159
 
    parent: This is used for the recursive call to track the relative paths 
160
 
    that we have decended.
161
 
    """
162
 
    
163
 
    cmp = filecmp.dircmp(basedir, targetdir)
164
 
 
165
 
    # Add all new files and files that have changed
166
 
    to_add = [os.path.join(parent,x) for x in (cmp.left_only + cmp.diff_files)]
167
 
 
168
 
    # Remove files that are redundant
169
 
    to_remove = [os.path.join(parent,x) for x in cmp.right_only]
170
 
    
171
 
    # Recurse
172
 
    for d in cmp.common_dirs:
173
 
        newbasedir = os.path.join(basedir, d)
174
 
        newtargetdir = os.path.join(targetdir, d)
175
 
        newparent = os.path.join(parent, d)
176
 
        (sadd,sremove) = generate_manifest(newbasedir, newtargetdir, newparent)
177
 
        to_add += sadd
178
 
        to_remove += sremove
179
 
 
180
 
    return (to_add, to_remove)
181
 
 
 
238
    return user.svn_pass
182
239
 
183
240
def make_jail(user, config, force=True):
184
 
    """Creates a new user's jail space, in the jail directory as configured in
185
 
    conf.py.
 
241
    """Create or update a user's jail.
186
242
 
187
 
    This only creates things within /home - everything else is expected to be
188
 
    part of another UnionFS branch.
 
243
    Only the user-specific parts of the jail are created here - everything
 
244
    else is expected to be part of another aufs branch.
189
245
 
190
246
    Returns the path to the user's home directory.
191
247
 
192
248
    Chowns the user's directory within the jail to the given UID.
193
249
 
194
 
    force: If false, exception if jail already exists for this user.
195
 
    If true (default), overwrites it, but preserves home directory.
 
250
    @param force: If False, raise an exception if the user already has a jail.
 
251
                  If True (default), rebuild the jail preserving /home.
196
252
    """
197
253
    # MUST run as root or some of this may fail
198
254
    if os.getuid() != 0:
208
264
        os.mkdir(tempdir)
209
265
    userdir = os.path.join(jail_src_base, user.login)
210
266
    homedir = os.path.join(userdir, 'home')
 
267
    tmpdir = os.path.join(userdir, 'tmp')
211
268
    userhomedir = os.path.join(homedir, user.login)   # Return value
212
269
 
213
270
    if os.path.exists(userdir):
216
273
        # User jail already exists. Blow it away but preserve their home
217
274
        # directory. It should be all that is there anyway, but you never
218
275
        # know!
219
 
        # Ignore warnings about the use of tmpnam
 
276
        # Ignore warnings about the use of tempnam
220
277
        warnings.simplefilter('ignore')
221
278
        homebackup = os.tempnam(tempdir)
222
279
        warnings.resetwarnings()
225
282
        # NOTE that shutil.move changed in Python 2.6, it now moves a
226
283
        # directory INTO the target (like `mv`), which it didn't use to do.
227
284
        # This code works regardless.
228
 
        shutil.move(homedir, homebackup)
 
285
        shutil.move(userhomedir, homebackup)
229
286
        shutil.rmtree(userdir)
230
 
        os.makedirs(userdir)
231
 
        shutil.move(homebackup, homedir)
 
287
        os.makedirs(homedir)
 
288
        shutil.move(homebackup, userhomedir)
232
289
        # Change the ownership of all the files to the right unixid
233
290
        logging.debug("chown %s's home directory files to uid %d"
234
291
            %(user.login, user.unixid))
246
303
    make_ivle_conf(user.login, userdir, user.svn_pass, config)
247
304
    make_etc_passwd(user.login, userdir, config['paths']['jails']['template'],
248
305
                    user.unixid)
 
306
    os.makedirs(tmpdir)
 
307
    os.chmod(tmpdir, 01777)
249
308
 
250
309
    return userhomedir
251
310
 
252
311
def make_ivle_conf(username, user_jail_dir, svn_pass, sys_config):
253
 
    """
 
312
    """Generate an ivle.conf for a user's jail.
 
313
 
254
314
    Creates (overwriting any existing file, and creating directories) a
255
315
    file /etc/ivle/ivle.conf in a given user's jail.
 
316
 
256
317
    @param username: Username.
257
318
    @param user_jail_dir: User's jail dir, ie. ['jails']['src'] + username
258
319
    @param svn_pass: User's SVN password.
259
320
    @param sys_config: An ivle.config.Config object (the system-wide config).
260
321
    """
261
 
    conf_path = os.path.join(user_jail_dir, "etc/ivle/ivle.conf")
262
 
    os.makedirs(os.path.dirname(conf_path))
 
322
    conf_path = os.path.join(user_jail_dir, "home/.ivle.conf")
 
323
    if not os.path.exists(os.path.dirname(conf_path)):
 
324
        os.makedirs(os.path.dirname(conf_path))
263
325
 
264
326
    # In the "in-jail" version of conf, we don't need MOST of the details
265
327
    # (it would be a security risk to have them here).
266
328
    # So we just write root_dir.
267
329
    conf_obj = ivle.config.Config(blank=True)
268
330
    conf_obj.filename = conf_path
 
331
    conf_obj['urls'] = {}
269
332
    conf_obj['urls']['root'] = sys_config['urls']['root']
270
333
    conf_obj['urls']['public_host'] = sys_config['urls']['public_host']
271
334
    conf_obj['urls']['svn_addr'] = sys_config['urls']['svn_addr']
 
335
    conf_obj['user_info'] = {}
272
336
    conf_obj['user_info']['login'] = username
273
337
    conf_obj['user_info']['svn_pass'] = svn_pass
274
338
    conf_obj.write()
279
343
                        | stat.S_IROTH)
280
344
 
281
345
def make_etc_passwd(username, user_jail_dir, template_dir, unixid):
282
 
    """
 
346
    """Create a passwd file for a user's jail.
 
347
 
283
348
    Creates /etc/passwd in the given user's jail. This will be identical to
284
349
    that in the template jail, except for the added entry for this user.
285
350
    """
286
 
    template_passwd_path = os.path.join(template_dir, "etc/passwd")
287
 
    passwd_path = os.path.join(user_jail_dir, "etc/passwd")
 
351
    template_passwd_path = os.path.join(template_dir, "home/.passwd")
 
352
    passwd_path = os.path.join(user_jail_dir, "home/.passwd")
288
353
    passwd_dir = os.path.dirname(passwd_path)
289
354
    if not os.path.exists(passwd_dir):
290
355
        os.makedirs(passwd_dir)
293
358
    passwd_file.write('%s:x:%d:%d::/home/%s:/bin/bash'
294
359
                      % (username, unixid, unixid, username))
295
360
    passwd_file.close()
296
 
 
297
 
def mount_jail(login, config):
298
 
    # This is where we'll mount to...
299
 
    destdir = os.path.join(config['paths']['jails']['mounts'], login)
300
 
    # ... and this is where we'll get the user bits.
301
 
    srcdir = os.path.join(config['paths']['jails']['src'], login)
302
 
    try:
303
 
        if not os.path.exists(destdir):
304
 
            os.mkdir(destdir)
305
 
        if os.system('/bin/mount -t aufs -o dirs=%s:%s=ro none %s'
306
 
                     % (srcdir, config['paths']['jails']['template'],
307
 
                        destdir)) == 0:
308
 
            logging.info("mounted user %s's jail." % login)
309
 
        else:
310
 
            logging.error("failed to mount user %s's jail!" % login)
311
 
    except Exception, message:
312
 
        logging.warning(str(message))