← Back to branch summary

~azzar1/unity/add-show-desktop-key

« back to all changes in this revision

Viewing changes to ivle/makeuser.py

  • Committer: William Grant
  • Date: 2009-04-28 06:02:41 UTC
  • Revision ID: grantw@unimelb.edu.au-20090428060241-t4gnwl35maukfvfg
Move ivle.conf.mimetypes to ivle.mimetypes, and rename things in it.

Show diffs side-by-side

added added

removed removed

Lines of Context:
ivle/makeuser.py
1
1
# IVLE - Informatics Virtual Learning Environment
2
 
# Copyright (C) 2007-2009 The University of Melbourne
 
2
# Copyright (C) 2007-2008 The University of Melbourne
3
3
#
4
4
# This program is free software; you can redistribute it and/or modify
5
5
# it under the terms of the GNU General Public License as published by
15
15
# along with this program; if not, write to the Free Software
16
16
# Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301  USA
17
17
 
18
 
"""User and group filesystem management helpers."""
 
18
# Module: MakeUser
 
19
# Author: Matt Giuca
 
20
# Date:   1/2/2008
 
21
 
 
22
# Allows creation of users. This sets up the following:
 
23
# * User's jail and home directory within the jail.
 
24
# * Subversion repository (TODO)
 
25
# * Check out Subversion workspace into jail (TODO)
 
26
# * Database details for user
 
27
# * Unix user account
 
28
 
 
29
# TODO: Sanitize login name and other fields.
 
30
# Users must not be called "temp" or "template".
 
31
 
 
32
# TODO: When creating a new home directory, chown it to its owner
 
33
 
 
34
# TODO: In chown_to_webserver:
 
35
# Do not call os.system("chown www-data") - use Python lib
 
36
# and use the web server uid given in conf. (Several places).
19
37
 
20
38
import hashlib
21
39
import os
24
42
import time
25
43
import uuid
26
44
import warnings
 
45
import filecmp
27
46
import logging
28
 
import subprocess
29
 
 
30
 
from storm.expr import Select, Max
31
 
 
32
 
import ivle.config
33
 
from ivle.database import (User, ProjectGroup, Assessed, ProjectSubmission,
34
 
        Project, ProjectSet, Offering, Enrolment, Subject, Semester)
 
47
import ivle.conf
 
48
import ivle.pulldown_subj
 
49
 
 
50
from ivle.database import ProjectGroup
35
51
 
36
52
def chown_to_webserver(filename):
37
 
    """chown a directory and its contents to the web server.
38
 
 
39
 
    Recursively chowns a file or directory so the web server user owns it.
 
53
    """
 
54
    Chowns a file so the web server user owns it.
 
55
    (This is useful in setting up Subversion conf files).
40
56
    Assumes root.
41
57
    """
42
 
    subprocess.call(['chown', '-R', 'www-data:www-data', filename])
 
58
    try:
 
59
        os.system("chown -R www-data:www-data %s" % filename)
 
60
    except:
 
61
        pass
43
62
 
44
63
def make_svn_repo(path, throw_on_error=True):
45
 
    """Create a Subversion repository at the given path."""
 
64
    """Create a Subversion repository at the given path.
 
65
    """
46
66
    try:
47
 
        res = subprocess.call(['svnadmin', 'create', path])
 
67
        res = os.system("svnadmin create '%s'" % path)
48
68
        if res != 0 and throw_on_error:
49
69
            raise Exception("Cannot create repository: %s" % path)
50
70
    except Exception, exc:
54
74
 
55
75
    chown_to_webserver(path)
56
76
 
57
 
def rebuild_svn_config(store, config):
 
77
def rebuild_svn_config(store):
58
78
    """Build the complete SVN configuration file.
59
 
 
60
 
    @param config: An ivle.config.Config object.
61
79
    """
62
 
    users = store.find(User)
63
 
    conf_name = config['paths']['svn']['conf']
64
 
    temp_name = conf_name + ".new"
65
 
    f = open(temp_name, "w")
66
 
    f.write("""\
67
 
# IVLE SVN repository authorisation configuration
68
 
# Generated: %(time)s
69
 
""" % {'time': time.asctime()})
70
 
 
 
80
    users = store.find(ivle.database.User)
 
81
    groups = {}
 
82
    # TODO: Populate groups with per-offering tutors/lecturers/etc.
 
83
    f = open(ivle.conf.svn_conf + ".new", "w")
 
84
    f.write("# IVLE SVN Repositories Configuration\n")
 
85
    f.write("# Auto-generated on %s\n" % time.asctime())
 
86
    f.write("\n")
 
87
    f.write("[groups]\n")
 
88
    for (g,ls) in groups.iteritems():
 
89
        f.write("%s = %s\n" % (g, ",".join(ls)))
 
90
    f.write("\n")
71
91
    for u in users:
72
 
        f.write("""
73
 
[%(login)s:/]
74
 
%(login)s = rw
75
 
""" % {'login': u.login})
76
 
 
77
 
    # Now we need to grant offering tutors and lecturers access to the latest
78
 
    # submissions in their offerings. There are much prettier ways to do this,
79
 
    # but a lot of browser requests call this function, so it needs to be
80
 
    # fast. We can grab all of the paths needing authorisation directives with
81
 
    # a single query, and we cache the list of viewers for each offering.
82
 
    offering_viewers_cache = {}
83
 
    for (login, psid, pspath, offeringid) in store.find(
84
 
        (User.login, ProjectSubmission.id, ProjectSubmission.path,
85
 
         Offering.id),
86
 
            Assessed.id == ProjectSubmission.assessed_id,
87
 
            User.id == Assessed.user_id,
88
 
            Project.id == Assessed.project_id,
89
 
            ProjectSet.id == Project.project_set_id,
90
 
            Offering.id == ProjectSet.id,
91
 
            ProjectSubmission.date_submitted == Select(
92
 
                    Max(ProjectSubmission.date_submitted),
93
 
                    ProjectSubmission.assessed_id == Assessed.id,
94
 
                    tables=ProjectSubmission
95
 
            )
96
 
        ):
97
 
 
98
 
        # Do we already have the list of logins authorised for this offering
99
 
        # cached? If not, get it.
100
 
        if offeringid not in offering_viewers_cache:
101
 
            offering_viewers_cache[offeringid] = list(store.find(
102
 
                    User.login,
103
 
                    User.id == Enrolment.user_id,
104
 
                    Enrolment.offering_id == offeringid,
105
 
                    Enrolment.role.is_in((u'tutor', u'lecturer')),
106
 
                    Enrolment.active == True,
107
 
                )
108
 
            )
109
 
 
110
 
        f.write("""
111
 
# Submission %(id)d
112
 
[%(login)s:%(path)s]
113
 
""" % {'login': login, 'id': psid, 'path': pspath})
114
 
 
115
 
        for viewer_login in offering_viewers_cache[offeringid]:
116
 
            # We don't want to override the owner's write privilege,
117
 
            # so we don't add them to the read-only ACL.
118
 
            if login != viewer_login:
119
 
                f.write("%s = r\n" % viewer_login)
120
 
 
 
92
        f.write("[%s:/]\n" % u.login)
 
93
        f.write("%s = rw\n" % u.login)
 
94
        #f.write("@tutor = r\n")
 
95
        #f.write("@lecturer = rw\n")
 
96
        #f.write("@admin = rw\n")
 
97
        f.write("\n")
121
98
    f.close()
122
 
    os.rename(temp_name, conf_name)
123
 
    chown_to_webserver(conf_name)
 
99
    os.rename(ivle.conf.svn_conf + ".new", ivle.conf.svn_conf)
 
100
    chown_to_webserver(ivle.conf.svn_conf)
124
101
 
125
 
def rebuild_svn_group_config(store, config):
 
102
def rebuild_svn_group_config(store):
126
103
    """Build the complete SVN configuration file for groups
127
 
 
128
 
    @param config: An ivle.config.Config object.
129
104
    """
130
 
    conf_name = config['paths']['svn']['group_conf']
131
 
    temp_name = conf_name + ".new"
132
 
    f = open(temp_name, "w")
133
 
 
134
 
    f.write("""\
135
 
# IVLE SVN group repository authorisation configuration
136
 
# Generated: %(time)s
137
 
 
138
 
""" % {'time': time.asctime()})
139
 
 
140
 
    group_members_cache = {}
 
105
    f = open(ivle.conf.svn_group_conf + ".new", "w")
 
106
    f.write("# IVLE SVN Group Repositories Configuration\n")
 
107
    f.write("# Auto-generated on %s\n" % time.asctime())
 
108
    f.write("\n")
141
109
    for group in store.find(ProjectGroup):
142
110
        offering = group.project_set.offering
143
111
        reponame = "_".join([offering.subject.short_name,
144
112
                             offering.semester.year,
145
113
                             offering.semester.semester,
146
114
                             group.name])
147
 
 
148
 
        f.write("[%s:/]\n" % reponame)
149
 
        if group.id not in group_members_cache:
150
 
            group_members_cache[group.id] = set()
 
115
        f.write("[%s:/]\n"%reponame)
151
116
        for user in group.members:
152
 
            group_members_cache[group.id].add(user.login)
153
117
            f.write("%s = rw\n" % user.login)
154
118
        f.write("\n")
155
 
 
156
 
    # Now we need to grant offering tutors and lecturers access to the latest
157
 
    # submissions in their offerings. There are much prettier ways to do this,
158
 
    # but a lot of browser requests call this function, so it needs to be
159
 
    # fast. We can grab all of the paths needing authorisation directives with
160
 
    # a single query, and we cache the list of viewers for each offering.
161
 
    offering_viewers_cache = {}
162
 
    for (ssn, year, sem, name, psid, pspath, gid, offeringid) in store.find(
163
 
        (Subject.short_name, Semester.year, Semester.semester,
164
 
         ProjectGroup.name, ProjectSubmission.id, ProjectSubmission.path,
165
 
         ProjectGroup.id, Offering.id),
166
 
            Assessed.id == ProjectSubmission.assessed_id,
167
 
            ProjectGroup.id == Assessed.project_group_id,
168
 
            Project.id == Assessed.project_id,
169
 
            ProjectSet.id == Project.project_set_id,
170
 
            Offering.id == ProjectSet.offering_id,
171
 
            Subject.id == Offering.subject_id,
172
 
            Semester.id == Offering.semester_id,
173
 
            ProjectSubmission.date_submitted == Select(
174
 
                    Max(ProjectSubmission.date_submitted),
175
 
                    ProjectSubmission.assessed_id == Assessed.id,
176
 
                    tables=ProjectSubmission
177
 
            )
178
 
        ):
179
 
 
180
 
        reponame = "_".join([ssn, year, sem, name])
181
 
 
182
 
        # Do we already have the list of logins authorised for this offering
183
 
        # cached? If not, get it.
184
 
        if offeringid not in offering_viewers_cache:
185
 
            offering_viewers_cache[offeringid] = list(store.find(
186
 
                    User.login,
187
 
                    User.id == Enrolment.user_id,
188
 
                    Enrolment.offering_id == offeringid,
189
 
                    Enrolment.role.is_in((u'tutor', u'lecturer')),
190
 
                    Enrolment.active == True,
191
 
                )
192
 
            )
193
 
 
194
 
        f.write("""
195
 
# Submission %(id)d
196
 
[%(repo)s:%(path)s]
197
 
""" % {'repo': reponame, 'id': psid, 'path': pspath})
198
 
 
199
 
        for viewer_login in offering_viewers_cache[offeringid]:
200
 
            # Skip existing group members, or they can't write to it any more.
201
 
            if viewer_login not in group_members_cache[gid]:
202
 
                f.write("%s = r\n" % viewer_login)
203
 
 
204
119
    f.close()
205
 
    os.rename(temp_name, conf_name)
206
 
    chown_to_webserver(conf_name)
207
 
 
208
 
def make_svn_auth(store, login, config, throw_on_error=True):
209
 
    """Create a Subversion password for a user.
210
 
 
211
 
    Generates a new random Subversion password, and assigns it to the user.
212
 
    The password is added to Apache's Subversion authentication file.
 
120
    os.rename(ivle.conf.svn_group_conf + ".new", ivle.conf.svn_group_conf)
 
121
    chown_to_webserver(ivle.conf.svn_group_conf)
 
122
 
 
123
def make_svn_auth(store, login, throw_on_error=True):
 
124
    """Setup svn authentication for the given user.
 
125
       Uses the given DB store object. Does not commit to the db.
213
126
    """
214
 
    # filename is, eg, /var/lib/ivle/svn/ivle.auth
215
 
    filename = config['paths']['svn']['auth_ivle']
216
 
    if os.path.exists(filename):
 
127
    passwd = hashlib.md5(uuid.uuid4().bytes).hexdigest()
 
128
    if os.path.exists(ivle.conf.svn_auth_ivle):
217
129
        create = ""
218
130
    else:
219
131
        create = "c"
220
132
 
221
 
    user = User.get_by_login(store, login)
222
 
 
223
 
    if user.svn_pass is None:
224
 
        passwd = hashlib.md5(uuid.uuid4().bytes).hexdigest()
225
 
        user.svn_pass = unicode(passwd)
226
 
 
227
 
    res = subprocess.call(['htpasswd', '-%smb' % create,
228
 
                           filename, login, user.svn_pass])
 
133
    user = ivle.database.User.get_by_login(store, login)
 
134
    user.svn_pass = unicode(passwd)
 
135
 
 
136
    res = os.system("htpasswd -%smb %s %s %s" % (create,
 
137
                                              ivle.conf.svn_auth_ivle,
 
138
                                              login, passwd))
229
139
    if res != 0 and throw_on_error:
230
140
        raise Exception("Unable to create ivle-auth for %s" % login)
231
141
 
232
142
    # Make sure the file is owned by the web server
233
143
    if create == "c":
234
 
        chown_to_webserver(filename)
235
 
 
236
 
    return user.svn_pass
237
 
 
238
 
def make_jail(user, config, force=True):
239
 
    """Create or update a user's jail.
240
 
 
241
 
    Only the user-specific parts of the jail are created here - everything
242
 
    else is expected to be part of another aufs branch.
 
144
        chown_to_webserver(ivle.conf.svn_auth_ivle)
 
145
 
 
146
    return passwd
 
147
 
 
148
def generate_manifest(basedir, targetdir, parent=''):
 
149
    """ From a basedir and a targetdir work out which files are missing or out 
 
150
    of date and need to be added/updated and which files are redundant and need 
 
151
    to be removed.
 
152
    
 
153
    parent: This is used for the recursive call to track the relative paths 
 
154
    that we have decended.
 
155
    """
 
156
    
 
157
    cmp = filecmp.dircmp(basedir, targetdir)
 
158
 
 
159
    # Add all new files and files that have changed
 
160
    to_add = [os.path.join(parent,x) for x in (cmp.left_only + cmp.diff_files)]
 
161
 
 
162
    # Remove files that are redundant
 
163
    to_remove = [os.path.join(parent,x) for x in cmp.right_only]
 
164
    
 
165
    # Recurse
 
166
    for d in cmp.common_dirs:
 
167
        newbasedir = os.path.join(basedir, d)
 
168
        newtargetdir = os.path.join(targetdir, d)
 
169
        newparent = os.path.join(parent, d)
 
170
        (sadd,sremove) = generate_manifest(newbasedir, newtargetdir, newparent)
 
171
        to_add += sadd
 
172
        to_remove += sremove
 
173
 
 
174
    return (to_add, to_remove)
 
175
 
 
176
 
 
177
def make_jail(user, force=True):
 
178
    """Creates a new user's jail space, in the jail directory as configured in
 
179
    conf.py.
 
180
 
 
181
    This only creates things within /home - everything else is expected to be
 
182
    part of another UnionFS branch.
243
183
 
244
184
    Returns the path to the user's home directory.
245
185
 
246
186
    Chowns the user's directory within the jail to the given UID.
247
187
 
248
 
    @param force: If False, raise an exception if the user already has a jail.
249
 
                  If True (default), rebuild the jail preserving /home.
 
188
    force: If false, exception if jail already exists for this user.
 
189
    If true (default), overwrites it, but preserves home directory.
250
190
    """
251
191
    # MUST run as root or some of this may fail
252
192
    if os.getuid() != 0:
253
193
        raise Exception("Must run make_jail as root")
254
194
    
255
195
    # tempdir is for putting backup homes in
256
 
    jail_src_base = config['paths']['jails']['src']
257
 
    tempdir = os.path.join(jail_src_base, '__temp__')
 
196
    tempdir = os.path.join(ivle.conf.jail_src_base, '__temp__')
258
197
    if not os.path.exists(tempdir):
259
198
        os.makedirs(tempdir)
260
199
    elif not os.path.isdir(tempdir):
261
200
        os.unlink(tempdir)
262
201
        os.mkdir(tempdir)
263
 
    userdir = os.path.join(jail_src_base, user.login)
 
202
    userdir = os.path.join(ivle.conf.jail_src_base, user.login)
264
203
    homedir = os.path.join(userdir, 'home')
265
 
    tmpdir = os.path.join(userdir, 'tmp')
266
204
    userhomedir = os.path.join(homedir, user.login)   # Return value
267
205
 
268
206
    if os.path.exists(userdir):
271
209
        # User jail already exists. Blow it away but preserve their home
272
210
        # directory. It should be all that is there anyway, but you never
273
211
        # know!
274
 
        # Ignore warnings about the use of tempnam
 
212
        # Ignore warnings about the use of tmpnam
275
213
        warnings.simplefilter('ignore')
276
214
        homebackup = os.tempnam(tempdir)
277
215
        warnings.resetwarnings()
280
218
        # NOTE that shutil.move changed in Python 2.6, it now moves a
281
219
        # directory INTO the target (like `mv`), which it didn't use to do.
282
220
        # This code works regardless.
283
 
        shutil.move(userhomedir, homebackup)
 
221
        shutil.move(homedir, homebackup)
284
222
        shutil.rmtree(userdir)
285
 
        os.makedirs(homedir)
286
 
        shutil.move(homebackup, userhomedir)
 
223
        os.makedirs(userdir)
 
224
        shutil.move(homebackup, homedir)
287
225
        # Change the ownership of all the files to the right unixid
288
226
        logging.debug("chown %s's home directory files to uid %d"
289
227
            %(user.login, user.unixid))
298
236
        # Chmod to rwxr-xr-x (755)
299
237
        os.chmod(userhomedir, 0755)
300
238
 
301
 
    make_ivle_conf(user.login, userdir, user.svn_pass, config)
302
 
    make_etc_passwd(user.login, userdir, config['paths']['jails']['template'],
303
 
                    user.unixid)
304
 
    os.makedirs(tmpdir)
305
 
    os.chmod(tmpdir, 01777)
 
239
    make_ivle_conf(user.login, userdir, user.svn_pass)
 
240
    make_etc_passwd(user.login, userdir, ivle.conf.jail_system, user.unixid)
306
241
 
307
242
    return userhomedir
308
243
 
309
 
def make_ivle_conf(username, user_jail_dir, svn_pass, sys_config):
310
 
    """Generate an ivle.conf for a user's jail.
311
 
 
 
244
def make_ivle_conf(username, user_jail_dir, svn_pass):
 
245
    """
312
246
    Creates (overwriting any existing file, and creating directories) a
313
247
    file /etc/ivle/ivle.conf in a given user's jail.
314
 
 
315
 
    @param username: Username.
316
 
    @param user_jail_dir: User's jail dir, ie. ['jails']['src'] + username
317
 
    @param svn_pass: User's SVN password.
318
 
    @param sys_config: An ivle.config.Config object (the system-wide config).
 
248
    username: Username.
 
249
    user_jail_dir: User's jail dir, ie. ivle.conf.jail_base + username
 
250
    svn_pass: User's SVN password.
319
251
    """
320
 
    conf_path = os.path.join(user_jail_dir, "home/.ivle.conf")
321
 
    if not os.path.exists(os.path.dirname(conf_path)):
322
 
        os.makedirs(os.path.dirname(conf_path))
 
252
    conf_path = os.path.join(user_jail_dir, "etc/ivle/ivle.conf")
 
253
    os.makedirs(os.path.dirname(conf_path))
323
254
 
324
255
    # In the "in-jail" version of conf, we don't need MOST of the details
325
256
    # (it would be a security risk to have them here).
326
257
    # So we just write root_dir.
327
258
    conf_obj = ivle.config.Config(blank=True)
328
259
    conf_obj.filename = conf_path
329
 
    conf_obj['urls']['root'] = sys_config['urls']['root']
330
 
    conf_obj['urls']['public_host'] = sys_config['urls']['public_host']
331
 
    conf_obj['urls']['svn_addr'] = sys_config['urls']['svn_addr']
 
260
    conf_obj['urls']['root'] = ivle.conf.root_dir
 
261
    conf_obj['urls']['public_host'] = ivle.conf.public_host
 
262
    conf_obj['urls']['svn_addr'] = ivle.conf.svn_addr
332
263
    conf_obj['user_info']['login'] = username
333
264
    conf_obj['user_info']['svn_pass'] = svn_pass
334
265
    conf_obj.write()
339
270
                        | stat.S_IROTH)
340
271
 
341
272
def make_etc_passwd(username, user_jail_dir, template_dir, unixid):
342
 
    """Create a passwd file for a user's jail.
343
 
 
 
273
    """
344
274
    Creates /etc/passwd in the given user's jail. This will be identical to
345
275
    that in the template jail, except for the added entry for this user.
346
276
    """
347
 
    template_passwd_path = os.path.join(template_dir, "home/.passwd")
348
 
    passwd_path = os.path.join(user_jail_dir, "home/.passwd")
 
277
    template_passwd_path = os.path.join(template_dir, "etc/passwd")
 
278
    passwd_path = os.path.join(user_jail_dir, "etc/passwd")
349
279
    passwd_dir = os.path.dirname(passwd_path)
350
280
    if not os.path.exists(passwd_dir):
351
281
        os.makedirs(passwd_dir)
354
284
    passwd_file.write('%s:x:%d:%d::/home/%s:/bin/bash'
355
285
                      % (username, unixid, unixid, username))
356
286
    passwd_file.close()
 
287
 
 
288
def mount_jail(login):
 
289
    # This is where we'll mount to...
 
290
    destdir = os.path.join(ivle.conf.jail_base, login)
 
291
    # ... and this is where we'll get the user bits.
 
292
    srcdir = os.path.join(ivle.conf.jail_src_base, login)
 
293
    try:
 
294
        if not os.path.exists(destdir):
 
295
            os.mkdir(destdir)
 
296
        if os.system('/bin/mount -t aufs -o dirs=%s:%s=ro none %s'
 
297
                     % (srcdir, ivle.conf.jail_system, destdir)) == 0:
 
298
            logging.info("mounted user %s's jail." % login)
 
299
        else:
 
300
            logging.error("failed to mount user %s's jail!" % login)
 
301
    except Exception, message:
 
302
        logging.warning(str(message))