← Back to branch summary

~azzar1/unity/add-show-desktop-key

« back to all changes in this revision

Viewing changes to bin/ivle-refreshfilesystem

[Uber-commit of holiday work because I lacked a local copy of the branch.]

 ivle.makeuser: Don't use jailconf.py as a header for the in-jail conf.py;
     generate the whole thing using string formatting operators and include
     the template inline.

 ivle.makeuser.make_conf_py: XXX the inclusion of ivle.conf.jail_base in
     the jail. It is simply there to placate ivle.studpath, and needs
     to go before we can entirely remove the in-jail config.

 ivle-buildjail:
   - Add. Converted from setup.buildjail.
   - Build the jail in __base_build__ and rsync it to __base__ when
     done, rather than operating only in ./jail
   - Rename --rebuildjail/-j to --recreate/-r, as the whole script
     is now for jail rebuilding. Also add a warning to the usage string about
     the large volume likely to be downloaded.
   - Check existence before removing trees.
   - Don't copy jailconf.py over conf.py in the jail. Also make
     sure that we remove conf.pyc.

 setup.configure:
   - Stop generating jailconf.py at all.
   - Add a jail_system_build setting, defaulting to __base_build__ next to
     the existing __base__.
   - Don't use an OptionParser before calling the real function, as that
     adds options dynamically.

 setup.install:
   - Add an option (-R) to avoid writing out svn revision info to
     $PREFIX/share/ivle/revision.txt.
   - Remove jail-copying things.
   - Install all services to the host, rather than just usrmgt-server. We do
     this so we can build the jail from the host without the source tree.
   - Shuffle some things, and don't install phpBB3 twice.
   - Add a --root argument, to take an alternate root directory to install
     into (as given to autotools in $DESTDIR).

 setup.build:
   - Allow running as non-root.
   - Take a --no-compile option to not byte-compile Python files.

 setup.util:
   - Include usrmgt-server in the list of services.
   - Add make_install_path(), a wrapper around os.path.join() that ensures
     the second path is relative.
   - Install ivle-buildjail with the other binaries.

Show diffs side-by-side

added added

removed removed

Lines of Context:
bin/ivle-refreshfilesystem
1
 
#!/usr/bin/env python
2
 
# IVLE - Informatics Virtual Learning Environment
3
 
# Copyright (C) 2007-2009 The University of Melbourne
4
 
#
5
 
# This program is free software; you can redistribute it and/or modify
6
 
# it under the terms of the GNU General Public License as published by
7
 
# the Free Software Foundation; either version 2 of the License, or
8
 
# (at your option) any later version.
9
 
#
10
 
# This program is distributed in the hope that it will be useful,
11
 
# but WITHOUT ANY WARRANTY; without even the implied warranty of
12
 
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13
 
# GNU General Public License for more details.
14
 
#
15
 
# You should have received a copy of the GNU General Public License
16
 
# along with this program; if not, write to the Free Software
17
 
# Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301  USA
18
 
 
19
 
"""Refresh parts of the filesystem that are generated from the database.
20
 
 
21
 
In particular:
22
 
 - missing user jails are created
23
 
 - missing user and group Subversion repositories are created
24
 
 - the Subversion password file is updated
25
 
 - the Subversion authorisation files are rewritten
26
 
"""
27
 
 
28
 
import datetime
29
 
import logging
30
 
import os
31
 
import os.path
32
 
import shutil
33
 
 
34
 
from ivle.config import Config
35
 
from ivle.database import get_store, ProjectGroup, User
36
 
import ivle.makeuser
37
 
 
38
 
 
39
 
logging.basicConfig(
40
 
    format='%(asctime)s %(levelname)s %(message)s',
41
 
    level=logging.INFO)
42
 
 
43
 
 
44
 
JUNK_DIRECTORY_SUFFIX = (
45
 
    '-removed-%s' % datetime.datetime.now().strftime('%Y%m%d-%H%M%S'))
46
 
 
47
 
 
48
 
def get_junk_dir(path):
49
 
    return os.path.normpath(path) + JUNK_DIRECTORY_SUFFIX
50
 
 
51
 
 
52
 
def junk(parent, name):
53
 
    """Move the named directory into a junk directory alongside the parent."""
54
 
    if not os.path.exists(get_junk_dir(parent)):
55
 
        os.makedirs(get_junk_dir(parent))
56
 
    shutil.move(
57
 
        os.path.join(parent, name),
58
 
        os.path.join(get_junk_dir(parent), name))
59
 
 
60
 
 
61
 
def refresh_filesystem(config, store):
62
 
    active_users = store.find(User, state=u'enabled').order_by(User.login)
63
 
 
64
 
    logging.info("Refreshing active user jails.")
65
 
    for user in active_users:
66
 
        ivle.makeuser.make_jail(user, config)
67
 
 
68
 
    present_jails = set(
69
 
        login for login in os.listdir(config['paths']['jails']['src'])
70
 
        if not (login.startswith('__') and login.endswith('__')))
71
 
 
72
 
    logging.info("Junking extra user jails...")
73
 
    for jail in present_jails - set(user.login for user in active_users):
74
 
        logging.info(' - %s' % jail)
75
 
        junk(config['paths']['jails']['src'], jail)
76
 
 
77
 
    repo_root = config['paths']['svn']['repo_path']
78
 
 
79
 
    logging.info("Creating missing Subversion user repositories.")
80
 
    present_user_repos = set(
81
 
        login for login in os.listdir(os.path.join(repo_root, 'users')))
82
 
 
83
 
    for repo in set(user.login for user in active_users) - present_user_repos:
84
 
        logging.info(' - %s' % repo)
85
 
        ivle.makeuser.make_svn_repo(
86
 
            os.path.join(repo_root, 'users', repo), throw_on_error=True)
87
 
 
88
 
    logging.info("Junking extra Subversion user repositories.")
89
 
    for repo in present_user_repos - set(user.login for user in active_users):
90
 
        logging.info(' - %s' % repo)
91
 
        junk(os.path.join(repo_root, 'users'), repo)
92
 
 
93
 
 
94
 
    logging.info("Creating missing Subversion group repositories.")
95
 
    present_group_repos = set(
96
 
        group for group in os.listdir(os.path.join(repo_root, 'groups')))
97
 
 
98
 
    active_group_identifiers = set("_".join(
99
 
        [group.project_set.offering.subject.short_name,
100
 
         group.project_set.offering.semester.year,
101
 
         group.project_set.offering.semester.semester,
102
 
         group.name]) for group in store.find(ProjectGroup))
103
 
 
104
 
    for repo in active_group_identifiers - present_group_repos:
105
 
        logging.info(' - %s' % repo)
106
 
        ivle.makeuser.make_svn_repo(
107
 
            os.path.join(repo_root, 'groups', repo), throw_on_error=True)
108
 
 
109
 
    logging.info("Junking extra Subversion user repositories.")
110
 
    for repo in present_group_repos - active_group_identifiers:
111
 
        logging.info(' - %s' % repo)
112
 
        junk(os.path.join(repo_root, 'groups'), repo)
113
 
 
114
 
 
115
 
    logging.info("Rebuild Subversion password file.")
116
 
    for user in store.find(User, state=u'enabled'):
117
 
        ivle.makeuser.make_svn_auth(
118
 
            store, user.login, config, throw_on_error=True)
119
 
    logging.info("Rebuilding Subversion user configuration.")
120
 
    ivle.makeuser.rebuild_svn_config(store, config)
121
 
    logging.info("Rebuilding Subversion group configuration.")
122
 
    ivle.makeuser.rebuild_svn_group_config(store, config)
123
 
 
124
 
 
125
 
if __name__ == '__main__':
126
 
    config = Config()
127
 
    store = get_store(config)
128
 
    refresh_filesystem(config, store)