← Back to branch summary

~azzar1/unity/add-show-desktop-key

« back to all changes in this revision

Viewing changes to bin/ivle-refreshfilesystem

https://launchpad.net/bugs/492537
Merge a more thorough filesystem housekeeper (ivle-refreshfilesystem).

Show diffs side-by-side

added added

removed removed

Lines of Context:
bin/ivle-refreshfilesystem
26
26
"""
27
27
 
28
28
import datetime
29
 
import logging
30
29
import os
31
30
import os.path
32
31
import shutil
 
32
import sys
33
33
 
34
34
from ivle.config import Config
35
35
from ivle.database import get_store, ProjectGroup, User
36
36
import ivle.makeuser
37
 
 
38
 
 
39
 
logging.basicConfig(
40
 
    format='%(asctime)s %(levelname)s %(message)s',
41
 
    level=logging.INFO)
42
 
 
43
 
 
44
 
JUNK_DIRECTORY_SUFFIX = (
 
37
# Python 2.5's shutil.rmtree follows symlinks!
 
38
from ivle.util import safe_rmtree
 
39
 
 
40
junk_directory_suffix = (
45
41
    '-removed-%s' % datetime.datetime.now().strftime('%Y%m%d-%H%M%S'))
46
42
 
47
 
 
48
43
def get_junk_dir(path):
49
 
    return os.path.normpath(path) + JUNK_DIRECTORY_SUFFIX
50
 
 
 
44
    return os.path.normpath(path) + junk_directory_suffix
51
45
 
52
46
def junk(parent, name):
53
47
    """Move the named directory into a junk directory alongside the parent."""
54
 
    if not os.path.exists(get_junk_dir(parent)):
55
 
        os.makedirs(get_junk_dir(parent))
 
48
    os.makedirs(get_junk_dir(parent))
56
49
    shutil.move(
57
50
        os.path.join(parent, name),
58
51
        os.path.join(get_junk_dir(parent), name))
59
52
 
60
53
 
61
 
def refresh_filesystem(config, store):
62
 
    active_users = store.find(User, state=u'enabled').order_by(User.login)
63
 
 
64
 
    logging.info("Refreshing active user jails.")
65
 
    for user in active_users:
66
 
        ivle.makeuser.make_jail(user, config)
67
 
 
68
 
    present_jails = set(
69
 
        login for login in os.listdir(config['paths']['jails']['src'])
70
 
        if not (login.startswith('__') and login.endswith('__')))
71
 
 
72
 
    logging.info("Junking extra user jails...")
73
 
    for jail in present_jails - set(user.login for user in active_users):
74
 
        logging.info(' - %s' % jail)
75
 
        junk(config['paths']['jails']['src'], jail)
76
 
 
77
 
    repo_root = config['paths']['svn']['repo_path']
78
 
 
79
 
    logging.info("Creating missing Subversion user repositories.")
80
 
    present_user_repos = set(
81
 
        login for login in os.listdir(os.path.join(repo_root, 'users')))
82
 
 
83
 
    for repo in set(user.login for user in active_users) - present_user_repos:
84
 
        logging.info(' - %s' % repo)
85
 
        ivle.makeuser.make_svn_repo(
86
 
            os.path.join(repo_root, 'users', repo), throw_on_error=True)
87
 
 
88
 
    logging.info("Junking extra Subversion user repositories.")
89
 
    for repo in present_user_repos - set(user.login for user in active_users):
90
 
        logging.info(' - %s' % repo)
91
 
        junk(os.path.join(repo_root, 'users'), repo)
92
 
 
93
 
 
94
 
    logging.info("Creating missing Subversion group repositories.")
95
 
    present_group_repos = set(
96
 
        group for group in os.listdir(os.path.join(repo_root, 'groups')))
97
 
 
98
 
    active_group_identifiers = set("_".join(
99
 
        [group.project_set.offering.subject.short_name,
100
 
         group.project_set.offering.semester.year,
101
 
         group.project_set.offering.semester.semester,
102
 
         group.name]) for group in store.find(ProjectGroup))
103
 
 
104
 
    for repo in active_group_identifiers - present_group_repos:
105
 
        logging.info(' - %s' % repo)
106
 
        ivle.makeuser.make_svn_repo(
107
 
            os.path.join(repo_root, 'groups', repo), throw_on_error=True)
108
 
 
109
 
    logging.info("Junking extra Subversion user repositories.")
110
 
    for repo in present_group_repos - active_group_identifiers:
111
 
        logging.info(' - %s' % repo)
112
 
        junk(os.path.join(repo_root, 'groups'), repo)
113
 
 
114
 
 
115
 
    logging.info("Rebuild Subversion password file.")
116
 
    for user in store.find(User, state=u'enabled'):
117
 
        ivle.makeuser.make_svn_auth(
118
 
            store, user.login, config, throw_on_error=True)
119
 
    logging.info("Rebuilding Subversion user configuration.")
120
 
    ivle.makeuser.rebuild_svn_config(store, config)
121
 
    logging.info("Rebuilding Subversion group configuration.")
122
 
    ivle.makeuser.rebuild_svn_group_config(store, config)
123
 
 
124
 
 
125
 
if __name__ == '__main__':
126
 
    config = Config()
127
 
    store = get_store(config)
128
 
    refresh_filesystem(config, store)
 
54
config = Config()
 
55
store = get_store(config)
 
56
 
 
57
active_users = store.find(User, state=u'enabled').order_by(User.login)
 
58
 
 
59
print >>sys.stderr, "Refreshing active user jails..."
 
60
for user in active_users:
 
61
    ivle.makeuser.make_jail(user, config)
 
62
 
 
63
present_jails = set(
 
64
    login for login in os.listdir(config['paths']['jails']['src'])
 
65
    if not (login.startswith('__') and login.endswith('__')))
 
66
 
 
67
print >>sys.stderr, "Junking extra user jails..."
 
68
for jail in present_jails - set(user.login for user in active_users):
 
69
    print ' - %s' % jail
 
70
    junk(config['paths']['jails']['src'], jail)
 
71
 
 
72
repo_root = config['paths']['svn']['repo_path']
 
73
 
 
74
print >>sys.stderr, "Creating missing Subversion user repositories..."
 
75
present_user_repos= set(
 
76
    login for login in os.listdir(os.path.join(repo_root, 'users')))
 
77
 
 
78
for repo in set(user.login for user in active_users) - present_user_repos:
 
79
    print ' - %s' % repo
 
80
    ivle.makeuser.make_svn_repo(
 
81
        os.path.join(repo_root, 'users', repo), throw_on_error=True)
 
82
 
 
83
print >>sys.stderr, "Junking extra Subversion user repositories..."
 
84
for repo in present_user_repos - set(user.login for user in active_users):
 
85
    print ' - %s' % repo
 
86
    junk(os.path.join(repo_root, 'users'), repo)
 
87
 
 
88
 
 
89
print >>sys.stderr, "Creating missing Subversion group repositories..."
 
90
present_group_repos = set(
 
91
    group for group in os.listdir(os.path.join(repo_root, 'groups')))
 
92
 
 
93
active_group_identifiers = set("_".join(
 
94
    [group.project_set.offering.subject.short_name,
 
95
     group.project_set.offering.semester.year,
 
96
     group.project_set.offering.semester.semester,
 
97
     group.name]) for group in store.find(ProjectGroup))
 
98
 
 
99
for repo in active_group_identifiers - present_group_repos:
 
100
    print ' - %s' % repo
 
101
    ivle.makeuser.make_svn_repo(
 
102
        os.path.join(repo_root, 'groups', repo), throw_on_error=True)
 
103
 
 
104
print >>sys.stderr, "Junking extra Subversion user repositories..."
 
105
for repo in present_group_repos - active_group_identifiers:
 
106
    print ' - %s' % repo
 
107
    junk(os.path.join(repo_root, 'groups'), repo)
 
108
 
 
109
 
 
110
print >>sys.stderr, "Rebuilding Subversion user configuration..."
 
111
ivle.makeuser.rebuild_svn_config(store, config)
 
112
print >>sys.stderr, "Rebuilding Subversion group configuration..."
 
113
ivle.makeuser.rebuild_svn_group_config(store, config)
 
114
 
 
115