← Back to branch summary

~azzar1/unity/add-show-desktop-key

« back to all changes in this revision

Viewing changes to setup.py

  • Committer: mattgiuca
  • Date: 2008-02-15 06:34:19 UTC
  • Revision ID: svn-v3-trunk0:2b9c9e99-6f39-0410-b283-7f802c844ae2:trunk:476
Added new module: common/caps.py. This is the Capabilities centre of IVLE.
    It provides a Role class which is a rich enumeration type for Roles.
    The Role class will replace what has previously been simple strings used
    for Roles within the program. It has comparison ability to see if a Role
    is greater than or equal to another.
    This module also provides a set of capability objects which roles can be
    checked against.
dispatch/login: Rather than setting 'rolenm' string in session, now sets
    'role', a Role object.
common/db: _escape allows Role objects, which get converted into strings.
    So the DB now accepts Role objects as values (though we don't make use of
    this currently).
www/apps/tos: svn:ignore

Show diffs side-by-side

added added

removed removed

Lines of Context:
setup.py
31
31
# cutting a distribution, and the listfile it generates should be included in
32
32
# the distribution, avoiding the administrator having to run it.
33
33
 
34
 
# setup.py conf [args]
 
34
# setup.py config [args]
35
35
# Configures IVLE with machine-specific details, most notably, various paths.
36
36
# Either prompts the administrator for these details or accepts them as
37
37
# command-line args.
38
 
# Creates www/conf/conf.py and trampoline/conf.h.
 
38
# Creates lib/conf/conf.py and trampoline/conf.h.
39
39
 
40
40
# setup.py build
41
41
# Compiles all files and sets up a jail template in the source directory.
68
68
import compileall
69
69
import getopt
70
70
 
 
71
# Import modules from the website is tricky since they're in the www
 
72
# directory.
 
73
sys.path.append(os.path.join(os.getcwd(), 'lib'))
 
74
import conf
 
75
import common.makeuser
 
76
 
 
77
# Determine which Python version (2.4 or 2.5, for example) we are running,
 
78
# and use that as the filename to the Python directory.
 
79
# Just get the first 3 characters of sys.version.
 
80
PYTHON_VERSION = sys.version[0:3]
 
81
 
 
82
# Operating system files to copy over into the jail.
 
83
# These will be copied from the given place on the OS file system into the
 
84
# same place within the jail.
 
85
JAIL_FILES = [
 
86
    '/lib/ld-linux.so.2',
 
87
    '/lib/tls/i686/cmov/libc.so.6',
 
88
    '/lib/tls/i686/cmov/libdl.so.2',
 
89
    '/lib/tls/i686/cmov/libm.so.6',
 
90
    '/lib/tls/i686/cmov/libpthread.so.0',
 
91
    '/lib/tls/i686/cmov/libutil.so.1',
 
92
    '/etc/ld.so.conf',
 
93
    '/etc/ld.so.cache',
 
94
    # These 2 files do not exist in Ubuntu
 
95
    #'/etc/ld.so.preload',
 
96
    #'/etc/ld.so.nohwcap',
 
97
    # UNIX commands
 
98
    '/usr/bin/strace',
 
99
    '/bin/ls',
 
100
    '/bin/echo',
 
101
    # Needed by python
 
102
    '/usr/bin/python%s' % PYTHON_VERSION,
 
103
    # Needed by fileservice
 
104
    '/lib/libcom_err.so.2',
 
105
    '/lib/libcrypt.so.1',
 
106
    '/lib/libkeyutils.so.1',
 
107
    '/lib/libresolv.so.2',
 
108
    '/lib/librt.so.1',
 
109
    '/lib/libuuid.so.1',
 
110
    '/usr/lib/libapr-1.so.0',
 
111
    '/usr/lib/libaprutil-1.so.0',
 
112
    '/usr/lib/libdb-4.4.so',
 
113
    '/usr/lib/libexpat.so.1',
 
114
    '/usr/lib/libgcrypt.so.11',
 
115
    '/usr/lib/libgnutls.so.13',
 
116
    '/usr/lib/libgpg-error.so.0',
 
117
    '/usr/lib/libgssapi_krb5.so.2',
 
118
    '/usr/lib/libk5crypto.so.3',
 
119
    '/usr/lib/libkrb5.so.3',
 
120
    '/usr/lib/libkrb5support.so.0',
 
121
    '/usr/lib/liblber.so.2',
 
122
    '/usr/lib/libldap_r.so.2',
 
123
    '/usr/lib/libneon.so.26',
 
124
    '/usr/lib/libpq.so.5',
 
125
    '/usr/lib/libsasl2.so.2',
 
126
    '/usr/lib/libsqlite3.so.0',
 
127
    '/usr/lib/libsvn_client-1.so.1',
 
128
    '/usr/lib/libsvn_delta-1.so.1',
 
129
    '/usr/lib/libsvn_diff-1.so.1',
 
130
    '/usr/lib/libsvn_fs-1.so.1',
 
131
    '/usr/lib/libsvn_fs_base-1.so.1',
 
132
    '/usr/lib/libsvn_fs_fs-1.so.1',
 
133
    '/usr/lib/libsvn_ra-1.so.1',
 
134
    '/usr/lib/libsvn_ra_dav-1.so.1',
 
135
    '/usr/lib/libsvn_ra_local-1.so.1',
 
136
    '/usr/lib/libsvn_ra_svn-1.so.1',
 
137
    '/usr/lib/libsvn_repos-1.so.1',
 
138
    '/usr/lib/libsvn_subr-1.so.1',
 
139
    '/usr/lib/libsvn_wc-1.so.1',
 
140
    '/usr/lib/libtasn1.so.3',
 
141
    '/usr/lib/libxml2.so.2',
 
142
    # Needed by matplotlib
 
143
    '/usr/lib/i686/cmov/libssl.so.0.9.8',
 
144
    '/usr/lib/i686/cmov/libcrypto.so.0.9.8',
 
145
    '/lib/tls/i686/cmov/libnsl.so.1',
 
146
    '/usr/lib/libz.so.1',
 
147
    '/usr/lib/atlas/liblapack.so.3',
 
148
    '/usr/lib/atlas/libblas.so.3',
 
149
    '/usr/lib/libg2c.so.0',
 
150
    '/usr/lib/libstdc++.so.6',
 
151
    '/usr/lib/libfreetype.so.6',
 
152
    '/usr/lib/libpng12.so.0',
 
153
    '/usr/lib/libBLT.2.4.so.8.4',
 
154
    '/usr/lib/libtk8.4.so.0',
 
155
    '/usr/lib/libtcl8.4.so.0',
 
156
    '/usr/lib/tcl8.4/init.tcl',
 
157
    '/usr/lib/libX11.so.6',
 
158
    '/usr/lib/libXau.so.6',
 
159
    '/usr/lib/libXdmcp.so.6',
 
160
    '/lib/libgcc_s.so.1',
 
161
    '/etc/matplotlibrc',
 
162
]
 
163
# Symlinks to make within the jail. Src mapped to dst.
 
164
JAIL_LINKS = {
 
165
    'python%s' % PYTHON_VERSION: 'jail/usr/bin/python',
 
166
}
 
167
# Trees to copy. Src mapped to dst (these will be passed to action_copytree).
 
168
JAIL_COPYTREES = {
 
169
    '/usr/lib/python%s' % PYTHON_VERSION:
 
170
        'jail/usr/lib/python%s' % PYTHON_VERSION,
 
171
    '/usr/share/matplotlib': 'jail/usr/share/matplotlib',
 
172
    '/etc/ld.so.conf.d': 'jail/etc/ld.so.conf.d',
 
173
}
 
174
 
 
175
class ConfigOption:
 
176
    """A configuration option; one of the things written to conf.py."""
 
177
    def __init__(self, option_name, default, prompt, comment):
 
178
        """Creates a configuration option.
 
179
        option_name: Name of the variable in conf.py. Also name of the
 
180
            command-line argument to setup.py conf.
 
181
        default: Default value for this variable.
 
182
        prompt: (Short) string presented during the interactive prompt in
 
183
            setup.py conf.
 
184
        comment: (Long) comment string stored in conf.py. Each line of this
 
185
            string should begin with a '#'.
 
186
        """
 
187
        self.option_name = option_name
 
188
        self.default = default
 
189
        self.prompt = prompt
 
190
        self.comment = comment
 
191
 
 
192
# Configuration options, defaults and descriptions
 
193
config_options = []
 
194
config_options.append(ConfigOption("root_dir", "/ivle",
 
195
    """Root directory where IVLE is located (in URL space):""",
 
196
    """
 
197
# In URL space, where in the site is IVLE located. (All URLs will be prefixed
 
198
# with this).
 
199
# eg. "/" or "/ivle"."""))
 
200
config_options.append(ConfigOption("ivle_install_dir", "/opt/ivle",
 
201
    'Root directory where IVLE will be installed (on the local file '
 
202
    'system):',
 
203
    """
 
204
# In the local file system, where IVLE is actually installed.
 
205
# This directory should contain the "www" and "bin" directories."""))
 
206
config_options.append(ConfigOption("jail_base", "/home/informatics/jails",
 
207
    """Root directory where the jails (containing user files) are stored
 
208
(on the local file system):""",
 
209
    """
 
210
# In the local file system, where are the student/user file spaces located.
 
211
# The user jails are expected to be located immediately in subdirectories of
 
212
# this location."""))
 
213
config_options.append(ConfigOption("subjects_base",
 
214
    "/home/informatics/subjects",
 
215
    """Root directory where the subject directories (containing worksheets
 
216
and other per-subject files) are stored (on the local file system):""",
 
217
    """
 
218
# In the local file system, where are the per-subject file spaces located.
 
219
# The individual subject directories are expected to be located immediately
 
220
# in subdirectories of this location."""))
 
221
config_options.append(ConfigOption("problems_base",
 
222
    "/home/informatics/problems",
 
223
    """Root directory where the problem directories (containing
 
224
subject-independent problem sheets) are stored (on the local file
 
225
system):""",
 
226
    """
 
227
# In the local file system, where are the subject-independent problem sheet
 
228
# file spaces located."""))
 
229
config_options.append(ConfigOption("public_host", "public.localhost",
 
230
    """Hostname which will cause the server to go into "public mode",
 
231
providing login-free access to student's published work:""",
 
232
    """
 
233
# The server goes into "public mode" if the browser sends a request with this
 
234
# host. This is for security reasons - we only serve public student files on a
 
235
# separate domain to the main IVLE site.
 
236
# Public mode does not use cookies, and serves only public content.
 
237
# Private mode (normal mode) requires login, and only serves files relevant to
 
238
# the logged-in user."""))
 
239
config_options.append(ConfigOption("allowed_uids", "33",
 
240
    """UID of the web server process which will run IVLE.
 
241
Only this user may execute the trampoline. May specify multiple users as
 
242
a comma-separated list.
 
243
    (eg. "1002,78")""",
 
244
    """
 
245
# The User-ID of the web server process which will run IVLE, and any other
 
246
# users who are allowed to run the trampoline. This is stores as a string of
 
247
# comma-separated integers, simply because it is not used within Python, only
 
248
# used by the setup program to write to conf.h (see setup.py config)."""))
 
249
config_options.append(ConfigOption("db_host", "localhost",
 
250
    """PostgreSQL Database config
 
251
==========================
 
252
Hostname of the DB server:""",
 
253
    """
 
254
### PostgreSQL Database config ###
 
255
# Database server hostname"""))
 
256
config_options.append(ConfigOption("db_port", "5432",
 
257
    """Port of the DB server:""",
 
258
    """
 
259
# Database server port"""))
 
260
config_options.append(ConfigOption("db_dbname", "ivle",
 
261
    """Database name:""",
 
262
    """
 
263
# Database name"""))
 
264
config_options.append(ConfigOption("db_user", "postgres",
 
265
    """Username for DB server login:""",
 
266
    """
 
267
# Database username"""))
 
268
config_options.append(ConfigOption("db_password", "",
 
269
    """Password for DB server login:
 
270
    (Caution: This password is stored in plaintext in lib/conf/conf.py)""",
 
271
    """
 
272
# Database password"""))
 
273
config_options.append(ConfigOption("svn_conf", "/opt/ivle/svn/svn.conf",
 
274
    """The location of the subversion configuration file used by apache
 
275
to host the user repositories:""",
 
276
    """
 
277
# The location of the subversion configuration file used by
 
278
# apache to host the user repositories."""))
 
279
config_options.append(ConfigOption("svn_repo_path", "/home/informatics/repositories",
 
280
    """The root directory for the subversion repositories:""",
 
281
    """
 
282
# The root directory for the subversion repositories."""))
 
283
config_options.append(ConfigOption("svn_auth_ivle", "/opt/ivle/svn/ivle.auth",
 
284
    """The location of the password file used to authenticate users
 
285
of the subversion repository from the ivle server:""",
 
286
    """
 
287
# The location of the password file used to authenticate users
 
288
# of the subversion repository from the ivle server."""))
 
289
config_options.append(ConfigOption("svn_auth_local", "/opt/ivle/svn/local.auth",
 
290
    """The location of the password file used to authenticate local users
 
291
of the subversion repository:""",
 
292
    """
 
293
# The location of the password file used to authenticate local users
 
294
# of the subversion repository."""))
 
295
config_options.append(ConfigOption("usrmgt_host", "localhost",
 
296
    """The hostname where the usrmgt-server runs:""",
 
297
    """
 
298
# The hostname where the usrmgt-server runs."""))
 
299
config_options.append(ConfigOption("usrmgt_port", "2178",
 
300
    """The port where the usrmgt-server runs:""",
 
301
    """
 
302
# The port where the usrmgt-server runs."""))
 
303
config_options.append(ConfigOption("usrmgt_magic", "",
 
304
    """The password for the usrmgt-server:""",
 
305
    """
 
306
# The password for the usrmgt-server."""))
 
307
 
71
308
# Try importing existing conf, but if we can't just set up defaults
72
309
# The reason for this is that these settings are used by other phases
73
310
# of setup besides conf, so we need to know them.
74
311
# Also this allows you to hit Return to accept the existing value.
75
312
try:
76
 
    confmodule = __import__("www/conf/conf")
77
 
    root_dir = confmodule.root_dir
78
 
    ivle_install_dir = confmodule.ivle_install_dir
79
 
    jail_base = confmodule.jail_base
 
313
    confmodule = __import__("lib/conf/conf")
 
314
    for opt in config_options:
 
315
        try:
 
316
            globals()[opt.option_name] = confmodule.__dict__[opt.option_name]
 
317
        except:
 
318
            globals()[opt.option_name] = opt.default
80
319
except ImportError:
81
320
    # Just set reasonable defaults
82
 
    root_dir = "/ivle"
83
 
    ivle_install_dir = "/opt/ivle"
84
 
    jail_base = "/home/informatics/jails"
85
 
# Always defaults
86
 
allowed_uids = "0"
 
321
    for opt in config_options:
 
322
        globals()[opt.option_name] = opt.default
87
323
 
88
324
# Try importing install_list, but don't fail if we can't, because listmake can
89
325
# function without it.
98
334
# as necessary, and include it in the distribution.
99
335
listmake_mimetypes = ['text/x-python', 'text/html',
100
336
    'application/x-javascript', 'application/javascript',
101
 
    'text/css', 'image/png']
 
337
    'text/css', 'image/png', 'application/xml']
102
338
 
103
339
# Main function skeleton from Guido van Rossum
104
340
# http://www.artima.com/weblogs/viewpost.jsp?thread=4829
127
363
        return 1
128
364
 
129
365
    # Disallow run as root unless installing
130
 
    if operation != 'install' and os.geteuid() == 0:
 
366
    if (operation != 'install' and operation != 'updatejails'
 
367
        and os.geteuid() == 0):
131
368
        print >>sys.stderr, "I do not want to run this stage as root."
132
369
        print >>sys.stderr, "Please run as a normal user."
133
370
        return 1
135
372
    try:
136
373
        oper_func = {
137
374
            'help' : help,
138
 
            'conf' : conf,
 
375
            'config' : conf,
139
376
            'build' : build,
140
377
            'listmake' : listmake,
141
378
            'install' : install,
 
379
            'updatejails' : updatejails,
142
380
        }[operation]
143
381
    except KeyError:
144
382
        print >>sys.stderr, (
155
393
Operation (and args) can be:
156
394
    help [operation]
157
395
    listmake (developer use only)
158
 
    conf [args]
 
396
    config [args]
159
397
    build
160
 
    install [--nojail] [-n|--dry]
 
398
    install [--nojail] [--nosubjects] [-n|--dry]
161
399
"""
162
400
        return 1
163
401
    elif len(args) != 1:
176
414
be copied upon installation. This should be run by the developer before
177
415
cutting a distribution, and the listfile it generates should be included in
178
416
the distribution, avoiding the administrator having to run it."""
179
 
    elif operation == 'conf':
180
 
        print """python setup.py conf [args]
 
417
    elif operation == 'config':
 
418
        print """python setup.py config [args]
181
419
Configures IVLE with machine-specific details, most notably, various paths.
182
420
Either prompts the administrator for these details or accepts them as
183
421
command-line args. Will be interactive only if there are no arguments given.
187
425
to rebuild/install), just provide ivle_install_dir as the IVLE trunk
188
426
directory, and run build/install one time.
189
427
 
190
 
Creates www/conf/conf.py and trampoline/conf.h.
 
428
Creates lib/conf/conf.py and trampoline/conf.h.
191
429
 
192
 
Args are:
193
 
    --root_dir
194
 
    --ivle_install_dir
195
 
    --jail_base
196
 
    --allowed_uids
197
 
As explained in the interactive prompt or conf.py.
 
430
Args are:"""
 
431
        for opt in config_options:
 
432
            print "    --" + opt.option_name
 
433
        print """As explained in the interactive prompt or conf.py.
198
434
"""
199
435
    elif operation == 'build':
200
436
        print """python -O setup.py build [--dry|-n]
211
447
 
212
448
--dry | -n  Print out the actions but don't do anything."""
213
449
    elif operation == 'install':
214
 
        print """sudo python setup.py install [--nojail] [--dry|-n]
 
450
        print """sudo python setup.py install [--nojail] [--nosubjects][--dry|-n]
215
451
(Requires root)
216
452
Create target install directory ($target).
217
453
Create $target/bin.
219
455
chown and chmod the installed trampoline.
220
456
Copy www/ to $target.
221
457
Copy jail/ to jails template directory (unless --nojail specified).
222
 
 
223
 
--nojail    Do not copy the jail.
 
458
Copy subjects/ to subjects directory (unless --nosubjects specified).
 
459
 
 
460
--nojail        Do not copy the jail.
 
461
--nosubjects    Do not copy the subjects and problems directories.
 
462
--dry | -n  Print out the actions but don't do anything."""
 
463
    elif operation == 'updatejails':
 
464
        print """sudo python setup.py updatejails [--dry|-n]
 
465
(Requires root)
 
466
Copy jail/ to each subdirectory in jails directory.
 
467
 
224
468
--dry | -n  Print out the actions but don't do anything."""
225
469
    else:
226
470
        print >>sys.stderr, (
231
475
def listmake(args):
232
476
    # We build two separate lists, by walking www and console
233
477
    list_www = build_list_py_files('www')
234
 
    list_console = build_list_py_files('console')
 
478
    list_lib = build_list_py_files('lib')
 
479
    list_scripts = build_list_py_files('scripts')
 
480
    list_subjects = build_list_py_files('subjects', no_top_level=True)
 
481
    list_problems = build_list_py_files('problems', no_top_level=True)
235
482
    # Make sure that the files generated by conf are in the list
236
483
    # (since listmake is typically run before conf)
237
 
    if "www/conf/conf.py" not in list_www:
238
 
        list_www.append("www/conf/conf.py")
 
484
    if "lib/conf/conf.py" not in list_lib:
 
485
        list_lib.append("lib/conf/conf.py")
239
486
    # Make sure that console/python-console is in the list
240
 
    if "console/python-console" not in list_console:
241
 
        list_console.append("console/python-console")
 
487
    if "scripts/python-console" not in list_scripts:
 
488
        list_scripts.append("scripts/python-console")
 
489
    if "scripts/fileservice" not in list_scripts:
 
490
        list_scripts.append("scripts/fileservice")
242
491
    # Write these out to a file
243
492
    cwd = os.getcwd()
244
493
    # the files that will be created/overwritten
258
507
list_www = """)
259
508
        writelist_pretty(file, list_www)
260
509
        file.write("""
261
 
# List of all installable files in console directory.
262
 
list_console = """)
263
 
        writelist_pretty(file, list_console)
 
510
# List of all installable files in lib directory.
 
511
list_lib = """)
 
512
        writelist_pretty(file, list_lib)
 
513
        file.write("""
 
514
# List of all installable files in scripts directory.
 
515
list_scripts = """)
 
516
        writelist_pretty(file, list_scripts)
 
517
        file.write("""
 
518
# List of all installable files in subjects directory.
 
519
# This is to install sample subjects and material.
 
520
list_subjects = """)
 
521
        writelist_pretty(file, list_subjects)
 
522
        file.write("""
 
523
# List of all installable files in problems directory.
 
524
# This is to install sample exercise material.
 
525
list_problems = """)
 
526
        writelist_pretty(file, list_problems)
264
527
 
265
528
        file.close()
266
529
    except IOError, (errno, strerror):
277
540
 
278
541
    return 0
279
542
 
280
 
def build_list_py_files(dir):
 
543
def build_list_py_files(dir, no_top_level=False):
281
544
    """Builds a list of all py files found in a directory and its
282
 
    subdirectories. Returns this as a list of strings."""
 
545
    subdirectories. Returns this as a list of strings.
 
546
    no_top_level=True means the file paths will not include the top-level
 
547
    directory.
 
548
    """
283
549
    pylist = []
284
550
    for (dirpath, dirnames, filenames) in os.walk(dir):
285
551
        # Exclude directories beginning with a '.' (such as '.svn')
287
553
        # All *.py files are added to the list
288
554
        pylist += [os.path.join(dirpath, item) for item in filenames
289
555
            if mimetypes.guess_type(item)[0] in listmake_mimetypes]
 
556
    if no_top_level:
 
557
        for i in range(0, len(pylist)):
 
558
            _, pylist[i] = pylist[i].split(os.sep, 1)
290
559
    return pylist
291
560
 
292
561
def writelist_pretty(file, list):
300
569
        file.write(']\n')
301
570
 
302
571
def conf(args):
303
 
    global root_dir, ivle_install_dir, jail_base, allowed_uids
 
572
    global db_port
304
573
    # Set up some variables
305
574
 
306
575
    cwd = os.getcwd()
307
576
    # the files that will be created/overwritten
308
 
    conffile = os.path.join(cwd, "www/conf/conf.py")
 
577
    conffile = os.path.join(cwd, "lib/conf/conf.py")
 
578
    jailconffile = os.path.join(cwd, "lib/conf/jailconf.py")
309
579
    conf_hfile = os.path.join(cwd, "trampoline/conf.h")
310
580
 
311
 
    # Fixed config options that we don't ask the admin
312
 
    default_app = "dummy"
313
 
 
314
581
    # Get command-line arguments to avoid asking questions.
315
582
 
316
 
    (opts, args) = getopt.gnu_getopt(args, "", ['root_dir=',
317
 
                    'ivle_install_dir=', 'jail_base=', 'allowed_uids='])
 
583
    optnames = []
 
584
    for opt in config_options:
 
585
        optnames.append(opt.option_name + "=")
 
586
    (opts, args) = getopt.gnu_getopt(args, "", optnames)
318
587
 
319
588
    if args != []:
320
589
        print >>sys.stderr, "Invalid arguments:", string.join(args, ' ')
326
595
        print """This tool will create the following files:
327
596
    %s
328
597
    %s
 
598
    %s
329
599
prompting you for details about your configuration. The file will be
330
600
overwritten if it already exists. It will *not* install or deploy IVLE.
331
601
 
332
602
Please hit Ctrl+C now if you do not wish to do this.
333
 
""" % (conffile, conf_hfile)
 
603
""" % (conffile, jailconffile, conf_hfile)
334
604
 
335
605
        # Get information from the administrator
336
606
        # If EOF is encountered at any time during the questioning, just exit
337
607
        # silently
338
608
 
339
 
        root_dir = query_user(root_dir,
340
 
        """Root directory where IVLE is located (in URL space):""")
341
 
        ivle_install_dir = query_user(ivle_install_dir,
342
 
        'Root directory where IVLE will be installed (on the local file '
343
 
        'system):')
344
 
        jail_base = query_user(jail_base,
345
 
        """Root directory where the jails (containing user files) are stored
346
 
(on the local file system):""")
347
 
        allowed_uids = query_user(allowed_uids,
348
 
        """UID of the web server process which will run IVLE.
349
 
Only this user may execute the trampoline. May specify multiple users as
350
 
a comma-separated list.
351
 
    (eg. "1002,78")""")
352
 
 
 
609
        for opt in config_options:
 
610
            globals()[opt.option_name] = \
 
611
                query_user(globals()[opt.option_name], opt.prompt)
353
612
    else:
354
613
        opts = dict(opts)
355
614
        # Non-interactive mode. Parse the options.
356
 
        if '--root_dir' in opts:
357
 
            root_dir = opts['--root_dir']
358
 
        if '--ivle_install_dir' in opts:
359
 
            ivle_install_dir = opts['--ivle_install_dir']
360
 
        if '--jail_base' in opts:
361
 
            jail_base = opts['--jail_base']
362
 
        if '--allowed_uids' in opts:
363
 
            allowed_uids = opts['--allowed_uids']
 
615
        for opt in config_options:
 
616
            if '--' + opt.option_name in opts:
 
617
                globals()[opt.option_name] = opts['--' + opt.option_name]
364
618
 
365
619
    # Error handling on input values
366
620
    try:
367
 
        allowed_uids = map(int, allowed_uids.split(','))
 
621
        allowed_uids_list = map(int, allowed_uids.split(','))
368
622
    except ValueError:
369
623
        print >>sys.stderr, (
370
624
        "Invalid UID list (%s).\n"
371
625
        "Must be a comma-separated list of integers." % allowed_uids)
372
626
        return 1
 
627
    try:
 
628
        db_port = int(db_port)
 
629
        if db_port < 0 or db_port >= 65536: raise ValueError()
 
630
    except ValueError:
 
631
        print >>sys.stderr, (
 
632
        "Invalid DB port (%s).\n"
 
633
        "Must be an integer between 0 and 65535." % repr(db_port))
 
634
        return 1
373
635
 
374
 
    # Write www/conf/conf.py
 
636
    # Write lib/conf/conf.py
375
637
 
376
638
    try:
377
639
        conf = open(conffile, "w")
380
642
# conf.py
381
643
# Miscellaneous application settings
382
644
 
 
645
""")
 
646
        for opt in config_options:
 
647
            conf.write('%s\n%s = %s\n' % (opt.comment, opt.option_name,
 
648
                repr(globals()[opt.option_name])))
 
649
 
 
650
        conf.close()
 
651
    except IOError, (errno, strerror):
 
652
        print "IO error(%s): %s" % (errno, strerror)
 
653
        sys.exit(1)
 
654
 
 
655
    print "Successfully wrote lib/conf/conf.py"
 
656
 
 
657
    # Write conf/jailconf.py
 
658
 
 
659
    try:
 
660
        conf = open(jailconffile, "w")
 
661
 
 
662
        # In the "in-jail" version of conf, we don't need MOST of the details
 
663
        # (it would be a security risk to have them here).
 
664
        # So we just write root_dir, and jail_base is "/".
 
665
        # (jail_base being "/" means "jail-relative" paths are relative to "/"
 
666
        # when inside the jail.)
 
667
        conf.write("""# IVLE Configuration File
 
668
# conf.py
 
669
# Miscellaneous application settings
 
670
# (User jail version)
 
671
 
383
672
 
384
673
# In URL space, where in the site is IVLE located. (All URLs will be prefixed
385
674
# with this).
386
675
# eg. "/" or "/ivle".
387
 
root_dir = "%s"
388
 
 
389
 
# In the local file system, where IVLE is actually installed.
390
 
# This directory should contain the "www" and "bin" directories.
391
 
ivle_install_dir = "%s"
 
676
root_dir = %s
392
677
 
393
678
# In the local file system, where are the student/user file spaces located.
394
679
# The user jails are expected to be located immediately in subdirectories of
395
680
# this location.
396
 
jail_base = "%s"
 
681
jail_base = '/'
397
682
 
398
 
# Which application to load by default (if the user navigates to the top level
399
 
# of the site). This is the app's URL name.
400
 
# Note that if this app requires authentication, the user will first be
401
 
# presented with the login screen.
402
 
default_app = "%s"
403
 
""" % (root_dir, ivle_install_dir, jail_base, default_app))
 
683
# The hostname for serving publicly accessible pages
 
684
public_host = %s
 
685
""" % (repr(root_dir),repr(public_host)))
404
686
 
405
687
        conf.close()
406
688
    except IOError, (errno, strerror):
407
689
        print "IO error(%s): %s" % (errno, strerror)
408
690
        sys.exit(1)
409
691
 
410
 
    print "Successfully wrote www/conf/conf.py"
 
692
    print "Successfully wrote lib/conf/jailconf.py"
411
693
 
412
694
    # Write trampoline/conf.h
413
695
 
432
714
 * (Note that root is an implicit member of this list).
433
715
 */
434
716
static const int allowed_uids[] = { %s };
435
 
""" % (jail_base, repr(allowed_uids)[1:-1]))
 
717
""" % (repr(jail_base)[1:-1], repr(allowed_uids_list)[1:-1]))
 
718
    # Note: The above uses PYTHON reprs, not C reprs
 
719
    # However they should be the same with the exception of the outer
 
720
    # characters, which are stripped off and replaced
436
721
 
437
722
        conf.close()
438
723
    except IOError, (errno, strerror):
444
729
    print
445
730
    print "You may modify the configuration at any time by editing"
446
731
    print conffile
 
732
    print jailconffile
447
733
    print conf_hfile
448
734
    print
449
735
    return 0
458
744
        print "Dry run (no actions will be executed\n"
459
745
 
460
746
    # Compile the trampoline
461
 
    action_runprog('gcc', ['-Wall', '-o', 'trampoline/trampoline',
462
 
        'trampoline/trampoline.c'], dry)
 
747
    curdir = os.getcwd()
 
748
    os.chdir('trampoline')
 
749
    action_runprog('make', [], dry)
 
750
    os.chdir(curdir)
463
751
 
464
752
    # Create the jail and its subdirectories
465
753
    # Note: Other subdirs will be made by copying files
468
756
    action_mkdir('jail/tmp', dry)
469
757
 
470
758
    # Copy all console and operating system files into the jail
471
 
    action_copylist(install_list.list_console, 'jail/opt/ivle', dry)
 
759
    action_copylist(install_list.list_scripts, 'jail/opt/ivle', dry)
472
760
    copy_os_files_jail(dry)
 
761
    # Chmod the python console
 
762
    action_chmod_x('jail/opt/ivle/scripts/python-console', dry)
 
763
    action_chmod_x('jail/opt/ivle/scripts/fileservice', dry)
 
764
    
 
765
    # Also copy the IVLE lib directory into the jail
 
766
    # This is necessary for running certain scripts
 
767
    action_copylist(install_list.list_lib, 'jail/opt/ivle', dry)
 
768
    # IMPORTANT: The file jail/opt/ivle/lib/conf/conf.py contains details
 
769
    # which could compromise security if left in the jail (such as the DB
 
770
    # password).
 
771
    # The "safe" version is in jailconf.py. Delete conf.py and replace it with
 
772
    # jailconf.py.
 
773
    action_copyfile('lib/conf/jailconf.py',
 
774
        'jail/opt/ivle/lib/conf/conf.py', dry)
473
775
 
474
776
    # Compile .py files into .pyc or .pyo files
475
777
    compileall.compile_dir('www', quiet=True)
476
 
    compileall.compile_dir('console', quiet=True)
 
778
    compileall.compile_dir('lib', quiet=True)
 
779
    compileall.compile_dir('scripts', quiet=True)
 
780
    compileall.compile_dir('jail/opt/ivle/lib', quiet=True)
 
781
 
 
782
    # Set up ivle.pth inside the jail
 
783
    # Need to set /opt/ivle/lib to be on the import path
 
784
    ivle_pth = \
 
785
        "jail/usr/lib/python%s/site-packages/ivle.pth" % PYTHON_VERSION
 
786
    f = open(ivle_pth, 'w')
 
787
    f.write('/opt/ivle/lib\n')
 
788
    f.close()
477
789
 
478
790
    return 0
479
791
 
481
793
    """Copies necessary Operating System files from their usual locations
482
794
    into the jail/ directory of the cwd."""
483
795
    # Currently source paths are configured for Ubuntu.
484
 
    copy_file_to_jail('/lib/ld-linux.so.2', dry)
485
 
    copy_file_to_jail('/lib/tls/i686/cmov/libc.so.6', dry)
486
 
    copy_file_to_jail('/lib/tls/i686/cmov/libdl.so.2', dry)
487
 
    copy_file_to_jail('/lib/tls/i686/cmov/libm.so.6', dry)
488
 
    copy_file_to_jail('/lib/tls/i686/cmov/libpthread.so.0', dry)
489
 
    copy_file_to_jail('/lib/tls/i686/cmov/libutil.so.1', dry)
490
 
    copy_file_to_jail('/usr/bin/python2.5', dry)
491
 
    action_symlink('python2.5', 'jail/usr/bin/python', dry)
492
 
    action_copytree('/usr/lib/python2.5', 'jail/usr/lib/python2.5', dry)
 
796
    for filename in JAIL_FILES:
 
797
        copy_file_to_jail(filename, dry)
 
798
    for src, dst in JAIL_LINKS.items():
 
799
        action_symlink(src, dst, dry)
 
800
    for src, dst in JAIL_COPYTREES.items():
 
801
        action_copytree(src, dst, dry)
493
802
 
494
803
def copy_file_to_jail(src, dry):
495
804
    """Copies a single file from an absolute location into the same location
499
808
 
500
809
def install(args):
501
810
    # Get "dry" and "nojail" variables from command line
502
 
    (opts, args) = getopt.gnu_getopt(args, "n", ['dry', 'nojail'])
 
811
    (opts, args) = getopt.gnu_getopt(args, "n",
 
812
        ['dry', 'nojail', 'nosubjects'])
503
813
    opts = dict(opts)
504
814
    dry = '-n' in opts or '--dry' in opts
505
815
    nojail = '--nojail' in opts
 
816
    nosubjects = '--nosubjects' in opts
506
817
 
507
818
    if dry:
508
819
        print "Dry run (no actions will be executed\n"
522
833
    # chown trampoline to root and set setuid bit
523
834
    action_chown_setuid(tramppath, dry)
524
835
 
525
 
    # Copy the www directory using the list
 
836
    # Copy the www and lib directories using the list
526
837
    action_copylist(install_list.list_www, ivle_install_dir, dry)
 
838
    action_copylist(install_list.list_lib, ivle_install_dir, dry)
527
839
 
528
840
    if not nojail:
529
841
        # Copy the local jail directory built by the build action
530
842
        # to the jails template directory (it will be used as a template
531
843
        # for all the students' jails).
532
844
        action_copytree('jail', os.path.join(jail_base, 'template'), dry)
 
845
    if not nosubjects:
 
846
        # Copy the subjects and problems directories across
 
847
        action_copylist(install_list.list_subjects, subjects_base, dry,
 
848
            srcdir="./subjects")
 
849
        action_copylist(install_list.list_problems, problems_base, dry,
 
850
            srcdir="./problems")
 
851
 
 
852
    # Append IVLE path to ivle.pth in python site packages
 
853
    # (Unless it's already there)
 
854
    ivle_pth = os.path.join(sys.prefix,
 
855
        "lib/python%s/site-packages/ivle.pth" % PYTHON_VERSION)
 
856
    ivle_www = os.path.join(ivle_install_dir, "www")
 
857
    ivle_lib = os.path.join(ivle_install_dir, "lib")
 
858
    write_ivle_pth = True
 
859
    write_ivle_lib_pth = True
 
860
    try:
 
861
        file = open(ivle_pth, 'r')
 
862
        for line in file:
 
863
            if line.strip() == ivle_www:
 
864
                write_ivle_pth = False
 
865
            elif line.strip() == ivle_lib:
 
866
                write_ivle_lib_pth = False
 
867
        file.close()
 
868
    except (IOError, OSError):
 
869
        pass
 
870
    if write_ivle_pth:
 
871
        action_append(ivle_pth, ivle_www)
 
872
    if write_ivle_lib_pth:
 
873
        action_append(ivle_pth, ivle_lib)
 
874
 
 
875
    return 0
 
876
 
 
877
def updatejails(args):
 
878
    # Get "dry" variable from command line
 
879
    (opts, args) = getopt.gnu_getopt(args, "n", ['dry'])
 
880
    opts = dict(opts)
 
881
    dry = '-n' in opts or '--dry' in opts
 
882
 
 
883
    if dry:
 
884
        print "Dry run (no actions will be executed\n"
 
885
 
 
886
    if not dry and os.geteuid() != 0:
 
887
        print >>sys.stderr, "Must be root to run install"
 
888
        print >>sys.stderr, "(I need to chown some files)."
 
889
        return 1
 
890
 
 
891
    # Update the template jail directory in case it hasn't been installed
 
892
    # recently.
 
893
    action_copytree('jail', os.path.join(jail_base, 'template'), dry)
 
894
 
 
895
    # Re-link all the files in all students jails.
 
896
    for dir in os.listdir(jail_base):
 
897
        if dir == 'template': continue
 
898
        # First back up the student's home directory
 
899
        temp_home = os.tmpnam()
 
900
        action_rename(os.path.join(jail_base, dir, 'home'), temp_home, dry)
 
901
        # Delete the student's jail and relink the jail files
 
902
        action_linktree(os.path.join(jail_base, 'template'),
 
903
            os.path.join(jail_base, dir), dry)
 
904
        # Restore the student's home directory
 
905
        action_rename(temp_home, os.path.join(jail_base, dir, 'home'), dry)
 
906
        # Set up the user's home directory just in case they don't have a
 
907
        # directory for this yet
 
908
        action_mkdir(os.path.join(jail_base, dir, 'home', dir), dry)
533
909
 
534
910
    return 0
535
911
 
562
938
    if ret != 0:
563
939
        raise RunError(prog, ret)
564
940
 
 
941
def action_remove(path, dry):
 
942
    """Calls rmtree, deleting the target file if it exists."""
 
943
    try:
 
944
        print "rm -r", path
 
945
        if not dry:
 
946
            shutil.rmtree(path, True)
 
947
    except OSError, (err, msg):
 
948
        if err != errno.EEXIST:
 
949
            raise
 
950
        # Otherwise, didn't exist, so we don't care
 
951
 
 
952
def action_rename(src, dst, dry):
 
953
    """Calls rename. Deletes the target if it already exists."""
 
954
    action_remove(dst, dry)
 
955
    print "mv ", src, dst
 
956
    if dry: return
 
957
    try:
 
958
        os.rename(src, dst)
 
959
    except OSError, (err, msg):
 
960
        if err != errno.EEXIST:
 
961
            raise
 
962
 
565
963
def action_mkdir(path, dry):
566
964
    """Calls mkdir. Silently ignored if the directory already exists.
567
965
    Creates all parent directories as necessary."""
579
977
    directories as necessary.
580
978
 
581
979
    See shutil.copytree."""
582
 
    if os.access(dst, os.F_OK):
583
 
        print "rm -r", dst
584
 
        if not dry:
585
 
            shutil.rmtree(dst, True)
 
980
    action_remove(dst, dry)
586
981
    print "cp -r", src, dst
587
982
    if dry: return
588
983
    shutil.copytree(src, dst, True)
589
984
 
590
 
def action_copylist(srclist, dst, dry):
 
985
def action_linktree(src, dst, dry):
 
986
    """Hard-links an entire directory tree. Same as copytree but the created
 
987
    files are hard-links not actual copies. Removes the existing destination.
 
988
    """
 
989
    action_remove(dst, dry)
 
990
    print "<cp with hardlinks> -r", src, dst
 
991
    if dry: return
 
992
    common.makeuser.linktree(src, dst)
 
993
 
 
994
def action_copylist(srclist, dst, dry, srcdir="."):
591
995
    """Copies all files in a list to a new location. The files in the list
592
996
    are read relative to the current directory, and their destinations are the
593
997
    same paths relative to dst. Creates all parent directories as necessary.
 
998
    srcdir is "." by default, can be overridden.
594
999
    """
595
1000
    for srcfile in srclist:
596
1001
        dstfile = os.path.join(dst, srcfile)
 
1002
        srcfile = os.path.join(srcdir, srcfile)
597
1003
        dstdir = os.path.split(dstfile)[0]
598
1004
        if not os.path.isdir(dstdir):
599
1005
            action_mkdir(dstdir, dry)
608
1014
def action_copyfile(src, dst, dry):
609
1015
    """Copies one file to a new location. Creates all parent directories
610
1016
    as necessary.
 
1017
    Warn if file not found.
611
1018
    """
612
1019
    dstdir = os.path.split(dst)[0]
613
1020
    if not os.path.isdir(dstdir):
617
1024
        try:
618
1025
            shutil.copyfile(src, dst)
619
1026
            shutil.copymode(src, dst)
620
 
        except shutil.Error:
621
 
            pass
 
1027
        except (shutil.Error, IOError), e:
 
1028
            print "Warning: " + str(e)
622
1029
 
623
1030
def action_symlink(src, dst, dry):
624
1031
    """Creates a symlink in a given location. Creates all parent directories
634
1041
    if not dry:
635
1042
        os.symlink(src, dst)
636
1043
 
 
1044
def action_append(ivle_pth, ivle_www):
 
1045
    file = open(ivle_pth, 'a+')
 
1046
    file.write(ivle_www + '\n')
 
1047
    file.close()
 
1048
 
637
1049
def action_chown_setuid(file, dry):
638
1050
    """Chowns a file to root, and sets the setuid bit on the file.
639
1051
    Calling this function requires the euid to be root.
648
1060
        os.chmod(file, stat.S_IXUSR | stat.S_IXGRP | stat.S_IXOTH
649
1061
            | stat.S_ISUID | stat.S_IRUSR | stat.S_IWUSR)
650
1062
 
 
1063
def action_chmod_x(file, dry):
 
1064
    """Chmod 755 a file (sets permissions to rwxr-xr-x)."""
 
1065
    print "chmod 755", file
 
1066
    if not dry:
 
1067
        os.chmod(file, stat.S_IXUSR | stat.S_IRUSR | stat.S_IWUSR
 
1068
            | stat.S_IXGRP | stat.S_IRGRP | stat.S_IXOTH | stat.S_IROTH)
 
1069
 
651
1070
def query_user(default, prompt):
652
1071
    """Prompts the user for a string, which is read from a line of stdin.
653
1072
    Exits silently if EOF is encountered. Returns the string, with spaces