~azzar1/unity/add-show-desktop-key

« back to all changes in this revision

Viewing changes to setup.py

  • Committer: mattgiuca
  • Date: 2008-02-06 03:08:52 UTC
  • Revision ID: svn-v3-trunk0:2b9c9e99-6f39-0410-b283-7f802c844ae2:trunk:431
Tested a little bit more thoroughly. Still not completely thoroughly, but
enouch, hopefully, and fixed, again, makeuser.py.

Show diffs side-by-side

added added

removed removed

Lines of Context:
21
21
# Date:   12/12/2007
22
22
 
23
23
# This is a command-line application, for use by the administrator.
24
 
# This program is a frontend for the modules in the setup packages that 
25
 
# build and install IVLE in separate steps.
 
24
# This program configures, builds and installs IVLE in three separate steps.
26
25
# It is called with at least one argument, which specifies which operation to
27
26
# take.
28
27
 
 
28
# setup.py listmake (for developer use only)
 
29
# Recurses through the source tree and builds a list of all files which should
 
30
# be copied upon installation. This should be run by the developer before
 
31
# cutting a distribution, and the listfile it generates should be included in
 
32
# the distribution, avoiding the administrator having to run it.
 
33
 
 
34
# setup.py config [args]
 
35
# Configures IVLE with machine-specific details, most notably, various paths.
 
36
# Either prompts the administrator for these details or accepts them as
 
37
# command-line args.
 
38
# Creates lib/conf/conf.py and trampoline/conf.h.
 
39
 
 
40
# setup.py build
 
41
# Compiles all files and sets up a jail template in the source directory.
 
42
# Details:
 
43
# Compiles (GCC) trampoline/trampoline.c to trampoline/trampoline.
 
44
# Creates jail/.
 
45
# Creates standard subdirs inside the jail, eg bin, opt, home, tmp.
 
46
# Copies console/ to a location within the jail.
 
47
# Copies OS programs and files to corresponding locations within the jail
 
48
#   (eg. python and Python libs, ld.so, etc).
 
49
# Generates .pyc files for all the IVLE .py files.
 
50
 
 
51
# setup.py install [--nojail] [--dry|n]
 
52
# (Requires root)
 
53
# Create target install directory ($target).
 
54
# Create $target/bin.
 
55
# Copy trampoline/trampoline to $target/bin.
 
56
# chown and chmod the installed trampoline.
 
57
# Copy www/ to $target.
 
58
# Copy jail/ to jails template directory (unless --nojail specified).
 
59
 
 
60
import os
 
61
import stat
 
62
import shutil
29
63
import sys
30
 
import setup.build
31
 
import setup.install
 
64
import getopt
 
65
import string
 
66
import errno
 
67
import mimetypes
 
68
import compileall
 
69
import getopt
 
70
 
 
71
# Import modules from the website is tricky since they're in the www
 
72
# directory.
 
73
sys.path.append(os.path.join(os.getcwd(), 'lib'))
 
74
import conf
 
75
import common.makeuser
 
76
 
 
77
# Determine which Python version (2.4 or 2.5, for example) we are running,
 
78
# and use that as the filename to the Python directory.
 
79
# Just get the first 3 characters of sys.version.
 
80
PYTHON_VERSION = sys.version[0:3]
 
81
 
 
82
# Operating system files to copy over into the jail.
 
83
# These will be copied from the given place on the OS file system into the
 
84
# same place within the jail.
 
85
JAIL_FILES = [
 
86
    '/lib/ld-linux.so.2',
 
87
    '/lib/tls/i686/cmov/libc.so.6',
 
88
    '/lib/tls/i686/cmov/libdl.so.2',
 
89
    '/lib/tls/i686/cmov/libm.so.6',
 
90
    '/lib/tls/i686/cmov/libpthread.so.0',
 
91
    '/lib/tls/i686/cmov/libutil.so.1',
 
92
    '/etc/ld.so.conf',
 
93
    '/etc/ld.so.cache',
 
94
    # These 2 files do not exist in Ubuntu
 
95
    #'/etc/ld.so.preload',
 
96
    #'/etc/ld.so.nohwcap',
 
97
    # UNIX commands
 
98
    '/usr/bin/strace',
 
99
    '/bin/ls',
 
100
    '/bin/echo',
 
101
    # Needed by python
 
102
    '/usr/bin/python%s' % PYTHON_VERSION,
 
103
    # Needed by matplotlib
 
104
    '/usr/lib/i686/cmov/libssl.so.0.9.8',
 
105
    '/usr/lib/i686/cmov/libcrypto.so.0.9.8',
 
106
    '/lib/tls/i686/cmov/libnsl.so.1',
 
107
    '/usr/lib/libz.so.1',
 
108
    '/usr/lib/atlas/liblapack.so.3',
 
109
    '/usr/lib/atlas/libblas.so.3',
 
110
    '/usr/lib/libg2c.so.0',
 
111
    '/usr/lib/libstdc++.so.6',
 
112
    '/usr/lib/libfreetype.so.6',
 
113
    '/usr/lib/libpng12.so.0',
 
114
    '/usr/lib/libBLT.2.4.so.8.4',
 
115
    '/usr/lib/libtk8.4.so.0',
 
116
    '/usr/lib/libtcl8.4.so.0',
 
117
    '/usr/lib/tcl8.4/init.tcl',
 
118
    '/usr/lib/libX11.so.6',
 
119
    '/usr/lib/libXau.so.6',
 
120
    '/usr/lib/libXdmcp.so.6',
 
121
    '/lib/libgcc_s.so.1',
 
122
    '/etc/matplotlibrc',
 
123
]
 
124
# Symlinks to make within the jail. Src mapped to dst.
 
125
JAIL_LINKS = {
 
126
    'python%s' % PYTHON_VERSION: 'jail/usr/bin/python',
 
127
}
 
128
# Trees to copy. Src mapped to dst (these will be passed to action_copytree).
 
129
JAIL_COPYTREES = {
 
130
    '/usr/lib/python%s' % PYTHON_VERSION:
 
131
        'jail/usr/lib/python%s' % PYTHON_VERSION,
 
132
    '/usr/share/matplotlib': 'jail/usr/share/matplotlib',
 
133
    '/etc/ld.so.conf.d': 'jail/etc/ld.so.conf.d',
 
134
}
 
135
 
 
136
class ConfigOption:
 
137
    """A configuration option; one of the things written to conf.py."""
 
138
    def __init__(self, option_name, default, prompt, comment):
 
139
        """Creates a configuration option.
 
140
        option_name: Name of the variable in conf.py. Also name of the
 
141
            command-line argument to setup.py conf.
 
142
        default: Default value for this variable.
 
143
        prompt: (Short) string presented during the interactive prompt in
 
144
            setup.py conf.
 
145
        comment: (Long) comment string stored in conf.py. Each line of this
 
146
            string should begin with a '#'.
 
147
        """
 
148
        self.option_name = option_name
 
149
        self.default = default
 
150
        self.prompt = prompt
 
151
        self.comment = comment
 
152
 
 
153
# Configuration options, defaults and descriptions
 
154
config_options = []
 
155
config_options.append(ConfigOption("root_dir", "/ivle",
 
156
    """Root directory where IVLE is located (in URL space):""",
 
157
    """
 
158
# In URL space, where in the site is IVLE located. (All URLs will be prefixed
 
159
# with this).
 
160
# eg. "/" or "/ivle"."""))
 
161
config_options.append(ConfigOption("ivle_install_dir", "/opt/ivle",
 
162
    'Root directory where IVLE will be installed (on the local file '
 
163
    'system):',
 
164
    """
 
165
# In the local file system, where IVLE is actually installed.
 
166
# This directory should contain the "www" and "bin" directories."""))
 
167
config_options.append(ConfigOption("jail_base", "/home/informatics/jails",
 
168
    """Root directory where the jails (containing user files) are stored
 
169
(on the local file system):""",
 
170
    """
 
171
# In the local file system, where are the student/user file spaces located.
 
172
# The user jails are expected to be located immediately in subdirectories of
 
173
# this location."""))
 
174
config_options.append(ConfigOption("subjects_base",
 
175
    "/home/informatics/subjects",
 
176
    """Root directory where the subject directories (containing worksheets
 
177
and other per-subject files) are stored (on the local file system):""",
 
178
    """
 
179
# In the local file system, where are the per-subject file spaces located.
 
180
# The individual subject directories are expected to be located immediately
 
181
# in subdirectories of this location."""))
 
182
config_options.append(ConfigOption("problems_base",
 
183
    "/home/informatics/problems",
 
184
    """Root directory where the problem directories (containing
 
185
subject-independent problem sheets) are stored (on the local file
 
186
system):""",
 
187
    """
 
188
# In the local file system, where are the subject-independent problem sheet
 
189
# file spaces located."""))
 
190
config_options.append(ConfigOption("public_host", "public.localhost",
 
191
    """Hostname which will cause the server to go into "public mode",
 
192
providing login-free access to student's published work:""",
 
193
    """
 
194
# The server goes into "public mode" if the browser sends a request with this
 
195
# host. This is for security reasons - we only serve public student files on a
 
196
# separate domain to the main IVLE site.
 
197
# Public mode does not use cookies, and serves only public content.
 
198
# Private mode (normal mode) requires login, and only serves files relevant to
 
199
# the logged-in user."""))
 
200
config_options.append(ConfigOption("allowed_uids", "33",
 
201
    """UID of the web server process which will run IVLE.
 
202
Only this user may execute the trampoline. May specify multiple users as
 
203
a comma-separated list.
 
204
    (eg. "1002,78")""",
 
205
    """
 
206
# The User-ID of the web server process which will run IVLE, and any other
 
207
# users who are allowed to run the trampoline. This is stores as a string of
 
208
# comma-separated integers, simply because it is not used within Python, only
 
209
# used by the setup program to write to conf.h (see setup.py config)."""))
 
210
config_options.append(ConfigOption("db_host", "localhost",
 
211
    """PostgreSQL Database config
 
212
==========================
 
213
Hostname of the DB server:""",
 
214
    """
 
215
### PostgreSQL Database config ###
 
216
# Database server hostname"""))
 
217
config_options.append(ConfigOption("db_port", "5432",
 
218
    """Port of the DB server:""",
 
219
    """
 
220
# Database server port"""))
 
221
config_options.append(ConfigOption("db_dbname", "ivle",
 
222
    """Database name:""",
 
223
    """
 
224
# Database name"""))
 
225
config_options.append(ConfigOption("db_user", "postgres",
 
226
    """Username for DB server login:""",
 
227
    """
 
228
# Database username"""))
 
229
config_options.append(ConfigOption("db_password", "",
 
230
    """Password for DB server login:
 
231
    (Caution: This password is stored in plaintext in lib/conf/conf.py)""",
 
232
    """
 
233
# Database password"""))
 
234
 
 
235
# Try importing existing conf, but if we can't just set up defaults
 
236
# The reason for this is that these settings are used by other phases
 
237
# of setup besides conf, so we need to know them.
 
238
# Also this allows you to hit Return to accept the existing value.
 
239
try:
 
240
    confmodule = __import__("lib/conf/conf")
 
241
    for opt in config_options:
 
242
        try:
 
243
            globals()[opt.option_name] = confmodule.__dict__[opt.option_name]
 
244
        except:
 
245
            globals()[opt.option_name] = opt.default
 
246
except ImportError:
 
247
    # Just set reasonable defaults
 
248
    for opt in config_options:
 
249
        globals()[opt.option_name] = opt.default
 
250
 
 
251
# Try importing install_list, but don't fail if we can't, because listmake can
 
252
# function without it.
 
253
try:
 
254
    import install_list
 
255
except:
 
256
    pass
 
257
 
 
258
# Mime types which will automatically be placed in the list by listmake.
 
259
# Note that listmake is not intended to be run by the final user (the system
 
260
# administrator who installs this), so the developers can customize the list
 
261
# as necessary, and include it in the distribution.
 
262
listmake_mimetypes = ['text/x-python', 'text/html',
 
263
    'application/x-javascript', 'application/javascript',
 
264
    'text/css', 'image/png', 'application/xml']
 
265
 
 
266
# Main function skeleton from Guido van Rossum
 
267
# http://www.artima.com/weblogs/viewpost.jsp?thread=4829
32
268
 
33
269
def main(argv=None):
34
270
    if argv is None:
37
273
    # Print the opening spiel including the GPL notice
38
274
 
39
275
    print """IVLE - Informatics Virtual Learning Environment Setup
40
 
Copyright (C) 2007-2009 The University of Melbourne
 
276
Copyright (C) 2007-2008 The University of Melbourne
41
277
IVLE comes with ABSOLUTELY NO WARRANTY.
42
278
This is free software, and you are welcome to redistribute it
43
279
under certain conditions. See LICENSE.txt for details.
53
289
        help([])
54
290
        return 1
55
291
 
56
 
    oper_func = call_operator(operation)
57
 
    return oper_func(argv[2:])
58
 
 
59
 
def help(args):
60
 
    if len(args)!=1:
61
 
        print """Usage: python setup.py operation [options]
62
 
Operation can be:
63
 
    help [operation]
64
 
    build
65
 
    install
66
 
 
67
 
    For help and options for a specific operation use 'help [operation]'."""
68
 
    else:
69
 
        operator = args[0]
70
 
        oper_func = call_operator(operator)
71
 
        oper_func(['operator','--help'])
72
 
 
73
 
def call_operator(operation):
 
292
    # Disallow run as root unless installing
 
293
    if (operation != 'install' and operation != 'updatejails'
 
294
        and os.geteuid() == 0):
 
295
        print >>sys.stderr, "I do not want to run this stage as root."
 
296
        print >>sys.stderr, "Please run as a normal user."
 
297
        return 1
74
298
    # Call the requested operation's function
75
299
    try:
76
300
        oper_func = {
77
301
            'help' : help,
78
 
            'build' : setup.build.build,
79
 
            'install' : setup.install.install,
 
302
            'config' : conf,
 
303
            'build' : build,
 
304
            'listmake' : listmake,
 
305
            'install' : install,
 
306
            'updatejails' : updatejails,
80
307
        }[operation]
81
308
    except KeyError:
82
309
        print >>sys.stderr, (
83
310
            """Invalid operation '%s'. Try python setup.py help."""
84
311
            % operation)
85
 
        sys.exit(1)
86
 
    return oper_func
 
312
        return 1
 
313
    return oper_func(argv[2:])
 
314
 
 
315
# Operation functions
 
316
 
 
317
def help(args):
 
318
    if args == []:
 
319
        print """Usage: python setup.py operation [args]
 
320
Operation (and args) can be:
 
321
    help [operation]
 
322
    listmake (developer use only)
 
323
    config [args]
 
324
    build
 
325
    install [--nojail] [--nosubjects] [-n|--dry]
 
326
"""
 
327
        return 1
 
328
    elif len(args) != 1:
 
329
        print """Usage: python setup.py help [operation]"""
 
330
        return 2
 
331
    else:
 
332
        operation = args[0]
 
333
 
 
334
    if operation == 'help':
 
335
        print """python setup.py help [operation]
 
336
Prints the usage message or detailed help on an operation, then exits."""
 
337
    elif operation == 'listmake':
 
338
        print """python setup.py listmake
 
339
(For developer use only)
 
340
Recurses through the source tree and builds a list of all files which should
 
341
be copied upon installation. This should be run by the developer before
 
342
cutting a distribution, and the listfile it generates should be included in
 
343
the distribution, avoiding the administrator having to run it."""
 
344
    elif operation == 'config':
 
345
        print """python setup.py config [args]
 
346
Configures IVLE with machine-specific details, most notably, various paths.
 
347
Either prompts the administrator for these details or accepts them as
 
348
command-line args. Will be interactive only if there are no arguments given.
 
349
Takes defaults from existing conf file if it exists.
 
350
 
 
351
To run IVLE out of the source directory (allowing development without having
 
352
to rebuild/install), just provide ivle_install_dir as the IVLE trunk
 
353
directory, and run build/install one time.
 
354
 
 
355
Creates lib/conf/conf.py and trampoline/conf.h.
 
356
 
 
357
Args are:"""
 
358
        for opt in config_options:
 
359
            print "    --" + opt.option_name
 
360
        print """As explained in the interactive prompt or conf.py.
 
361
"""
 
362
    elif operation == 'build':
 
363
        print """python -O setup.py build [--dry|-n]
 
364
Compiles all files and sets up a jail template in the source directory.
 
365
-O is recommended to cause compilation to be optimised.
 
366
Details:
 
367
Compiles (GCC) trampoline/trampoline.c to trampoline/trampoline.
 
368
Creates jail/.
 
369
Creates standard subdirs inside the jail, eg bin, opt, home, tmp.
 
370
Copies console/ to a location within the jail.
 
371
Copies OS programs and files to corresponding locations within the jail
 
372
  (eg. python and Python libs, ld.so, etc).
 
373
Generates .pyc or .pyo files for all the IVLE .py files.
 
374
 
 
375
--dry | -n  Print out the actions but don't do anything."""
 
376
    elif operation == 'install':
 
377
        print """sudo python setup.py install [--nojail] [--nosubjects][--dry|-n]
 
378
(Requires root)
 
379
Create target install directory ($target).
 
380
Create $target/bin.
 
381
Copy trampoline/trampoline to $target/bin.
 
382
chown and chmod the installed trampoline.
 
383
Copy www/ to $target.
 
384
Copy jail/ to jails template directory (unless --nojail specified).
 
385
Copy subjects/ to subjects directory (unless --nosubjects specified).
 
386
 
 
387
--nojail        Do not copy the jail.
 
388
--nosubjects    Do not copy the subjects and problems directories.
 
389
--dry | -n  Print out the actions but don't do anything."""
 
390
    elif operation == 'updatejails':
 
391
        print """sudo python setup.py updatejails [--dry|-n]
 
392
(Requires root)
 
393
Copy jail/ to each subdirectory in jails directory.
 
394
 
 
395
--dry | -n  Print out the actions but don't do anything."""
 
396
    else:
 
397
        print >>sys.stderr, (
 
398
            """Invalid operation '%s'. Try python setup.py help."""
 
399
            % operation)
 
400
    return 1
 
401
 
 
402
def listmake(args):
 
403
    # We build two separate lists, by walking www and console
 
404
    list_www = build_list_py_files('www')
 
405
    list_lib = build_list_py_files('lib')
 
406
    list_scripts = build_list_py_files('scripts')
 
407
    list_subjects = build_list_py_files('subjects', no_top_level=True)
 
408
    list_problems = build_list_py_files('problems', no_top_level=True)
 
409
    # Make sure that the files generated by conf are in the list
 
410
    # (since listmake is typically run before conf)
 
411
    if "lib/conf/conf.py" not in list_lib:
 
412
        list_lib.append("lib/conf/conf.py")
 
413
    # Make sure that console/python-console is in the list
 
414
    if "scripts/python-console" not in list_scripts:
 
415
        list_scripts.append("scripts/python-console")
 
416
    if "scripts/fileservice" not in list_scripts:
 
417
        list_scripts.append("scripts/fileservice")
 
418
    # Write these out to a file
 
419
    cwd = os.getcwd()
 
420
    # the files that will be created/overwritten
 
421
    listfile = os.path.join(cwd, "install_list.py")
 
422
 
 
423
    try:
 
424
        file = open(listfile, "w")
 
425
 
 
426
        file.write("""# IVLE Configuration File
 
427
# install_list.py
 
428
# Provides lists of all files to be installed by `setup.py install' from
 
429
# certain directories.
 
430
# Note that any files with the given filename plus 'c' or 'o' (that is,
 
431
# compiled .pyc or .pyo files) will be copied as well.
 
432
 
 
433
# List of all installable files in www directory.
 
434
list_www = """)
 
435
        writelist_pretty(file, list_www)
 
436
        file.write("""
 
437
# List of all installable files in lib directory.
 
438
list_lib = """)
 
439
        writelist_pretty(file, list_lib)
 
440
        file.write("""
 
441
# List of all installable files in scripts directory.
 
442
list_scripts = """)
 
443
        writelist_pretty(file, list_scripts)
 
444
        file.write("""
 
445
# List of all installable files in subjects directory.
 
446
# This is to install sample subjects and material.
 
447
list_subjects = """)
 
448
        writelist_pretty(file, list_subjects)
 
449
        file.write("""
 
450
# List of all installable files in problems directory.
 
451
# This is to install sample exercise material.
 
452
list_problems = """)
 
453
        writelist_pretty(file, list_problems)
 
454
 
 
455
        file.close()
 
456
    except IOError, (errno, strerror):
 
457
        print "IO error(%s): %s" % (errno, strerror)
 
458
        sys.exit(1)
 
459
 
 
460
    print "Successfully wrote install_list.py"
 
461
 
 
462
    print
 
463
    print ("You may modify the set of installable files before cutting the "
 
464
            "distribution:")
 
465
    print listfile
 
466
    print
 
467
 
 
468
    return 0
 
469
 
 
470
def build_list_py_files(dir, no_top_level=False):
 
471
    """Builds a list of all py files found in a directory and its
 
472
    subdirectories. Returns this as a list of strings.
 
473
    no_top_level=True means the file paths will not include the top-level
 
474
    directory.
 
475
    """
 
476
    pylist = []
 
477
    for (dirpath, dirnames, filenames) in os.walk(dir):
 
478
        # Exclude directories beginning with a '.' (such as '.svn')
 
479
        filter_mutate(lambda x: x[0] != '.', dirnames)
 
480
        # All *.py files are added to the list
 
481
        pylist += [os.path.join(dirpath, item) for item in filenames
 
482
            if mimetypes.guess_type(item)[0] in listmake_mimetypes]
 
483
    if no_top_level:
 
484
        for i in range(0, len(pylist)):
 
485
            _, pylist[i] = pylist[i].split(os.sep, 1)
 
486
    return pylist
 
487
 
 
488
def writelist_pretty(file, list):
 
489
    """Writes a list one element per line, to a file."""
 
490
    if list == []:
 
491
        file.write("[]\n")
 
492
    else:
 
493
        file.write('[\n')
 
494
        for elem in list:
 
495
            file.write('    %s,\n' % repr(elem))
 
496
        file.write(']\n')
 
497
 
 
498
def conf(args):
 
499
    global db_port
 
500
    # Set up some variables
 
501
 
 
502
    cwd = os.getcwd()
 
503
    # the files that will be created/overwritten
 
504
    conffile = os.path.join(cwd, "lib/conf/conf.py")
 
505
    conf_hfile = os.path.join(cwd, "trampoline/conf.h")
 
506
 
 
507
    # Get command-line arguments to avoid asking questions.
 
508
 
 
509
    optnames = []
 
510
    for opt in config_options:
 
511
        optnames.append(opt.option_name + "=")
 
512
    (opts, args) = getopt.gnu_getopt(args, "", optnames)
 
513
 
 
514
    if args != []:
 
515
        print >>sys.stderr, "Invalid arguments:", string.join(args, ' ')
 
516
        return 2
 
517
 
 
518
    if opts == []:
 
519
        # Interactive mode. Prompt the user for all the values.
 
520
 
 
521
        print """This tool will create the following files:
 
522
    %s
 
523
    %s
 
524
prompting you for details about your configuration. The file will be
 
525
overwritten if it already exists. It will *not* install or deploy IVLE.
 
526
 
 
527
Please hit Ctrl+C now if you do not wish to do this.
 
528
""" % (conffile, conf_hfile)
 
529
 
 
530
        # Get information from the administrator
 
531
        # If EOF is encountered at any time during the questioning, just exit
 
532
        # silently
 
533
 
 
534
        for opt in config_options:
 
535
            globals()[opt.option_name] = \
 
536
                query_user(globals()[opt.option_name], opt.prompt)
 
537
    else:
 
538
        opts = dict(opts)
 
539
        # Non-interactive mode. Parse the options.
 
540
        for opt in config_options:
 
541
            if '--' + opt.option_name in opts:
 
542
                globals()[opt.option_name] = opts['--' + opt.option_name]
 
543
 
 
544
    # Error handling on input values
 
545
    try:
 
546
        allowed_uids_list = map(int, allowed_uids.split(','))
 
547
    except ValueError:
 
548
        print >>sys.stderr, (
 
549
        "Invalid UID list (%s).\n"
 
550
        "Must be a comma-separated list of integers." % allowed_uids)
 
551
        return 1
 
552
    try:
 
553
        db_port = int(db_port)
 
554
        if db_port < 0 or db_port >= 65536: raise ValueError()
 
555
    except ValueError:
 
556
        print >>sys.stderr, (
 
557
        "Invalid DB port (%s).\n"
 
558
        "Must be an integer between 0 and 65535." % repr(db_port))
 
559
        return 1
 
560
 
 
561
    # Write lib/conf/conf.py
 
562
 
 
563
    try:
 
564
        conf = open(conffile, "w")
 
565
 
 
566
        conf.write("""# IVLE Configuration File
 
567
# conf.py
 
568
# Miscellaneous application settings
 
569
 
 
570
""")
 
571
        for opt in config_options:
 
572
            conf.write('%s\n%s = %s\n' % (opt.comment, opt.option_name,
 
573
                repr(globals()[opt.option_name])))
 
574
 
 
575
        conf.close()
 
576
    except IOError, (errno, strerror):
 
577
        print "IO error(%s): %s" % (errno, strerror)
 
578
        sys.exit(1)
 
579
 
 
580
    print "Successfully wrote lib/conf/conf.py"
 
581
 
 
582
    # Write trampoline/conf.h
 
583
 
 
584
    try:
 
585
        conf = open(conf_hfile, "w")
 
586
 
 
587
        conf.write("""/* IVLE Configuration File
 
588
 * conf.h
 
589
 * Administrator settings required by trampoline.
 
590
 * Note: trampoline will have to be rebuilt in order for changes to this file
 
591
 * to take effect.
 
592
 */
 
593
 
 
594
/* In the local file system, where are the jails located.
 
595
 * The trampoline does not allow the creation of a jail anywhere besides
 
596
 * jail_base or a subdirectory of jail_base.
 
597
 */
 
598
static const char* jail_base = "%s";
 
599
 
 
600
/* Which user IDs are allowed to run the trampoline.
 
601
 * This list should be limited to the web server user.
 
602
 * (Note that root is an implicit member of this list).
 
603
 */
 
604
static const int allowed_uids[] = { %s };
 
605
""" % (jail_base, repr(allowed_uids_list)[1:-1]))
 
606
 
 
607
        conf.close()
 
608
    except IOError, (errno, strerror):
 
609
        print "IO error(%s): %s" % (errno, strerror)
 
610
        sys.exit(1)
 
611
 
 
612
    print "Successfully wrote trampoline/conf.h"
 
613
 
 
614
    print
 
615
    print "You may modify the configuration at any time by editing"
 
616
    print conffile
 
617
    print conf_hfile
 
618
    print
 
619
    return 0
 
620
 
 
621
def build(args):
 
622
    # Get "dry" variable from command line
 
623
    (opts, args) = getopt.gnu_getopt(args, "n", ['dry'])
 
624
    opts = dict(opts)
 
625
    dry = '-n' in opts or '--dry' in opts
 
626
 
 
627
    if dry:
 
628
        print "Dry run (no actions will be executed\n"
 
629
 
 
630
    # Compile the trampoline
 
631
    curdir = os.getcwd()
 
632
    os.chdir('trampoline')
 
633
    action_runprog('make', [], dry)
 
634
    os.chdir(curdir)
 
635
 
 
636
    # Create the jail and its subdirectories
 
637
    # Note: Other subdirs will be made by copying files
 
638
    action_mkdir('jail', dry)
 
639
    action_mkdir('jail/home', dry)
 
640
    action_mkdir('jail/tmp', dry)
 
641
 
 
642
    # Copy all console and operating system files into the jail
 
643
    action_copylist(install_list.list_scripts, 'jail/opt/ivle', dry)
 
644
    copy_os_files_jail(dry)
 
645
    # Chmod the python console
 
646
    action_chmod_x('jail/opt/ivle/scripts/python-console', dry)
 
647
    action_chmod_x('jail/opt/ivle/scripts/fileservice', dry)
 
648
    
 
649
    # Also copy the IVLE lib directory into the jail
 
650
    # This is necessary for running certain scripts
 
651
    action_copylist(install_list.list_lib, 'jail/opt/ivle', dry)
 
652
 
 
653
    # Compile .py files into .pyc or .pyo files
 
654
    compileall.compile_dir('www', quiet=True)
 
655
    compileall.compile_dir('lib', quiet=True)
 
656
    compileall.compile_dir('console', quiet=True)
 
657
    compileall.compile_dir('jail/opt/ivle/lib', quiet=True)
 
658
 
 
659
    # Set up ivle.pth inside the jail
 
660
    # Need to set /opt/ivle/lib to be on the import path
 
661
    ivle_pth = \
 
662
        "jail/usr/lib/python%s/site-packages/ivle.pth" % PYTHON_VERSION
 
663
    f = open(ivle_pth, 'w')
 
664
    f.write('/opt/ivle/lib\n')
 
665
    f.close()
 
666
 
 
667
    return 0
 
668
 
 
669
def copy_os_files_jail(dry):
 
670
    """Copies necessary Operating System files from their usual locations
 
671
    into the jail/ directory of the cwd."""
 
672
    # Currently source paths are configured for Ubuntu.
 
673
    for filename in JAIL_FILES:
 
674
        copy_file_to_jail(filename, dry)
 
675
    for src, dst in JAIL_LINKS.items():
 
676
        action_symlink(src, dst, dry)
 
677
    for src, dst in JAIL_COPYTREES.items():
 
678
        action_copytree(src, dst, dry)
 
679
 
 
680
def copy_file_to_jail(src, dry):
 
681
    """Copies a single file from an absolute location into the same location
 
682
    within the jail. src must begin with a '/'. The jail will be located
 
683
    in a 'jail' subdirectory of the current path."""
 
684
    action_copyfile(src, 'jail' + src, dry)
 
685
 
 
686
def install(args):
 
687
    # Get "dry" and "nojail" variables from command line
 
688
    (opts, args) = getopt.gnu_getopt(args, "n",
 
689
        ['dry', 'nojail', 'nosubjects'])
 
690
    opts = dict(opts)
 
691
    dry = '-n' in opts or '--dry' in opts
 
692
    nojail = '--nojail' in opts
 
693
    nosubjects = '--nosubjects' in opts
 
694
 
 
695
    if dry:
 
696
        print "Dry run (no actions will be executed\n"
 
697
 
 
698
    if not dry and os.geteuid() != 0:
 
699
        print >>sys.stderr, "Must be root to run install"
 
700
        print >>sys.stderr, "(I need to chown some files)."
 
701
        return 1
 
702
 
 
703
    # Create the target (install) directory
 
704
    action_mkdir(ivle_install_dir, dry)
 
705
 
 
706
    # Create bin and copy the compiled files there
 
707
    action_mkdir(os.path.join(ivle_install_dir, 'bin'), dry)
 
708
    tramppath = os.path.join(ivle_install_dir, 'bin/trampoline')
 
709
    action_copyfile('trampoline/trampoline', tramppath, dry)
 
710
    # chown trampoline to root and set setuid bit
 
711
    action_chown_setuid(tramppath, dry)
 
712
 
 
713
    # Copy the www and lib directories using the list
 
714
    action_copylist(install_list.list_www, ivle_install_dir, dry)
 
715
    action_copylist(install_list.list_lib, ivle_install_dir, dry)
 
716
 
 
717
    if not nojail:
 
718
        # Copy the local jail directory built by the build action
 
719
        # to the jails template directory (it will be used as a template
 
720
        # for all the students' jails).
 
721
        action_copytree('jail', os.path.join(jail_base, 'template'), dry)
 
722
    if not nosubjects:
 
723
        # Copy the subjects and problems directories across
 
724
        action_copylist(install_list.list_subjects, subjects_base, dry,
 
725
            srcdir="./subjects")
 
726
        action_copylist(install_list.list_problems, problems_base, dry,
 
727
            srcdir="./problems")
 
728
 
 
729
    # Append IVLE path to ivle.pth in python site packages
 
730
    # (Unless it's already there)
 
731
    ivle_pth = os.path.join(sys.prefix,
 
732
        "lib/python%s/site-packages/ivle.pth" % PYTHON_VERSION)
 
733
    ivle_www = os.path.join(ivle_install_dir, "www")
 
734
    ivle_lib = os.path.join(ivle_install_dir, "lib")
 
735
    write_ivle_pth = True
 
736
    write_ivle_lib_pth = True
 
737
    try:
 
738
        file = open(ivle_pth, 'r')
 
739
        for line in file:
 
740
            if line.strip() == ivle_www:
 
741
                write_ivle_pth = False
 
742
            elif line.strip() == ivle_lib:
 
743
                write_ivle_lib_pth = False
 
744
        file.close()
 
745
    except (IOError, OSError):
 
746
        pass
 
747
    if write_ivle_pth:
 
748
        action_append(ivle_pth, ivle_www)
 
749
    if write_ivle_lib_pth:
 
750
        action_append(ivle_pth, ivle_lib)
 
751
 
 
752
    return 0
 
753
 
 
754
def updatejails(args):
 
755
    # Get "dry" variable from command line
 
756
    (opts, args) = getopt.gnu_getopt(args, "n", ['dry'])
 
757
    opts = dict(opts)
 
758
    dry = '-n' in opts or '--dry' in opts
 
759
 
 
760
    if dry:
 
761
        print "Dry run (no actions will be executed\n"
 
762
 
 
763
    if not dry and os.geteuid() != 0:
 
764
        print >>sys.stderr, "Must be root to run install"
 
765
        print >>sys.stderr, "(I need to chown some files)."
 
766
        return 1
 
767
 
 
768
    # Update the template jail directory in case it hasn't been installed
 
769
    # recently.
 
770
    action_copytree('jail', os.path.join(jail_base, 'template'), dry)
 
771
 
 
772
    # Re-link all the files in all students jails.
 
773
    for dir in os.listdir(jail_base):
 
774
        if dir == 'template': continue
 
775
        # First back up the student's home directory
 
776
        temp_home = os.tmpnam()
 
777
        action_rename(os.path.join(jail_base, dir, 'home'), temp_home, dry)
 
778
        # Delete the student's jail and relink the jail files
 
779
        action_linktree(os.path.join(jail_base, 'template'),
 
780
            os.path.join(jail_base, dir), dry)
 
781
        # Restore the student's home directory
 
782
        action_rename(temp_home, os.path.join(jail_base, dir, 'home'), dry)
 
783
        # Set up the user's home directory just in case they don't have a
 
784
        # directory for this yet
 
785
        action_mkdir(os.path.join(jail_base, dir, 'home', dir), dry)
 
786
 
 
787
    return 0
 
788
 
 
789
# The actions call Python os functions but print actions and handle dryness.
 
790
# May still throw os exceptions if errors occur.
 
791
 
 
792
class RunError:
 
793
    """Represents an error when running a program (nonzero return)."""
 
794
    def __init__(self, prog, retcode):
 
795
        self.prog = prog
 
796
        self.retcode = retcode
 
797
    def __str__(self):
 
798
        return str(self.prog) + " returned " + repr(self.retcode)
 
799
 
 
800
def action_runprog(prog, args, dry):
 
801
    """Runs a unix program. Searches in $PATH. Synchronous (waits for the
 
802
    program to return). Runs in the current environment. First prints the
 
803
    action as a "bash" line.
 
804
 
 
805
    Throws a RunError with a retcode of the return value of the program,
 
806
    if the program did not return 0.
 
807
 
 
808
    prog: String. Name of the program. (No path required, if in $PATH).
 
809
    args: [String]. Arguments to the program.
 
810
    dry: Bool. If True, prints but does not execute.
 
811
    """
 
812
    print prog, string.join(args, ' ')
 
813
    if dry: return
 
814
    ret = os.spawnvp(os.P_WAIT, prog, args)
 
815
    if ret != 0:
 
816
        raise RunError(prog, ret)
 
817
 
 
818
def action_rename(src, dst, dry):
 
819
    """Calls rename. Deletes the target if it already exists."""
 
820
    if os.access(dst, os.F_OK):
 
821
        print "rm -r", dst
 
822
        if not dry:
 
823
            shutil.rmtree(dst, True)
 
824
    print "mv ", src, dst
 
825
    if dry: return
 
826
    try:
 
827
        os.rename(src, dst)
 
828
    except OSError, (err, msg):
 
829
        if err != errno.EEXIST:
 
830
            raise
 
831
 
 
832
def action_mkdir(path, dry):
 
833
    """Calls mkdir. Silently ignored if the directory already exists.
 
834
    Creates all parent directories as necessary."""
 
835
    print "mkdir -p", path
 
836
    if dry: return
 
837
    try:
 
838
        os.makedirs(path)
 
839
    except OSError, (err, msg):
 
840
        if err != errno.EEXIST:
 
841
            raise
 
842
 
 
843
def action_copytree(src, dst, dry):
 
844
    """Copies an entire directory tree. Symlinks are seen as normal files and
 
845
    copies of the entire file (not the link) are made. Creates all parent
 
846
    directories as necessary.
 
847
 
 
848
    See shutil.copytree."""
 
849
    if os.access(dst, os.F_OK):
 
850
        print "rm -r", dst
 
851
        if not dry:
 
852
            shutil.rmtree(dst, True)
 
853
    print "cp -r", src, dst
 
854
    if dry: return
 
855
    shutil.copytree(src, dst, True)
 
856
 
 
857
def action_linktree(src, dst, dry):
 
858
    """Hard-links an entire directory tree. Same as copytree but the created
 
859
    files are hard-links not actual copies. Removes the existing destination.
 
860
    """
 
861
    if os.access(dst, os.F_OK):
 
862
        print "rm -r", dst
 
863
        if not dry:
 
864
            shutil.rmtree(dst, True)
 
865
    print "<cp with hardlinks> -r", src, dst
 
866
    if dry: return
 
867
    common.makeuser.linktree(src, dst)
 
868
 
 
869
def action_copylist(srclist, dst, dry, srcdir="."):
 
870
    """Copies all files in a list to a new location. The files in the list
 
871
    are read relative to the current directory, and their destinations are the
 
872
    same paths relative to dst. Creates all parent directories as necessary.
 
873
    srcdir is "." by default, can be overridden.
 
874
    """
 
875
    for srcfile in srclist:
 
876
        dstfile = os.path.join(dst, srcfile)
 
877
        srcfile = os.path.join(srcdir, srcfile)
 
878
        dstdir = os.path.split(dstfile)[0]
 
879
        if not os.path.isdir(dstdir):
 
880
            action_mkdir(dstdir, dry)
 
881
        print "cp -f", srcfile, dstfile
 
882
        if not dry:
 
883
            try:
 
884
                shutil.copyfile(srcfile, dstfile)
 
885
                shutil.copymode(srcfile, dstfile)
 
886
            except shutil.Error:
 
887
                pass
 
888
 
 
889
def action_copyfile(src, dst, dry):
 
890
    """Copies one file to a new location. Creates all parent directories
 
891
    as necessary.
 
892
    Warn if file not found.
 
893
    """
 
894
    dstdir = os.path.split(dst)[0]
 
895
    if not os.path.isdir(dstdir):
 
896
        action_mkdir(dstdir, dry)
 
897
    print "cp -f", src, dst
 
898
    if not dry:
 
899
        try:
 
900
            shutil.copyfile(src, dst)
 
901
            shutil.copymode(src, dst)
 
902
        except (shutil.Error, IOError), e:
 
903
            print "Warning: " + str(e)
 
904
 
 
905
def action_symlink(src, dst, dry):
 
906
    """Creates a symlink in a given location. Creates all parent directories
 
907
    as necessary.
 
908
    """
 
909
    dstdir = os.path.split(dst)[0]
 
910
    if not os.path.isdir(dstdir):
 
911
        action_mkdir(dstdir, dry)
 
912
    # Delete existing file
 
913
    if os.path.exists(dst):
 
914
        os.remove(dst)
 
915
    print "ln -fs", src, dst
 
916
    if not dry:
 
917
        os.symlink(src, dst)
 
918
 
 
919
def action_append(ivle_pth, ivle_www):
 
920
    file = open(ivle_pth, 'a+')
 
921
    file.write(ivle_www + '\n')
 
922
    file.close()
 
923
 
 
924
def action_chown_setuid(file, dry):
 
925
    """Chowns a file to root, and sets the setuid bit on the file.
 
926
    Calling this function requires the euid to be root.
 
927
    The actual mode of path is set to: rws--s--s
 
928
    """
 
929
    print "chown root:root", file
 
930
    if not dry:
 
931
        os.chown(file, 0, 0)
 
932
    print "chmod a+xs", file
 
933
    print "chmod u+rw", file
 
934
    if not dry:
 
935
        os.chmod(file, stat.S_IXUSR | stat.S_IXGRP | stat.S_IXOTH
 
936
            | stat.S_ISUID | stat.S_IRUSR | stat.S_IWUSR)
 
937
 
 
938
def action_chmod_x(file, dry):
 
939
    """Chmod 755 a file (sets permissions to rwxr-xr-x)."""
 
940
    print "chmod 755", file
 
941
    if not dry:
 
942
        os.chmod(file, stat.S_IXUSR | stat.S_IRUSR | stat.S_IWUSR
 
943
            | stat.S_IXGRP | stat.S_IRGRP | stat.S_IXOTH | stat.S_IROTH)
 
944
 
 
945
def query_user(default, prompt):
 
946
    """Prompts the user for a string, which is read from a line of stdin.
 
947
    Exits silently if EOF is encountered. Returns the string, with spaces
 
948
    removed from the beginning and end.
 
949
 
 
950
    Returns default if a 0-length line (after spaces removed) was read.
 
951
    """
 
952
    sys.stdout.write('%s\n    (default: "%s")\n>' % (prompt, default))
 
953
    try:
 
954
        val = sys.stdin.readline()
 
955
    except KeyboardInterrupt:
 
956
        # Ctrl+C
 
957
        sys.stdout.write("\n")
 
958
        sys.exit(1)
 
959
    sys.stdout.write("\n")
 
960
    # If EOF, exit
 
961
    if val == '': sys.exit(1)
 
962
    # If empty line, return default
 
963
    val = val.strip()
 
964
    if val == '': return default
 
965
    return val
 
966
 
 
967
def filter_mutate(function, list):
 
968
    """Like built-in filter, but mutates the given list instead of returning a
 
969
    new one. Returns None."""
 
970
    i = len(list)-1
 
971
    while i >= 0:
 
972
        # Delete elements which do not match
 
973
        if not function(list[i]):
 
974
            del list[i]
 
975
        i -= 1
87
976
 
88
977
if __name__ == "__main__":
89
978
    sys.exit(main())
90