← Back to branch summary

~azzar1/unity/add-show-desktop-key

« back to all changes in this revision

Viewing changes to setup.py

  • Committer: stevenbird
  • Date: 2008-02-19 09:11:38 UTC
  • Revision ID: svn-v3-trunk0:2b9c9e99-6f39-0410-b283-7f802c844ae2:trunk:511
README-examples:
* documented new functionality for testing exercises

tutorial/__init__.py:
* support for specifying explicit number of rows for a problem textarea

Show diffs side-by-side

added added

removed removed

Lines of Context:
setup.py
31
31
# cutting a distribution, and the listfile it generates should be included in
32
32
# the distribution, avoiding the administrator having to run it.
33
33
 
34
 
# setup.py conf [args]
 
34
# setup.py config [args]
35
35
# Configures IVLE with machine-specific details, most notably, various paths.
36
36
# Either prompts the administrator for these details or accepts them as
37
37
# command-line args.
38
 
# Creates www/conf/conf.py and trampoline/conf.h.
 
38
# Creates lib/conf/conf.py and trampoline/conf.h.
39
39
 
40
40
# setup.py build
41
41
# Compiles all files and sets up a jail template in the source directory.
68
68
import compileall
69
69
import getopt
70
70
 
 
71
# Import modules from the website is tricky since they're in the www
 
72
# directory.
 
73
sys.path.append(os.path.join(os.getcwd(), 'lib'))
 
74
import conf
 
75
import common.makeuser
 
76
 
 
77
# Determine which Python version (2.4 or 2.5, for example) we are running,
 
78
# and use that as the filename to the Python directory.
 
79
# Just get the first 3 characters of sys.version.
 
80
PYTHON_VERSION = sys.version[0:3]
 
81
 
 
82
# Operating system files to copy over into the jail.
 
83
# These will be copied from the given place on the OS file system into the
 
84
# same place within the jail.
 
85
JAIL_FILES = [
 
86
    '/lib/ld-linux.so.2',
 
87
    '/lib/tls/i686/cmov/libc.so.6',
 
88
    '/lib/tls/i686/cmov/libdl.so.2',
 
89
    '/lib/tls/i686/cmov/libm.so.6',
 
90
    '/lib/tls/i686/cmov/libpthread.so.0',
 
91
    '/lib/tls/i686/cmov/libutil.so.1',
 
92
    '/etc/ld.so.conf',
 
93
    '/etc/ld.so.cache',
 
94
    # These 2 files do not exist in Ubuntu
 
95
    #'/etc/ld.so.preload',
 
96
    #'/etc/ld.so.nohwcap',
 
97
    # UNIX commands
 
98
    '/usr/bin/strace',
 
99
    '/bin/ls',
 
100
    '/bin/echo',
 
101
    # Needed by python
 
102
    '/usr/bin/python%s' % PYTHON_VERSION,
 
103
    # Needed by fileservice
 
104
    '/lib/libcom_err.so.2',
 
105
    '/lib/libcrypt.so.1',
 
106
    '/lib/libkeyutils.so.1',
 
107
    '/lib/libresolv.so.2',
 
108
    '/lib/librt.so.1',
 
109
    '/lib/libuuid.so.1',
 
110
    '/usr/lib/libapr-1.so.0',
 
111
    '/usr/lib/libaprutil-1.so.0',
 
112
    '/usr/lib/libdb-4.4.so',
 
113
    '/usr/lib/libexpat.so.1',
 
114
    '/usr/lib/libgcrypt.so.11',
 
115
    '/usr/lib/libgnutls.so.13',
 
116
    '/usr/lib/libgpg-error.so.0',
 
117
    '/usr/lib/libgssapi_krb5.so.2',
 
118
    '/usr/lib/libk5crypto.so.3',
 
119
    '/usr/lib/libkrb5.so.3',
 
120
    '/usr/lib/libkrb5support.so.0',
 
121
    '/usr/lib/liblber.so.2',
 
122
    '/usr/lib/libldap_r.so.2',
 
123
    '/usr/lib/libneon.so.26',
 
124
    '/usr/lib/libpq.so.5',
 
125
    '/usr/lib/libsasl2.so.2',
 
126
    '/usr/lib/libsqlite3.so.0',
 
127
    '/usr/lib/libsvn_client-1.so.1',
 
128
    '/usr/lib/libsvn_delta-1.so.1',
 
129
    '/usr/lib/libsvn_diff-1.so.1',
 
130
    '/usr/lib/libsvn_fs-1.so.1',
 
131
    '/usr/lib/libsvn_fs_base-1.so.1',
 
132
    '/usr/lib/libsvn_fs_fs-1.so.1',
 
133
    '/usr/lib/libsvn_ra-1.so.1',
 
134
    '/usr/lib/libsvn_ra_dav-1.so.1',
 
135
    '/usr/lib/libsvn_ra_local-1.so.1',
 
136
    '/usr/lib/libsvn_ra_svn-1.so.1',
 
137
    '/usr/lib/libsvn_repos-1.so.1',
 
138
    '/usr/lib/libsvn_subr-1.so.1',
 
139
    '/usr/lib/libsvn_wc-1.so.1',
 
140
    '/usr/lib/libtasn1.so.3',
 
141
    '/usr/lib/libxml2.so.2',
 
142
    # Needed by matplotlib
 
143
    '/usr/lib/i686/cmov/libssl.so.0.9.8',
 
144
    '/usr/lib/i686/cmov/libcrypto.so.0.9.8',
 
145
    '/lib/tls/i686/cmov/libnsl.so.1',
 
146
    '/usr/lib/libz.so.1',
 
147
    '/usr/lib/atlas/liblapack.so.3',
 
148
    '/usr/lib/atlas/libblas.so.3',
 
149
    '/usr/lib/libg2c.so.0',
 
150
    '/usr/lib/libstdc++.so.6',
 
151
    '/usr/lib/libfreetype.so.6',
 
152
    '/usr/lib/libpng12.so.0',
 
153
    '/usr/lib/libBLT.2.4.so.8.4',
 
154
    '/usr/lib/libtk8.4.so.0',
 
155
    '/usr/lib/libtcl8.4.so.0',
 
156
    '/usr/lib/tcl8.4/init.tcl',
 
157
    '/usr/lib/libX11.so.6',
 
158
    '/usr/lib/libXau.so.6',
 
159
    '/usr/lib/libXdmcp.so.6',
 
160
    '/lib/libgcc_s.so.1',
 
161
    '/etc/matplotlibrc',
 
162
]
 
163
# Symlinks to make within the jail. Src mapped to dst.
 
164
JAIL_LINKS = {
 
165
    'python%s' % PYTHON_VERSION: 'jail/usr/bin/python',
 
166
}
 
167
# Trees to copy. Src mapped to dst (these will be passed to action_copytree).
 
168
JAIL_COPYTREES = {
 
169
    '/usr/lib/python%s' % PYTHON_VERSION:
 
170
        'jail/usr/lib/python%s' % PYTHON_VERSION,
 
171
    '/usr/share/matplotlib': 'jail/usr/share/matplotlib',
 
172
    '/etc/ld.so.conf.d': 'jail/etc/ld.so.conf.d',
 
173
}
 
174
 
 
175
class ConfigOption:
 
176
    """A configuration option; one of the things written to conf.py."""
 
177
    def __init__(self, option_name, default, prompt, comment):
 
178
        """Creates a configuration option.
 
179
        option_name: Name of the variable in conf.py. Also name of the
 
180
            command-line argument to setup.py conf.
 
181
        default: Default value for this variable.
 
182
        prompt: (Short) string presented during the interactive prompt in
 
183
            setup.py conf.
 
184
        comment: (Long) comment string stored in conf.py. Each line of this
 
185
            string should begin with a '#'.
 
186
        """
 
187
        self.option_name = option_name
 
188
        self.default = default
 
189
        self.prompt = prompt
 
190
        self.comment = comment
 
191
 
 
192
# Configuration options, defaults and descriptions
 
193
config_options = []
 
194
config_options.append(ConfigOption("root_dir", "/",
 
195
    """Root directory where IVLE is located (in URL space):""",
 
196
    """
 
197
# In URL space, where in the site is IVLE located. (All URLs will be prefixed
 
198
# with this).
 
199
# eg. "/" or "/ivle"."""))
 
200
config_options.append(ConfigOption("ivle_install_dir", "/opt/ivle",
 
201
    'Root directory where IVLE will be installed (on the local file '
 
202
    'system):',
 
203
    """
 
204
# In the local file system, where IVLE is actually installed.
 
205
# This directory should contain the "www" and "bin" directories."""))
 
206
config_options.append(ConfigOption("jail_base", "/home/informatics/jails",
 
207
    """Root directory where the jails (containing user files) are stored
 
208
(on the local file system):""",
 
209
    """
 
210
# In the local file system, where are the student/user file spaces located.
 
211
# The user jails are expected to be located immediately in subdirectories of
 
212
# this location."""))
 
213
config_options.append(ConfigOption("subjects_base",
 
214
    "/home/informatics/subjects",
 
215
    """Root directory where the subject directories (containing worksheets
 
216
and other per-subject files) are stored (on the local file system):""",
 
217
    """
 
218
# In the local file system, where are the per-subject file spaces located.
 
219
# The individual subject directories are expected to be located immediately
 
220
# in subdirectories of this location."""))
 
221
config_options.append(ConfigOption("problems_base",
 
222
    "/home/informatics/problems",
 
223
    """Root directory where the problem directories (containing
 
224
subject-independent problem sheets) are stored (on the local file
 
225
system):""",
 
226
    """
 
227
# In the local file system, where are the subject-independent problem sheet
 
228
# file spaces located."""))
 
229
config_options.append(ConfigOption("public_host", "public.localhost",
 
230
    """Hostname which will cause the server to go into "public mode",
 
231
providing login-free access to student's published work:""",
 
232
    """
 
233
# The server goes into "public mode" if the browser sends a request with this
 
234
# host. This is for security reasons - we only serve public student files on a
 
235
# separate domain to the main IVLE site.
 
236
# Public mode does not use cookies, and serves only public content.
 
237
# Private mode (normal mode) requires login, and only serves files relevant to
 
238
# the logged-in user."""))
 
239
config_options.append(ConfigOption("allowed_uids", "33",
 
240
    """UID of the web server process which will run IVLE.
 
241
Only this user may execute the trampoline. May specify multiple users as
 
242
a comma-separated list.
 
243
    (eg. "1002,78")""",
 
244
    """
 
245
# The User-ID of the web server process which will run IVLE, and any other
 
246
# users who are allowed to run the trampoline. This is stores as a string of
 
247
# comma-separated integers, simply because it is not used within Python, only
 
248
# used by the setup program to write to conf.h (see setup.py config)."""))
 
249
config_options.append(ConfigOption("db_host", "localhost",
 
250
    """PostgreSQL Database config
 
251
==========================
 
252
Hostname of the DB server:""",
 
253
    """
 
254
### PostgreSQL Database config ###
 
255
# Database server hostname"""))
 
256
config_options.append(ConfigOption("db_port", "5432",
 
257
    """Port of the DB server:""",
 
258
    """
 
259
# Database server port"""))
 
260
config_options.append(ConfigOption("db_dbname", "ivle",
 
261
    """Database name:""",
 
262
    """
 
263
# Database name"""))
 
264
config_options.append(ConfigOption("db_user", "postgres",
 
265
    """Username for DB server login:""",
 
266
    """
 
267
# Database username"""))
 
268
config_options.append(ConfigOption("db_password", "",
 
269
    """Password for DB server login:
 
270
    (Caution: This password is stored in plaintext in lib/conf/conf.py)""",
 
271
    """
 
272
# Database password"""))
 
273
 
 
274
config_options.append(ConfigOption("ldap_url", "ldaps://www.example.com",
 
275
    """URL for LDAP authentication server:""",
 
276
    """
 
277
# URL for LDAP authentication server"""))
 
278
config_options.append(ConfigOption("ldap_format_string",
 
279
    "uid=%s,ou=users,o=example",
 
280
    """Format string for LDAP auth request:
 
281
    (Must contain a single "%s" for the user's login name)""",
 
282
    """
 
283
# Format string for LDAP auth request
 
284
# (Must contain a single "%s" for the user's login name)"""))
 
285
 
 
286
config_options.append(ConfigOption("svn_conf", "/opt/ivle/svn/svn.conf",
 
287
    """The location of the subversion configuration file used by apache
 
288
to host the user repositories:""",
 
289
    """
 
290
# The location of the subversion configuration file used by
 
291
# apache to host the user repositories."""))
 
292
config_options.append(ConfigOption("svn_repo_path", "/home/informatics/repositories",
 
293
    """The root directory for the subversion repositories:""",
 
294
    """
 
295
# The root directory for the subversion repositories."""))
 
296
config_options.append(ConfigOption("svn_auth_ivle", "/opt/ivle/svn/ivle.auth",
 
297
    """The location of the password file used to authenticate users
 
298
of the subversion repository from the ivle server:""",
 
299
    """
 
300
# The location of the password file used to authenticate users
 
301
# of the subversion repository from the ivle server."""))
 
302
config_options.append(ConfigOption("svn_auth_local", "/opt/ivle/svn/local.auth",
 
303
    """The location of the password file used to authenticate local users
 
304
of the subversion repository:""",
 
305
    """
 
306
# The location of the password file used to authenticate local users
 
307
# of the subversion repository."""))
 
308
config_options.append(ConfigOption("usrmgt_host", "localhost",
 
309
    """The hostname where the usrmgt-server runs:""",
 
310
    """
 
311
# The hostname where the usrmgt-server runs."""))
 
312
config_options.append(ConfigOption("usrmgt_port", "2178",
 
313
    """The port where the usrmgt-server runs:""",
 
314
    """
 
315
# The port where the usrmgt-server runs."""))
 
316
config_options.append(ConfigOption("usrmgt_magic", "",
 
317
    """The password for the usrmgt-server:""",
 
318
    """
 
319
# The password for the usrmgt-server."""))
 
320
 
71
321
# Try importing existing conf, but if we can't just set up defaults
72
322
# The reason for this is that these settings are used by other phases
73
323
# of setup besides conf, so we need to know them.
74
324
# Also this allows you to hit Return to accept the existing value.
75
325
try:
76
 
    confmodule = __import__("www/conf/conf")
77
 
    root_dir = confmodule.root_dir
78
 
    ivle_install_dir = confmodule.ivle_install_dir
79
 
    jail_base = confmodule.jail_base
 
326
    confmodule = __import__("lib/conf/conf")
 
327
    for opt in config_options:
 
328
        try:
 
329
            globals()[opt.option_name] = confmodule.__dict__[opt.option_name]
 
330
        except:
 
331
            globals()[opt.option_name] = opt.default
80
332
except ImportError:
81
333
    # Just set reasonable defaults
82
 
    root_dir = "/ivle"
83
 
    ivle_install_dir = "/opt/ivle"
84
 
    jail_base = "/home/informatics/jails"
85
 
# Always defaults
86
 
allowed_uids = "0"
 
334
    for opt in config_options:
 
335
        globals()[opt.option_name] = opt.default
87
336
 
88
337
# Try importing install_list, but don't fail if we can't, because listmake can
89
338
# function without it.
98
347
# as necessary, and include it in the distribution.
99
348
listmake_mimetypes = ['text/x-python', 'text/html',
100
349
    'application/x-javascript', 'application/javascript',
101
 
    'text/css', 'image/png']
 
350
    'text/css', 'image/png', 'application/xml']
102
351
 
103
352
# Main function skeleton from Guido van Rossum
104
353
# http://www.artima.com/weblogs/viewpost.jsp?thread=4829
127
376
        return 1
128
377
 
129
378
    # Disallow run as root unless installing
130
 
    if operation != 'install' and os.geteuid() == 0:
 
379
    if (operation != 'install' and operation != 'updatejails'
 
380
        and os.geteuid() == 0):
131
381
        print >>sys.stderr, "I do not want to run this stage as root."
132
382
        print >>sys.stderr, "Please run as a normal user."
133
383
        return 1
135
385
    try:
136
386
        oper_func = {
137
387
            'help' : help,
138
 
            'conf' : conf,
 
388
            'config' : conf,
139
389
            'build' : build,
140
390
            'listmake' : listmake,
141
391
            'install' : install,
 
392
            'updatejails' : updatejails,
142
393
        }[operation]
143
394
    except KeyError:
144
395
        print >>sys.stderr, (
155
406
Operation (and args) can be:
156
407
    help [operation]
157
408
    listmake (developer use only)
158
 
    conf [args]
 
409
    config [args]
159
410
    build
160
 
    install [--nojail] [-n|--dry]
 
411
    install [--nojail] [--nosubjects] [-n|--dry]
161
412
"""
162
413
        return 1
163
414
    elif len(args) != 1:
176
427
be copied upon installation. This should be run by the developer before
177
428
cutting a distribution, and the listfile it generates should be included in
178
429
the distribution, avoiding the administrator having to run it."""
179
 
    elif operation == 'conf':
180
 
        print """python setup.py conf [args]
 
430
    elif operation == 'config':
 
431
        print """python setup.py config [args]
181
432
Configures IVLE with machine-specific details, most notably, various paths.
182
433
Either prompts the administrator for these details or accepts them as
183
434
command-line args. Will be interactive only if there are no arguments given.
187
438
to rebuild/install), just provide ivle_install_dir as the IVLE trunk
188
439
directory, and run build/install one time.
189
440
 
190
 
Creates www/conf/conf.py and trampoline/conf.h.
 
441
Creates lib/conf/conf.py and trampoline/conf.h.
191
442
 
192
 
Args are:
193
 
    --root_dir
194
 
    --ivle_install_dir
195
 
    --jail_base
196
 
    --allowed_uids
197
 
As explained in the interactive prompt or conf.py.
 
443
Args are:"""
 
444
        for opt in config_options:
 
445
            print "    --" + opt.option_name
 
446
        print """As explained in the interactive prompt or conf.py.
198
447
"""
199
448
    elif operation == 'build':
200
449
        print """python -O setup.py build [--dry|-n]
211
460
 
212
461
--dry | -n  Print out the actions but don't do anything."""
213
462
    elif operation == 'install':
214
 
        print """sudo python setup.py install [--nojail] [--dry|-n]
 
463
        print """sudo python setup.py install [--nojail] [--nosubjects][--dry|-n]
215
464
(Requires root)
216
465
Create target install directory ($target).
217
466
Create $target/bin.
219
468
chown and chmod the installed trampoline.
220
469
Copy www/ to $target.
221
470
Copy jail/ to jails template directory (unless --nojail specified).
222
 
 
223
 
--nojail    Do not copy the jail.
 
471
Copy subjects/ to subjects directory (unless --nosubjects specified).
 
472
 
 
473
--nojail        Do not copy the jail.
 
474
--nosubjects    Do not copy the subjects and problems directories.
 
475
--dry | -n  Print out the actions but don't do anything."""
 
476
    elif operation == 'updatejails':
 
477
        print """sudo python setup.py updatejails [--dry|-n]
 
478
(Requires root)
 
479
Copy jail/ to each subdirectory in jails directory.
 
480
 
224
481
--dry | -n  Print out the actions but don't do anything."""
225
482
    else:
226
483
        print >>sys.stderr, (
231
488
def listmake(args):
232
489
    # We build two separate lists, by walking www and console
233
490
    list_www = build_list_py_files('www')
234
 
    list_console = build_list_py_files('console')
 
491
    list_lib = build_list_py_files('lib')
 
492
    list_subjects = build_list_py_files('subjects', no_top_level=True)
 
493
    list_problems = build_list_py_files('problems', no_top_level=True)
 
494
    list_scripts = [
 
495
        "scripts/python-console",
 
496
        "scripts/fileservice",
 
497
        "scripts/usrmgt-server",
 
498
    ]
235
499
    # Make sure that the files generated by conf are in the list
236
500
    # (since listmake is typically run before conf)
237
 
    if "www/conf/conf.py" not in list_www:
238
 
        list_www.append("www/conf/conf.py")
239
 
    # Make sure that console/python-console is in the list
240
 
    if "console/python-console" not in list_console:
241
 
        list_console.append("console/python-console")
 
501
    if "lib/conf/conf.py" not in list_lib:
 
502
        list_lib.append("lib/conf/conf.py")
242
503
    # Write these out to a file
243
504
    cwd = os.getcwd()
244
505
    # the files that will be created/overwritten
258
519
list_www = """)
259
520
        writelist_pretty(file, list_www)
260
521
        file.write("""
261
 
# List of all installable files in console directory.
262
 
list_console = """)
263
 
        writelist_pretty(file, list_console)
 
522
# List of all installable files in lib directory.
 
523
list_lib = """)
 
524
        writelist_pretty(file, list_lib)
 
525
        file.write("""
 
526
# List of all installable files in scripts directory.
 
527
list_scripts = """)
 
528
        writelist_pretty(file, list_scripts)
 
529
        file.write("""
 
530
# List of all installable files in subjects directory.
 
531
# This is to install sample subjects and material.
 
532
list_subjects = """)
 
533
        writelist_pretty(file, list_subjects)
 
534
        file.write("""
 
535
# List of all installable files in problems directory.
 
536
# This is to install sample exercise material.
 
537
list_problems = """)
 
538
        writelist_pretty(file, list_problems)
264
539
 
265
540
        file.close()
266
541
    except IOError, (errno, strerror):
277
552
 
278
553
    return 0
279
554
 
280
 
def build_list_py_files(dir):
 
555
def build_list_py_files(dir, no_top_level=False):
281
556
    """Builds a list of all py files found in a directory and its
282
 
    subdirectories. Returns this as a list of strings."""
 
557
    subdirectories. Returns this as a list of strings.
 
558
    no_top_level=True means the file paths will not include the top-level
 
559
    directory.
 
560
    """
283
561
    pylist = []
284
562
    for (dirpath, dirnames, filenames) in os.walk(dir):
285
563
        # Exclude directories beginning with a '.' (such as '.svn')
287
565
        # All *.py files are added to the list
288
566
        pylist += [os.path.join(dirpath, item) for item in filenames
289
567
            if mimetypes.guess_type(item)[0] in listmake_mimetypes]
 
568
    if no_top_level:
 
569
        for i in range(0, len(pylist)):
 
570
            _, pylist[i] = pylist[i].split(os.sep, 1)
290
571
    return pylist
291
572
 
292
573
def writelist_pretty(file, list):
300
581
        file.write(']\n')
301
582
 
302
583
def conf(args):
303
 
    global root_dir, ivle_install_dir, jail_base, allowed_uids
 
584
    global db_port, usrmgt_port
304
585
    # Set up some variables
305
586
 
306
587
    cwd = os.getcwd()
307
588
    # the files that will be created/overwritten
308
 
    conffile = os.path.join(cwd, "www/conf/conf.py")
 
589
    conffile = os.path.join(cwd, "lib/conf/conf.py")
 
590
    jailconffile = os.path.join(cwd, "lib/conf/jailconf.py")
309
591
    conf_hfile = os.path.join(cwd, "trampoline/conf.h")
310
592
 
311
 
    # Fixed config options that we don't ask the admin
312
 
    default_app = "dummy"
313
 
 
314
593
    # Get command-line arguments to avoid asking questions.
315
594
 
316
 
    (opts, args) = getopt.gnu_getopt(args, "", ['root_dir=',
317
 
                    'ivle_install_dir=', 'jail_base=', 'allowed_uids='])
 
595
    optnames = []
 
596
    for opt in config_options:
 
597
        optnames.append(opt.option_name + "=")
 
598
    (opts, args) = getopt.gnu_getopt(args, "", optnames)
318
599
 
319
600
    if args != []:
320
601
        print >>sys.stderr, "Invalid arguments:", string.join(args, ' ')
326
607
        print """This tool will create the following files:
327
608
    %s
328
609
    %s
 
610
    %s
329
611
prompting you for details about your configuration. The file will be
330
612
overwritten if it already exists. It will *not* install or deploy IVLE.
331
613
 
332
614
Please hit Ctrl+C now if you do not wish to do this.
333
 
""" % (conffile, conf_hfile)
 
615
""" % (conffile, jailconffile, conf_hfile)
334
616
 
335
617
        # Get information from the administrator
336
618
        # If EOF is encountered at any time during the questioning, just exit
337
619
        # silently
338
620
 
339
 
        root_dir = query_user(root_dir,
340
 
        """Root directory where IVLE is located (in URL space):""")
341
 
        ivle_install_dir = query_user(ivle_install_dir,
342
 
        'Root directory where IVLE will be installed (on the local file '
343
 
        'system):')
344
 
        jail_base = query_user(jail_base,
345
 
        """Root directory where the jails (containing user files) are stored
346
 
(on the local file system):""")
347
 
        allowed_uids = query_user(allowed_uids,
348
 
        """UID of the web server process which will run IVLE.
349
 
Only this user may execute the trampoline. May specify multiple users as
350
 
a comma-separated list.
351
 
    (eg. "1002,78")""")
352
 
 
 
621
        for opt in config_options:
 
622
            globals()[opt.option_name] = \
 
623
                query_user(globals()[opt.option_name], opt.prompt)
353
624
    else:
354
625
        opts = dict(opts)
355
626
        # Non-interactive mode. Parse the options.
356
 
        if '--root_dir' in opts:
357
 
            root_dir = opts['--root_dir']
358
 
        if '--ivle_install_dir' in opts:
359
 
            ivle_install_dir = opts['--ivle_install_dir']
360
 
        if '--jail_base' in opts:
361
 
            jail_base = opts['--jail_base']
362
 
        if '--allowed_uids' in opts:
363
 
            allowed_uids = opts['--allowed_uids']
 
627
        for opt in config_options:
 
628
            if '--' + opt.option_name in opts:
 
629
                globals()[opt.option_name] = opts['--' + opt.option_name]
364
630
 
365
631
    # Error handling on input values
366
632
    try:
367
 
        allowed_uids = map(int, allowed_uids.split(','))
 
633
        allowed_uids_list = map(int, allowed_uids.split(','))
368
634
    except ValueError:
369
635
        print >>sys.stderr, (
370
636
        "Invalid UID list (%s).\n"
371
637
        "Must be a comma-separated list of integers." % allowed_uids)
372
638
        return 1
 
639
    try:
 
640
        db_port = int(db_port)
 
641
        if db_port < 0 or db_port >= 65536: raise ValueError()
 
642
    except ValueError:
 
643
        print >>sys.stderr, (
 
644
        "Invalid DB port (%s).\n"
 
645
        "Must be an integer between 0 and 65535." % repr(db_port))
 
646
        return 1
 
647
    try:
 
648
        usrmgt_port = int(usrmgt_port)
 
649
        if usrmgt_port < 0 or usrmgt_port >= 65536: raise ValueError()
 
650
    except ValueError:
 
651
        print >>sys.stderr, (
 
652
        "Invalid user management port (%s).\n"
 
653
        "Must be an integer between 0 and 65535." % repr(usrmgt_port))
 
654
        return 1
373
655
 
374
 
    # Write www/conf/conf.py
 
656
    # Write lib/conf/conf.py
375
657
 
376
658
    try:
377
659
        conf = open(conffile, "w")
380
662
# conf.py
381
663
# Miscellaneous application settings
382
664
 
 
665
""")
 
666
        for opt in config_options:
 
667
            conf.write('%s\n%s = %s\n' % (opt.comment, opt.option_name,
 
668
                repr(globals()[opt.option_name])))
 
669
 
 
670
        conf.close()
 
671
    except IOError, (errno, strerror):
 
672
        print "IO error(%s): %s" % (errno, strerror)
 
673
        sys.exit(1)
 
674
 
 
675
    print "Successfully wrote lib/conf/conf.py"
 
676
 
 
677
    # Write conf/jailconf.py
 
678
 
 
679
    try:
 
680
        conf = open(jailconffile, "w")
 
681
 
 
682
        # In the "in-jail" version of conf, we don't need MOST of the details
 
683
        # (it would be a security risk to have them here).
 
684
        # So we just write root_dir, and jail_base is "/".
 
685
        # (jail_base being "/" means "jail-relative" paths are relative to "/"
 
686
        # when inside the jail.)
 
687
        conf.write("""# IVLE Configuration File
 
688
# conf.py
 
689
# Miscellaneous application settings
 
690
# (User jail version)
 
691
 
383
692
 
384
693
# In URL space, where in the site is IVLE located. (All URLs will be prefixed
385
694
# with this).
386
695
# eg. "/" or "/ivle".
387
 
root_dir = "%s"
388
 
 
389
 
# In the local file system, where IVLE is actually installed.
390
 
# This directory should contain the "www" and "bin" directories.
391
 
ivle_install_dir = "%s"
 
696
root_dir = %s
392
697
 
393
698
# In the local file system, where are the student/user file spaces located.
394
699
# The user jails are expected to be located immediately in subdirectories of
395
700
# this location.
396
 
jail_base = "%s"
 
701
jail_base = '/'
397
702
 
398
 
# Which application to load by default (if the user navigates to the top level
399
 
# of the site). This is the app's URL name.
400
 
# Note that if this app requires authentication, the user will first be
401
 
# presented with the login screen.
402
 
default_app = "%s"
403
 
""" % (root_dir, ivle_install_dir, jail_base, default_app))
 
703
# The hostname for serving publicly accessible pages
 
704
public_host = %s
 
705
""" % (repr(root_dir),repr(public_host)))
404
706
 
405
707
        conf.close()
406
708
    except IOError, (errno, strerror):
407
709
        print "IO error(%s): %s" % (errno, strerror)
408
710
        sys.exit(1)
409
711
 
410
 
    print "Successfully wrote www/conf/conf.py"
 
712
    print "Successfully wrote lib/conf/jailconf.py"
411
713
 
412
714
    # Write trampoline/conf.h
413
715
 
432
734
 * (Note that root is an implicit member of this list).
433
735
 */
434
736
static const int allowed_uids[] = { %s };
435
 
""" % (jail_base, repr(allowed_uids)[1:-1]))
 
737
""" % (repr(jail_base)[1:-1], repr(allowed_uids_list)[1:-1]))
 
738
    # Note: The above uses PYTHON reprs, not C reprs
 
739
    # However they should be the same with the exception of the outer
 
740
    # characters, which are stripped off and replaced
436
741
 
437
742
        conf.close()
438
743
    except IOError, (errno, strerror):
444
749
    print
445
750
    print "You may modify the configuration at any time by editing"
446
751
    print conffile
 
752
    print jailconffile
447
753
    print conf_hfile
448
754
    print
449
755
    return 0
458
764
        print "Dry run (no actions will be executed\n"
459
765
 
460
766
    # Compile the trampoline
461
 
    action_runprog('gcc', ['-Wall', '-o', 'trampoline/trampoline',
462
 
        'trampoline/trampoline.c'], dry)
 
767
    curdir = os.getcwd()
 
768
    os.chdir('trampoline')
 
769
    action_runprog('make', [], dry)
 
770
    os.chdir(curdir)
463
771
 
464
772
    # Create the jail and its subdirectories
465
773
    # Note: Other subdirs will be made by copying files
468
776
    action_mkdir('jail/tmp', dry)
469
777
 
470
778
    # Copy all console and operating system files into the jail
471
 
    action_copylist(install_list.list_console, 'jail/opt/ivle', dry)
 
779
    action_copylist(install_list.list_scripts, 'jail/opt/ivle', dry)
472
780
    copy_os_files_jail(dry)
 
781
    # Chmod the python console
 
782
    action_chmod_x('jail/opt/ivle/scripts/python-console', dry)
 
783
    action_chmod_x('jail/opt/ivle/scripts/fileservice', dry)
 
784
    
 
785
    # Also copy the IVLE lib directory into the jail
 
786
    # This is necessary for running certain scripts
 
787
    action_copylist(install_list.list_lib, 'jail/opt/ivle', dry)
 
788
    # IMPORTANT: The file jail/opt/ivle/lib/conf/conf.py contains details
 
789
    # which could compromise security if left in the jail (such as the DB
 
790
    # password).
 
791
    # The "safe" version is in jailconf.py. Delete conf.py and replace it with
 
792
    # jailconf.py.
 
793
    action_copyfile('lib/conf/jailconf.py',
 
794
        'jail/opt/ivle/lib/conf/conf.py', dry)
473
795
 
474
796
    # Compile .py files into .pyc or .pyo files
475
797
    compileall.compile_dir('www', quiet=True)
476
 
    compileall.compile_dir('console', quiet=True)
 
798
    compileall.compile_dir('lib', quiet=True)
 
799
    compileall.compile_dir('scripts', quiet=True)
 
800
    compileall.compile_dir('jail/opt/ivle/lib', quiet=True)
 
801
 
 
802
    # Set up ivle.pth inside the jail
 
803
    # Need to set /opt/ivle/lib to be on the import path
 
804
    ivle_pth = \
 
805
        "jail/usr/lib/python%s/site-packages/ivle.pth" % PYTHON_VERSION
 
806
    f = open(ivle_pth, 'w')
 
807
    f.write('/opt/ivle/lib\n')
 
808
    f.close()
477
809
 
478
810
    return 0
479
811
 
481
813
    """Copies necessary Operating System files from their usual locations
482
814
    into the jail/ directory of the cwd."""
483
815
    # Currently source paths are configured for Ubuntu.
484
 
    copy_file_to_jail('/lib/ld-linux.so.2', dry)
485
 
    copy_file_to_jail('/lib/tls/i686/cmov/libc.so.6', dry)
486
 
    copy_file_to_jail('/lib/tls/i686/cmov/libdl.so.2', dry)
487
 
    copy_file_to_jail('/lib/tls/i686/cmov/libm.so.6', dry)
488
 
    copy_file_to_jail('/lib/tls/i686/cmov/libpthread.so.0', dry)
489
 
    copy_file_to_jail('/lib/tls/i686/cmov/libutil.so.1', dry)
490
 
    copy_file_to_jail('/usr/bin/python2.5', dry)
491
 
    action_symlink('python2.5', 'jail/usr/bin/python', dry)
492
 
    action_copytree('/usr/lib/python2.5', 'jail/usr/lib/python2.5', dry)
 
816
    for filename in JAIL_FILES:
 
817
        copy_file_to_jail(filename, dry)
 
818
    for src, dst in JAIL_LINKS.items():
 
819
        action_symlink(src, dst, dry)
 
820
    for src, dst in JAIL_COPYTREES.items():
 
821
        action_copytree(src, dst, dry)
493
822
 
494
823
def copy_file_to_jail(src, dry):
495
824
    """Copies a single file from an absolute location into the same location
499
828
 
500
829
def install(args):
501
830
    # Get "dry" and "nojail" variables from command line
502
 
    (opts, args) = getopt.gnu_getopt(args, "n", ['dry', 'nojail'])
 
831
    (opts, args) = getopt.gnu_getopt(args, "n",
 
832
        ['dry', 'nojail', 'nosubjects'])
503
833
    opts = dict(opts)
504
834
    dry = '-n' in opts or '--dry' in opts
505
835
    nojail = '--nojail' in opts
 
836
    nosubjects = '--nosubjects' in opts
506
837
 
507
838
    if dry:
508
839
        print "Dry run (no actions will be executed\n"
522
853
    # chown trampoline to root and set setuid bit
523
854
    action_chown_setuid(tramppath, dry)
524
855
 
525
 
    # Copy the www directory using the list
 
856
    # Copy the www and lib directories using the list
526
857
    action_copylist(install_list.list_www, ivle_install_dir, dry)
 
858
    action_copylist(install_list.list_lib, ivle_install_dir, dry)
527
859
 
528
860
    if not nojail:
529
861
        # Copy the local jail directory built by the build action
530
862
        # to the jails template directory (it will be used as a template
531
863
        # for all the students' jails).
532
864
        action_copytree('jail', os.path.join(jail_base, 'template'), dry)
 
865
    if not nosubjects:
 
866
        # Copy the subjects and problems directories across
 
867
        action_copylist(install_list.list_subjects, subjects_base, dry,
 
868
            srcdir="./subjects")
 
869
        action_copylist(install_list.list_problems, problems_base, dry,
 
870
            srcdir="./problems")
 
871
 
 
872
    # Append IVLE path to ivle.pth in python site packages
 
873
    # (Unless it's already there)
 
874
    ivle_pth = os.path.join(sys.prefix,
 
875
        "lib/python%s/site-packages/ivle.pth" % PYTHON_VERSION)
 
876
    ivle_www = os.path.join(ivle_install_dir, "www")
 
877
    ivle_lib = os.path.join(ivle_install_dir, "lib")
 
878
    write_ivle_pth = True
 
879
    write_ivle_lib_pth = True
 
880
    try:
 
881
        file = open(ivle_pth, 'r')
 
882
        for line in file:
 
883
            if line.strip() == ivle_www:
 
884
                write_ivle_pth = False
 
885
            elif line.strip() == ivle_lib:
 
886
                write_ivle_lib_pth = False
 
887
        file.close()
 
888
    except (IOError, OSError):
 
889
        pass
 
890
    if write_ivle_pth:
 
891
        action_append(ivle_pth, ivle_www)
 
892
    if write_ivle_lib_pth:
 
893
        action_append(ivle_pth, ivle_lib)
 
894
 
 
895
    return 0
 
896
 
 
897
def updatejails(args):
 
898
    # Get "dry" variable from command line
 
899
    (opts, args) = getopt.gnu_getopt(args, "n", ['dry'])
 
900
    opts = dict(opts)
 
901
    dry = '-n' in opts or '--dry' in opts
 
902
 
 
903
    if dry:
 
904
        print "Dry run (no actions will be executed\n"
 
905
 
 
906
    if not dry and os.geteuid() != 0:
 
907
        print >>sys.stderr, "Must be root to run install"
 
908
        print >>sys.stderr, "(I need to chown some files)."
 
909
        return 1
 
910
 
 
911
    # Update the template jail directory in case it hasn't been installed
 
912
    # recently.
 
913
    action_copytree('jail', os.path.join(jail_base, 'template'), dry)
 
914
 
 
915
    # Re-link all the files in all students jails.
 
916
    for dir in os.listdir(jail_base):
 
917
        if dir == 'template': continue
 
918
        # First back up the student's home directory
 
919
        temp_home = os.tmpnam()
 
920
        action_rename(os.path.join(jail_base, dir, 'home'), temp_home, dry)
 
921
        # Delete the student's jail and relink the jail files
 
922
        action_linktree(os.path.join(jail_base, 'template'),
 
923
            os.path.join(jail_base, dir), dry)
 
924
        # Restore the student's home directory
 
925
        action_rename(temp_home, os.path.join(jail_base, dir, 'home'), dry)
 
926
        # Set up the user's home directory just in case they don't have a
 
927
        # directory for this yet
 
928
        action_mkdir(os.path.join(jail_base, dir, 'home', dir), dry)
533
929
 
534
930
    return 0
535
931
 
562
958
    if ret != 0:
563
959
        raise RunError(prog, ret)
564
960
 
 
961
def action_remove(path, dry):
 
962
    """Calls rmtree, deleting the target file if it exists."""
 
963
    try:
 
964
        print "rm -r", path
 
965
        if not dry:
 
966
            shutil.rmtree(path, True)
 
967
    except OSError, (err, msg):
 
968
        if err != errno.EEXIST:
 
969
            raise
 
970
        # Otherwise, didn't exist, so we don't care
 
971
 
 
972
def action_rename(src, dst, dry):
 
973
    """Calls rename. Deletes the target if it already exists."""
 
974
    action_remove(dst, dry)
 
975
    print "mv ", src, dst
 
976
    if dry: return
 
977
    try:
 
978
        os.rename(src, dst)
 
979
    except OSError, (err, msg):
 
980
        if err != errno.EEXIST:
 
981
            raise
 
982
 
565
983
def action_mkdir(path, dry):
566
984
    """Calls mkdir. Silently ignored if the directory already exists.
567
985
    Creates all parent directories as necessary."""
579
997
    directories as necessary.
580
998
 
581
999
    See shutil.copytree."""
582
 
    if os.access(dst, os.F_OK):
583
 
        print "rm -r", dst
584
 
        if not dry:
585
 
            shutil.rmtree(dst, True)
 
1000
    action_remove(dst, dry)
586
1001
    print "cp -r", src, dst
587
1002
    if dry: return
588
1003
    shutil.copytree(src, dst, True)
589
1004
 
590
 
def action_copylist(srclist, dst, dry):
 
1005
def action_linktree(src, dst, dry):
 
1006
    """Hard-links an entire directory tree. Same as copytree but the created
 
1007
    files are hard-links not actual copies. Removes the existing destination.
 
1008
    """
 
1009
    action_remove(dst, dry)
 
1010
    print "<cp with hardlinks> -r", src, dst
 
1011
    if dry: return
 
1012
    common.makeuser.linktree(src, dst)
 
1013
 
 
1014
def action_copylist(srclist, dst, dry, srcdir="."):
591
1015
    """Copies all files in a list to a new location. The files in the list
592
1016
    are read relative to the current directory, and their destinations are the
593
1017
    same paths relative to dst. Creates all parent directories as necessary.
 
1018
    srcdir is "." by default, can be overridden.
594
1019
    """
595
1020
    for srcfile in srclist:
596
1021
        dstfile = os.path.join(dst, srcfile)
 
1022
        srcfile = os.path.join(srcdir, srcfile)
597
1023
        dstdir = os.path.split(dstfile)[0]
598
1024
        if not os.path.isdir(dstdir):
599
1025
            action_mkdir(dstdir, dry)
608
1034
def action_copyfile(src, dst, dry):
609
1035
    """Copies one file to a new location. Creates all parent directories
610
1036
    as necessary.
 
1037
    Warn if file not found.
611
1038
    """
612
1039
    dstdir = os.path.split(dst)[0]
613
1040
    if not os.path.isdir(dstdir):
617
1044
        try:
618
1045
            shutil.copyfile(src, dst)
619
1046
            shutil.copymode(src, dst)
620
 
        except shutil.Error:
621
 
            pass
 
1047
        except (shutil.Error, IOError), e:
 
1048
            print "Warning: " + str(e)
622
1049
 
623
1050
def action_symlink(src, dst, dry):
624
1051
    """Creates a symlink in a given location. Creates all parent directories
634
1061
    if not dry:
635
1062
        os.symlink(src, dst)
636
1063
 
 
1064
def action_append(ivle_pth, ivle_www):
 
1065
    file = open(ivle_pth, 'a+')
 
1066
    file.write(ivle_www + '\n')
 
1067
    file.close()
 
1068
 
637
1069
def action_chown_setuid(file, dry):
638
1070
    """Chowns a file to root, and sets the setuid bit on the file.
639
1071
    Calling this function requires the euid to be root.
648
1080
        os.chmod(file, stat.S_IXUSR | stat.S_IXGRP | stat.S_IXOTH
649
1081
            | stat.S_ISUID | stat.S_IRUSR | stat.S_IWUSR)
650
1082
 
 
1083
def action_chmod_x(file, dry):
 
1084
    """Chmod 755 a file (sets permissions to rwxr-xr-x)."""
 
1085
    print "chmod 755", file
 
1086
    if not dry:
 
1087
        os.chmod(file, stat.S_IXUSR | stat.S_IRUSR | stat.S_IWUSR
 
1088
            | stat.S_IXGRP | stat.S_IRGRP | stat.S_IXOTH | stat.S_IROTH)
 
1089
 
651
1090
def query_user(default, prompt):
652
1091
    """Prompts the user for a string, which is read from a line of stdin.
653
1092
    Exits silently if EOF is encountered. Returns the string, with spaces