← Back to branch summary

~azzar1/unity/add-show-desktop-key

« back to all changes in this revision

Viewing changes to setup.py

  • Committer: dcoles
  • Date: 2008-02-20 01:12:43 UTC
  • Revision ID: svn-v3-trunk0:2b9c9e99-6f39-0410-b283-7f802c844ae2:trunk:520
forum: Fixed setup.py to include forum files in install, disabled 
reauthentication for admin control panel (lets admin users log in as they have 
no valid password hash) and updated install procedure

Show diffs side-by-side

added added

removed removed

Lines of Context:
setup.py
31
31
# cutting a distribution, and the listfile it generates should be included in
32
32
# the distribution, avoiding the administrator having to run it.
33
33
 
34
 
# setup.py conf [args]
 
34
# setup.py config [args]
35
35
# Configures IVLE with machine-specific details, most notably, various paths.
36
36
# Either prompts the administrator for these details or accepts them as
37
37
# command-line args.
38
 
# Creates www/conf/conf.py and trampoline/conf.h.
 
38
# Creates lib/conf/conf.py and trampoline/conf.h.
39
39
 
40
40
# setup.py build
41
41
# Compiles all files and sets up a jail template in the source directory.
68
68
import compileall
69
69
import getopt
70
70
 
 
71
# Import modules from the website is tricky since they're in the www
 
72
# directory.
 
73
sys.path.append(os.path.join(os.getcwd(), 'lib'))
 
74
import conf
 
75
import common.makeuser
 
76
 
 
77
# Determine which Python version (2.4 or 2.5, for example) we are running,
 
78
# and use that as the filename to the Python directory.
 
79
# Just get the first 3 characters of sys.version.
 
80
PYTHON_VERSION = sys.version[0:3]
 
81
 
 
82
# Operating system files to copy over into the jail.
 
83
# These will be copied from the given place on the OS file system into the
 
84
# same place within the jail.
 
85
JAIL_FILES = [
 
86
    '/lib/ld-linux.so.2',
 
87
    '/lib/tls/i686/cmov/libc.so.6',
 
88
    '/lib/tls/i686/cmov/libdl.so.2',
 
89
    '/lib/tls/i686/cmov/libm.so.6',
 
90
    '/lib/tls/i686/cmov/libpthread.so.0',
 
91
    '/lib/tls/i686/cmov/libutil.so.1',
 
92
    '/etc/ld.so.conf',
 
93
    '/etc/ld.so.cache',
 
94
    # These 2 files do not exist in Ubuntu
 
95
    #'/etc/ld.so.preload',
 
96
    #'/etc/ld.so.nohwcap',
 
97
    # UNIX commands
 
98
    '/usr/bin/strace',
 
99
    '/bin/ls',
 
100
    '/bin/echo',
 
101
    # Needed by python
 
102
    '/usr/bin/python%s' % PYTHON_VERSION,
 
103
    # Needed by fileservice
 
104
    '/lib/libcom_err.so.2',
 
105
    '/lib/libcrypt.so.1',
 
106
    '/lib/libkeyutils.so.1',
 
107
    '/lib/libresolv.so.2',
 
108
    '/lib/librt.so.1',
 
109
    '/lib/libuuid.so.1',
 
110
    '/usr/lib/libapr-1.so.0',
 
111
    '/usr/lib/libaprutil-1.so.0',
 
112
    '/usr/lib/libdb-4.4.so',
 
113
    '/usr/lib/libexpat.so.1',
 
114
    '/usr/lib/libgcrypt.so.11',
 
115
    '/usr/lib/libgnutls.so.13',
 
116
    '/usr/lib/libgpg-error.so.0',
 
117
    '/usr/lib/libgssapi_krb5.so.2',
 
118
    '/usr/lib/libk5crypto.so.3',
 
119
    '/usr/lib/libkrb5.so.3',
 
120
    '/usr/lib/libkrb5support.so.0',
 
121
    '/usr/lib/liblber.so.2',
 
122
    '/usr/lib/libldap_r.so.2',
 
123
    '/usr/lib/libneon.so.26',
 
124
    '/usr/lib/libpq.so.5',
 
125
    '/usr/lib/libsasl2.so.2',
 
126
    '/usr/lib/libsqlite3.so.0',
 
127
    '/usr/lib/libsvn_client-1.so.1',
 
128
    '/usr/lib/libsvn_delta-1.so.1',
 
129
    '/usr/lib/libsvn_diff-1.so.1',
 
130
    '/usr/lib/libsvn_fs-1.so.1',
 
131
    '/usr/lib/libsvn_fs_base-1.so.1',
 
132
    '/usr/lib/libsvn_fs_fs-1.so.1',
 
133
    '/usr/lib/libsvn_ra-1.so.1',
 
134
    '/usr/lib/libsvn_ra_dav-1.so.1',
 
135
    '/usr/lib/libsvn_ra_local-1.so.1',
 
136
    '/usr/lib/libsvn_ra_svn-1.so.1',
 
137
    '/usr/lib/libsvn_repos-1.so.1',
 
138
    '/usr/lib/libsvn_subr-1.so.1',
 
139
    '/usr/lib/libsvn_wc-1.so.1',
 
140
    '/usr/lib/libtasn1.so.3',
 
141
    '/usr/lib/libxml2.so.2',
 
142
    # Needed by matplotlib
 
143
    '/usr/lib/i686/cmov/libssl.so.0.9.8',
 
144
    '/usr/lib/i686/cmov/libcrypto.so.0.9.8',
 
145
    '/lib/tls/i686/cmov/libnsl.so.1',
 
146
    '/usr/lib/libz.so.1',
 
147
    '/usr/lib/atlas/liblapack.so.3',
 
148
    '/usr/lib/atlas/libblas.so.3',
 
149
    '/usr/lib/libg2c.so.0',
 
150
    '/usr/lib/libstdc++.so.6',
 
151
    '/usr/lib/libfreetype.so.6',
 
152
    '/usr/lib/libpng12.so.0',
 
153
    '/usr/lib/libBLT.2.4.so.8.4',
 
154
    '/usr/lib/libtk8.4.so.0',
 
155
    '/usr/lib/libtcl8.4.so.0',
 
156
    '/usr/lib/tcl8.4/init.tcl',
 
157
    '/usr/lib/libX11.so.6',
 
158
    '/usr/lib/libXau.so.6',
 
159
    '/usr/lib/libXdmcp.so.6',
 
160
    '/lib/libgcc_s.so.1',
 
161
    '/etc/matplotlibrc',
 
162
]
 
163
# Symlinks to make within the jail. Src mapped to dst.
 
164
JAIL_LINKS = {
 
165
    'python%s' % PYTHON_VERSION: 'jail/usr/bin/python',
 
166
}
 
167
# Trees to copy. Src mapped to dst (these will be passed to action_copytree).
 
168
JAIL_COPYTREES = {
 
169
    '/usr/lib/python%s' % PYTHON_VERSION:
 
170
        'jail/usr/lib/python%s' % PYTHON_VERSION,
 
171
    '/usr/share/matplotlib': 'jail/usr/share/matplotlib',
 
172
    '/etc/ld.so.conf.d': 'jail/etc/ld.so.conf.d',
 
173
}
 
174
 
 
175
class ConfigOption:
 
176
    """A configuration option; one of the things written to conf.py."""
 
177
    def __init__(self, option_name, default, prompt, comment):
 
178
        """Creates a configuration option.
 
179
        option_name: Name of the variable in conf.py. Also name of the
 
180
            command-line argument to setup.py conf.
 
181
        default: Default value for this variable.
 
182
        prompt: (Short) string presented during the interactive prompt in
 
183
            setup.py conf.
 
184
        comment: (Long) comment string stored in conf.py. Each line of this
 
185
            string should begin with a '#'.
 
186
        """
 
187
        self.option_name = option_name
 
188
        self.default = default
 
189
        self.prompt = prompt
 
190
        self.comment = comment
 
191
 
 
192
# Configuration options, defaults and descriptions
 
193
config_options = []
 
194
config_options.append(ConfigOption("root_dir", "/",
 
195
    """Root directory where IVLE is located (in URL space):""",
 
196
    """
 
197
# In URL space, where in the site is IVLE located. (All URLs will be prefixed
 
198
# with this).
 
199
# eg. "/" or "/ivle"."""))
 
200
config_options.append(ConfigOption("ivle_install_dir", "/opt/ivle",
 
201
    'Root directory where IVLE will be installed (on the local file '
 
202
    'system):',
 
203
    """
 
204
# In the local file system, where IVLE is actually installed.
 
205
# This directory should contain the "www" and "bin" directories."""))
 
206
config_options.append(ConfigOption("jail_base", "/home/informatics/jails",
 
207
    """Root directory where the jails (containing user files) are stored
 
208
(on the local file system):""",
 
209
    """
 
210
# In the local file system, where are the student/user file spaces located.
 
211
# The user jails are expected to be located immediately in subdirectories of
 
212
# this location."""))
 
213
config_options.append(ConfigOption("subjects_base",
 
214
    "/home/informatics/subjects",
 
215
    """Root directory where the subject directories (containing worksheets
 
216
and other per-subject files) are stored (on the local file system):""",
 
217
    """
 
218
# In the local file system, where are the per-subject file spaces located.
 
219
# The individual subject directories are expected to be located immediately
 
220
# in subdirectories of this location."""))
 
221
config_options.append(ConfigOption("exercises_base",
 
222
    "/home/informatics/exercises",
 
223
    """Root directory where the exercise directories (containing
 
224
subject-independent exercise sheets) are stored (on the local file
 
225
system):""",
 
226
    """
 
227
# In the local file system, where are the subject-independent exercise sheet
 
228
# file spaces located."""))
 
229
config_options.append(ConfigOption("public_host", "public.localhost",
 
230
    """Hostname which will cause the server to go into "public mode",
 
231
providing login-free access to student's published work:""",
 
232
    """
 
233
# The server goes into "public mode" if the browser sends a request with this
 
234
# host. This is for security reasons - we only serve public student files on a
 
235
# separate domain to the main IVLE site.
 
236
# Public mode does not use cookies, and serves only public content.
 
237
# Private mode (normal mode) requires login, and only serves files relevant to
 
238
# the logged-in user."""))
 
239
config_options.append(ConfigOption("allowed_uids", "33",
 
240
    """UID of the web server process which will run IVLE.
 
241
Only this user may execute the trampoline. May specify multiple users as
 
242
a comma-separated list.
 
243
    (eg. "1002,78")""",
 
244
    """
 
245
# The User-ID of the web server process which will run IVLE, and any other
 
246
# users who are allowed to run the trampoline. This is stores as a string of
 
247
# comma-separated integers, simply because it is not used within Python, only
 
248
# used by the setup program to write to conf.h (see setup.py config)."""))
 
249
config_options.append(ConfigOption("db_host", "localhost",
 
250
    """PostgreSQL Database config
 
251
==========================
 
252
Hostname of the DB server:""",
 
253
    """
 
254
### PostgreSQL Database config ###
 
255
# Database server hostname"""))
 
256
config_options.append(ConfigOption("db_port", "5432",
 
257
    """Port of the DB server:""",
 
258
    """
 
259
# Database server port"""))
 
260
config_options.append(ConfigOption("db_dbname", "ivle",
 
261
    """Database name:""",
 
262
    """
 
263
# Database name"""))
 
264
config_options.append(ConfigOption("db_user", "postgres",
 
265
    """Username for DB server login:""",
 
266
    """
 
267
# Database username"""))
 
268
config_options.append(ConfigOption("db_password", "",
 
269
    """Password for DB server login:
 
270
    (Caution: This password is stored in plaintext in lib/conf/conf.py)""",
 
271
    """
 
272
# Database password"""))
 
273
 
 
274
config_options.append(ConfigOption("ldap_url", "ldaps://www.example.com",
 
275
    """URL for LDAP authentication server:""",
 
276
    """
 
277
# URL for LDAP authentication server"""))
 
278
config_options.append(ConfigOption("ldap_format_string",
 
279
    "uid=%s,ou=users,o=example",
 
280
    """Format string for LDAP auth request:
 
281
    (Must contain a single "%s" for the user's login name)""",
 
282
    """
 
283
# Format string for LDAP auth request
 
284
# (Must contain a single "%s" for the user's login name)"""))
 
285
 
 
286
config_options.append(ConfigOption("svn_conf", "/opt/ivle/svn/svn.conf",
 
287
    """The location of the subversion configuration file used by apache
 
288
to host the user repositories:""",
 
289
    """
 
290
# The location of the subversion configuration file used by
 
291
# apache to host the user repositories."""))
 
292
config_options.append(ConfigOption("svn_repo_path", "/home/informatics/repositories",
 
293
    """The root directory for the subversion repositories:""",
 
294
    """
 
295
# The root directory for the subversion repositories."""))
 
296
config_options.append(ConfigOption("svn_auth_ivle", "/opt/ivle/svn/ivle.auth",
 
297
    """The location of the password file used to authenticate users
 
298
of the subversion repository from the ivle server:""",
 
299
    """
 
300
# The location of the password file used to authenticate users
 
301
# of the subversion repository from the ivle server."""))
 
302
config_options.append(ConfigOption("svn_auth_local", "/opt/ivle/svn/local.auth",
 
303
    """The location of the password file used to authenticate local users
 
304
of the subversion repository:""",
 
305
    """
 
306
# The location of the password file used to authenticate local users
 
307
# of the subversion repository."""))
 
308
config_options.append(ConfigOption("usrmgt_host", "localhost",
 
309
    """The hostname where the usrmgt-server runs:""",
 
310
    """
 
311
# The hostname where the usrmgt-server runs."""))
 
312
config_options.append(ConfigOption("usrmgt_port", "2178",
 
313
    """The port where the usrmgt-server runs:""",
 
314
    """
 
315
# The port where the usrmgt-server runs."""))
 
316
config_options.append(ConfigOption("usrmgt_magic", "",
 
317
    """The password for the usrmgt-server:""",
 
318
    """
 
319
# The password for the usrmgt-server."""))
 
320
 
71
321
# Try importing existing conf, but if we can't just set up defaults
72
322
# The reason for this is that these settings are used by other phases
73
323
# of setup besides conf, so we need to know them.
74
324
# Also this allows you to hit Return to accept the existing value.
75
325
try:
76
 
    confmodule = __import__("www/conf/conf")
77
 
    try:
78
 
        root_dir = confmodule.root_dir
79
 
    except:
80
 
        root_dir = "/ivle"
81
 
    try:
82
 
        ivle_install_dir = confmodule.ivle_install_dir
83
 
    except:
84
 
        ivle_install_dir = "/opt/ivle"
85
 
    try:
86
 
        jail_base = confmodule.jail_base
87
 
    except:
88
 
        jail_base = "/home/informatics/jails"
 
326
    confmodule = __import__("lib/conf/conf")
 
327
    for opt in config_options:
 
328
        try:
 
329
            globals()[opt.option_name] = confmodule.__dict__[opt.option_name]
 
330
        except:
 
331
            globals()[opt.option_name] = opt.default
89
332
except ImportError:
90
333
    # Just set reasonable defaults
91
 
    root_dir = "/ivle"
92
 
    ivle_install_dir = "/opt/ivle"
93
 
    jail_base = "/home/informatics/jails"
94
 
# Always defaults
95
 
allowed_uids = "0"
 
334
    for opt in config_options:
 
335
        globals()[opt.option_name] = opt.default
96
336
 
97
337
# Try importing install_list, but don't fail if we can't, because listmake can
98
338
# function without it.
107
347
# as necessary, and include it in the distribution.
108
348
listmake_mimetypes = ['text/x-python', 'text/html',
109
349
    'application/x-javascript', 'application/javascript',
110
 
    'text/css', 'image/png']
 
350
    'text/css', 'image/png', 'image/gif', 'image/jpeg', 'application/xml', 
 
351
    'application/x-httpd-php']
111
352
 
112
353
# Main function skeleton from Guido van Rossum
113
354
# http://www.artima.com/weblogs/viewpost.jsp?thread=4829
136
377
        return 1
137
378
 
138
379
    # Disallow run as root unless installing
139
 
    if operation != 'install' and os.geteuid() == 0:
 
380
    if (operation != 'install' and operation != 'updatejails'
 
381
        and os.geteuid() == 0):
140
382
        print >>sys.stderr, "I do not want to run this stage as root."
141
383
        print >>sys.stderr, "Please run as a normal user."
142
384
        return 1
144
386
    try:
145
387
        oper_func = {
146
388
            'help' : help,
147
 
            'conf' : conf,
 
389
            'config' : conf,
148
390
            'build' : build,
149
391
            'listmake' : listmake,
150
392
            'install' : install,
 
393
            'updatejails' : updatejails,
151
394
        }[operation]
152
395
    except KeyError:
153
396
        print >>sys.stderr, (
164
407
Operation (and args) can be:
165
408
    help [operation]
166
409
    listmake (developer use only)
167
 
    conf [args]
 
410
    config [args]
168
411
    build
169
 
    install [--nojail] [-n|--dry]
 
412
    install [--nojail] [--nosubjects] [-n|--dry]
170
413
"""
171
414
        return 1
172
415
    elif len(args) != 1:
185
428
be copied upon installation. This should be run by the developer before
186
429
cutting a distribution, and the listfile it generates should be included in
187
430
the distribution, avoiding the administrator having to run it."""
188
 
    elif operation == 'conf':
189
 
        print """python setup.py conf [args]
 
431
    elif operation == 'config':
 
432
        print """python setup.py config [args]
190
433
Configures IVLE with machine-specific details, most notably, various paths.
191
434
Either prompts the administrator for these details or accepts them as
192
435
command-line args. Will be interactive only if there are no arguments given.
196
439
to rebuild/install), just provide ivle_install_dir as the IVLE trunk
197
440
directory, and run build/install one time.
198
441
 
199
 
Creates www/conf/conf.py and trampoline/conf.h.
 
442
Creates lib/conf/conf.py and trampoline/conf.h.
200
443
 
201
 
Args are:
202
 
    --root_dir
203
 
    --ivle_install_dir
204
 
    --jail_base
205
 
    --allowed_uids
206
 
As explained in the interactive prompt or conf.py.
 
444
Args are:"""
 
445
        for opt in config_options:
 
446
            print "    --" + opt.option_name
 
447
        print """As explained in the interactive prompt or conf.py.
207
448
"""
208
449
    elif operation == 'build':
209
450
        print """python -O setup.py build [--dry|-n]
220
461
 
221
462
--dry | -n  Print out the actions but don't do anything."""
222
463
    elif operation == 'install':
223
 
        print """sudo python setup.py install [--nojail] [--dry|-n]
 
464
        print """sudo python setup.py install [--nojail] [--nosubjects][--dry|-n]
224
465
(Requires root)
225
466
Create target install directory ($target).
226
467
Create $target/bin.
228
469
chown and chmod the installed trampoline.
229
470
Copy www/ to $target.
230
471
Copy jail/ to jails template directory (unless --nojail specified).
231
 
 
232
 
--nojail    Do not copy the jail.
 
472
Copy subjects/ to subjects directory (unless --nosubjects specified).
 
473
 
 
474
--nojail        Do not copy the jail.
 
475
--nosubjects    Do not copy the subjects and exercises directories.
 
476
--dry | -n  Print out the actions but don't do anything."""
 
477
    elif operation == 'updatejails':
 
478
        print """sudo python setup.py updatejails [--dry|-n]
 
479
(Requires root)
 
480
Copy jail/ to each subdirectory in jails directory.
 
481
 
233
482
--dry | -n  Print out the actions but don't do anything."""
234
483
    else:
235
484
        print >>sys.stderr, (
240
489
def listmake(args):
241
490
    # We build two separate lists, by walking www and console
242
491
    list_www = build_list_py_files('www')
243
 
    list_console = build_list_py_files('console')
 
492
    list_lib = build_list_py_files('lib')
 
493
    list_subjects = build_list_py_files('subjects', no_top_level=True)
 
494
    list_exercises = build_list_py_files('exercises', no_top_level=True)
 
495
    list_scripts = [
 
496
        "scripts/python-console",
 
497
        "scripts/fileservice",
 
498
        "scripts/usrmgt-server",
 
499
    ]
244
500
    # Make sure that the files generated by conf are in the list
245
501
    # (since listmake is typically run before conf)
246
 
    if "www/conf/conf.py" not in list_www:
247
 
        list_www.append("www/conf/conf.py")
248
 
    # Make sure that console/python-console is in the list
249
 
    if "console/python-console" not in list_console:
250
 
        list_console.append("console/python-console")
 
502
    if "lib/conf/conf.py" not in list_lib:
 
503
        list_lib.append("lib/conf/conf.py")
251
504
    # Write these out to a file
252
505
    cwd = os.getcwd()
253
506
    # the files that will be created/overwritten
267
520
list_www = """)
268
521
        writelist_pretty(file, list_www)
269
522
        file.write("""
270
 
# List of all installable files in console directory.
271
 
list_console = """)
272
 
        writelist_pretty(file, list_console)
 
523
# List of all installable files in lib directory.
 
524
list_lib = """)
 
525
        writelist_pretty(file, list_lib)
 
526
        file.write("""
 
527
# List of all installable files in scripts directory.
 
528
list_scripts = """)
 
529
        writelist_pretty(file, list_scripts)
 
530
        file.write("""
 
531
# List of all installable files in subjects directory.
 
532
# This is to install sample subjects and material.
 
533
list_subjects = """)
 
534
        writelist_pretty(file, list_subjects)
 
535
        file.write("""
 
536
# List of all installable files in exercises directory.
 
537
# This is to install sample exercise material.
 
538
list_exercises = """)
 
539
        writelist_pretty(file, list_exercises)
273
540
 
274
541
        file.close()
275
542
    except IOError, (errno, strerror):
286
553
 
287
554
    return 0
288
555
 
289
 
def build_list_py_files(dir):
 
556
def build_list_py_files(dir, no_top_level=False):
290
557
    """Builds a list of all py files found in a directory and its
291
 
    subdirectories. Returns this as a list of strings."""
 
558
    subdirectories. Returns this as a list of strings.
 
559
    no_top_level=True means the file paths will not include the top-level
 
560
    directory.
 
561
    """
292
562
    pylist = []
293
563
    for (dirpath, dirnames, filenames) in os.walk(dir):
294
564
        # Exclude directories beginning with a '.' (such as '.svn')
296
566
        # All *.py files are added to the list
297
567
        pylist += [os.path.join(dirpath, item) for item in filenames
298
568
            if mimetypes.guess_type(item)[0] in listmake_mimetypes]
 
569
    if no_top_level:
 
570
        for i in range(0, len(pylist)):
 
571
            _, pylist[i] = pylist[i].split(os.sep, 1)
299
572
    return pylist
300
573
 
301
574
def writelist_pretty(file, list):
309
582
        file.write(']\n')
310
583
 
311
584
def conf(args):
312
 
    global root_dir, ivle_install_dir, jail_base, allowed_uids
 
585
    global db_port, usrmgt_port
313
586
    # Set up some variables
314
587
 
315
588
    cwd = os.getcwd()
316
589
    # the files that will be created/overwritten
317
 
    conffile = os.path.join(cwd, "www/conf/conf.py")
 
590
    conffile = os.path.join(cwd, "lib/conf/conf.py")
 
591
    jailconffile = os.path.join(cwd, "lib/conf/jailconf.py")
318
592
    conf_hfile = os.path.join(cwd, "trampoline/conf.h")
319
593
 
320
594
    # Get command-line arguments to avoid asking questions.
321
595
 
322
 
    (opts, args) = getopt.gnu_getopt(args, "", ['root_dir=',
323
 
                    'ivle_install_dir=', 'jail_base=', 'allowed_uids='])
 
596
    optnames = []
 
597
    for opt in config_options:
 
598
        optnames.append(opt.option_name + "=")
 
599
    (opts, args) = getopt.gnu_getopt(args, "", optnames)
324
600
 
325
601
    if args != []:
326
602
        print >>sys.stderr, "Invalid arguments:", string.join(args, ' ')
332
608
        print """This tool will create the following files:
333
609
    %s
334
610
    %s
 
611
    %s
335
612
prompting you for details about your configuration. The file will be
336
613
overwritten if it already exists. It will *not* install or deploy IVLE.
337
614
 
338
615
Please hit Ctrl+C now if you do not wish to do this.
339
 
""" % (conffile, conf_hfile)
 
616
""" % (conffile, jailconffile, conf_hfile)
340
617
 
341
618
        # Get information from the administrator
342
619
        # If EOF is encountered at any time during the questioning, just exit
343
620
        # silently
344
621
 
345
 
        root_dir = query_user(root_dir,
346
 
        """Root directory where IVLE is located (in URL space):""")
347
 
        ivle_install_dir = query_user(ivle_install_dir,
348
 
        'Root directory where IVLE will be installed (on the local file '
349
 
        'system):')
350
 
        jail_base = query_user(jail_base,
351
 
        """Root directory where the jails (containing user files) are stored
352
 
(on the local file system):""")
353
 
        allowed_uids = query_user(allowed_uids,
354
 
        """UID of the web server process which will run IVLE.
355
 
Only this user may execute the trampoline. May specify multiple users as
356
 
a comma-separated list.
357
 
    (eg. "1002,78")""")
358
 
 
 
622
        for opt in config_options:
 
623
            globals()[opt.option_name] = \
 
624
                query_user(globals()[opt.option_name], opt.prompt)
359
625
    else:
360
626
        opts = dict(opts)
361
627
        # Non-interactive mode. Parse the options.
362
 
        if '--root_dir' in opts:
363
 
            root_dir = opts['--root_dir']
364
 
        if '--ivle_install_dir' in opts:
365
 
            ivle_install_dir = opts['--ivle_install_dir']
366
 
        if '--jail_base' in opts:
367
 
            jail_base = opts['--jail_base']
368
 
        if '--allowed_uids' in opts:
369
 
            allowed_uids = opts['--allowed_uids']
 
628
        for opt in config_options:
 
629
            if '--' + opt.option_name in opts:
 
630
                globals()[opt.option_name] = opts['--' + opt.option_name]
370
631
 
371
632
    # Error handling on input values
372
633
    try:
373
 
        allowed_uids = map(int, allowed_uids.split(','))
 
634
        allowed_uids_list = map(int, allowed_uids.split(','))
374
635
    except ValueError:
375
636
        print >>sys.stderr, (
376
637
        "Invalid UID list (%s).\n"
377
638
        "Must be a comma-separated list of integers." % allowed_uids)
378
639
        return 1
 
640
    try:
 
641
        db_port = int(db_port)
 
642
        if db_port < 0 or db_port >= 65536: raise ValueError()
 
643
    except ValueError:
 
644
        print >>sys.stderr, (
 
645
        "Invalid DB port (%s).\n"
 
646
        "Must be an integer between 0 and 65535." % repr(db_port))
 
647
        return 1
 
648
    try:
 
649
        usrmgt_port = int(usrmgt_port)
 
650
        if usrmgt_port < 0 or usrmgt_port >= 65536: raise ValueError()
 
651
    except ValueError:
 
652
        print >>sys.stderr, (
 
653
        "Invalid user management port (%s).\n"
 
654
        "Must be an integer between 0 and 65535." % repr(usrmgt_port))
 
655
        return 1
379
656
 
380
 
    # Write www/conf/conf.py
 
657
    # Write lib/conf/conf.py
381
658
 
382
659
    try:
383
660
        conf = open(conffile, "w")
386
663
# conf.py
387
664
# Miscellaneous application settings
388
665
 
 
666
""")
 
667
        for opt in config_options:
 
668
            conf.write('%s\n%s = %s\n' % (opt.comment, opt.option_name,
 
669
                repr(globals()[opt.option_name])))
 
670
 
 
671
        conf.close()
 
672
    except IOError, (errno, strerror):
 
673
        print "IO error(%s): %s" % (errno, strerror)
 
674
        sys.exit(1)
 
675
 
 
676
    print "Successfully wrote lib/conf/conf.py"
 
677
 
 
678
    # Write conf/jailconf.py
 
679
 
 
680
    try:
 
681
        conf = open(jailconffile, "w")
 
682
 
 
683
        # In the "in-jail" version of conf, we don't need MOST of the details
 
684
        # (it would be a security risk to have them here).
 
685
        # So we just write root_dir, and jail_base is "/".
 
686
        # (jail_base being "/" means "jail-relative" paths are relative to "/"
 
687
        # when inside the jail.)
 
688
        conf.write("""# IVLE Configuration File
 
689
# conf.py
 
690
# Miscellaneous application settings
 
691
# (User jail version)
 
692
 
389
693
 
390
694
# In URL space, where in the site is IVLE located. (All URLs will be prefixed
391
695
# with this).
392
696
# eg. "/" or "/ivle".
393
 
root_dir = "%s"
394
 
 
395
 
# In the local file system, where IVLE is actually installed.
396
 
# This directory should contain the "www" and "bin" directories.
397
 
ivle_install_dir = "%s"
 
697
root_dir = %s
398
698
 
399
699
# In the local file system, where are the student/user file spaces located.
400
700
# The user jails are expected to be located immediately in subdirectories of
401
701
# this location.
402
 
jail_base = "%s"
403
 
""" % (root_dir, ivle_install_dir, jail_base))
 
702
jail_base = '/'
 
703
 
 
704
# The hostname for serving publicly accessible pages
 
705
public_host = %s
 
706
""" % (repr(root_dir),repr(public_host)))
404
707
 
405
708
        conf.close()
406
709
    except IOError, (errno, strerror):
407
710
        print "IO error(%s): %s" % (errno, strerror)
408
711
        sys.exit(1)
409
712
 
410
 
    print "Successfully wrote www/conf/conf.py"
 
713
    print "Successfully wrote lib/conf/jailconf.py"
411
714
 
412
715
    # Write trampoline/conf.h
413
716
 
432
735
 * (Note that root is an implicit member of this list).
433
736
 */
434
737
static const int allowed_uids[] = { %s };
435
 
""" % (jail_base, repr(allowed_uids)[1:-1]))
 
738
""" % (repr(jail_base)[1:-1], repr(allowed_uids_list)[1:-1]))
 
739
    # Note: The above uses PYTHON reprs, not C reprs
 
740
    # However they should be the same with the exception of the outer
 
741
    # characters, which are stripped off and replaced
436
742
 
437
743
        conf.close()
438
744
    except IOError, (errno, strerror):
444
750
    print
445
751
    print "You may modify the configuration at any time by editing"
446
752
    print conffile
 
753
    print jailconffile
447
754
    print conf_hfile
448
755
    print
449
756
    return 0
458
765
        print "Dry run (no actions will be executed\n"
459
766
 
460
767
    # Compile the trampoline
461
 
    action_runprog('gcc', ['-Wall', '-o', 'trampoline/trampoline',
462
 
        'trampoline/trampoline.c'], dry)
 
768
    curdir = os.getcwd()
 
769
    os.chdir('trampoline')
 
770
    action_runprog('make', [], dry)
 
771
    os.chdir(curdir)
463
772
 
464
773
    # Create the jail and its subdirectories
465
774
    # Note: Other subdirs will be made by copying files
468
777
    action_mkdir('jail/tmp', dry)
469
778
 
470
779
    # Copy all console and operating system files into the jail
471
 
    action_copylist(install_list.list_console, 'jail/opt/ivle', dry)
 
780
    action_copylist(install_list.list_scripts, 'jail/opt/ivle', dry)
472
781
    copy_os_files_jail(dry)
 
782
    # Chmod the python console
 
783
    action_chmod_x('jail/opt/ivle/scripts/python-console', dry)
 
784
    action_chmod_x('jail/opt/ivle/scripts/fileservice', dry)
 
785
    
 
786
    # Also copy the IVLE lib directory into the jail
 
787
    # This is necessary for running certain scripts
 
788
    action_copylist(install_list.list_lib, 'jail/opt/ivle', dry)
 
789
    # IMPORTANT: The file jail/opt/ivle/lib/conf/conf.py contains details
 
790
    # which could compromise security if left in the jail (such as the DB
 
791
    # password).
 
792
    # The "safe" version is in jailconf.py. Delete conf.py and replace it with
 
793
    # jailconf.py.
 
794
    action_copyfile('lib/conf/jailconf.py',
 
795
        'jail/opt/ivle/lib/conf/conf.py', dry)
473
796
 
474
797
    # Compile .py files into .pyc or .pyo files
475
798
    compileall.compile_dir('www', quiet=True)
476
 
    compileall.compile_dir('console', quiet=True)
 
799
    compileall.compile_dir('lib', quiet=True)
 
800
    compileall.compile_dir('scripts', quiet=True)
 
801
    compileall.compile_dir('jail/opt/ivle/lib', quiet=True)
 
802
 
 
803
    # Set up ivle.pth inside the jail
 
804
    # Need to set /opt/ivle/lib to be on the import path
 
805
    ivle_pth = \
 
806
        "jail/usr/lib/python%s/site-packages/ivle.pth" % PYTHON_VERSION
 
807
    f = open(ivle_pth, 'w')
 
808
    f.write('/opt/ivle/lib\n')
 
809
    f.close()
477
810
 
478
811
    return 0
479
812
 
481
814
    """Copies necessary Operating System files from their usual locations
482
815
    into the jail/ directory of the cwd."""
483
816
    # Currently source paths are configured for Ubuntu.
484
 
    copy_file_to_jail('/lib/ld-linux.so.2', dry)
485
 
    copy_file_to_jail('/lib/tls/i686/cmov/libc.so.6', dry)
486
 
    copy_file_to_jail('/lib/tls/i686/cmov/libdl.so.2', dry)
487
 
    copy_file_to_jail('/lib/tls/i686/cmov/libm.so.6', dry)
488
 
    copy_file_to_jail('/lib/tls/i686/cmov/libpthread.so.0', dry)
489
 
    copy_file_to_jail('/lib/tls/i686/cmov/libutil.so.1', dry)
490
 
    copy_file_to_jail('/usr/bin/python2.5', dry)
491
 
    action_symlink('python2.5', 'jail/usr/bin/python', dry)
492
 
    action_copytree('/usr/lib/python2.5', 'jail/usr/lib/python2.5', dry)
 
817
    for filename in JAIL_FILES:
 
818
        copy_file_to_jail(filename, dry)
 
819
    for src, dst in JAIL_LINKS.items():
 
820
        action_symlink(src, dst, dry)
 
821
    for src, dst in JAIL_COPYTREES.items():
 
822
        action_copytree(src, dst, dry)
493
823
 
494
824
def copy_file_to_jail(src, dry):
495
825
    """Copies a single file from an absolute location into the same location
499
829
 
500
830
def install(args):
501
831
    # Get "dry" and "nojail" variables from command line
502
 
    (opts, args) = getopt.gnu_getopt(args, "n", ['dry', 'nojail'])
 
832
    (opts, args) = getopt.gnu_getopt(args, "n",
 
833
        ['dry', 'nojail', 'nosubjects'])
503
834
    opts = dict(opts)
504
835
    dry = '-n' in opts or '--dry' in opts
505
836
    nojail = '--nojail' in opts
 
837
    nosubjects = '--nosubjects' in opts
506
838
 
507
839
    if dry:
508
840
        print "Dry run (no actions will be executed\n"
522
854
    # chown trampoline to root and set setuid bit
523
855
    action_chown_setuid(tramppath, dry)
524
856
 
525
 
    # Copy the www directory using the list
 
857
    # Copy the www and lib directories using the list
526
858
    action_copylist(install_list.list_www, ivle_install_dir, dry)
 
859
    action_copylist(install_list.list_lib, ivle_install_dir, dry)
527
860
 
528
861
    if not nojail:
529
862
        # Copy the local jail directory built by the build action
530
863
        # to the jails template directory (it will be used as a template
531
864
        # for all the students' jails).
532
865
        action_copytree('jail', os.path.join(jail_base, 'template'), dry)
 
866
    if not nosubjects:
 
867
        # Copy the subjects and exercises directories across
 
868
        action_copylist(install_list.list_subjects, subjects_base, dry,
 
869
            srcdir="./subjects")
 
870
        action_copylist(install_list.list_exercises, exercises_base, dry,
 
871
            srcdir="./exercises")
 
872
 
 
873
    # Append IVLE path to ivle.pth in python site packages
 
874
    # (Unless it's already there)
 
875
    ivle_pth = os.path.join(sys.prefix,
 
876
        "lib/python%s/site-packages/ivle.pth" % PYTHON_VERSION)
 
877
    ivle_www = os.path.join(ivle_install_dir, "www")
 
878
    ivle_lib = os.path.join(ivle_install_dir, "lib")
 
879
    write_ivle_pth = True
 
880
    write_ivle_lib_pth = True
 
881
    try:
 
882
        file = open(ivle_pth, 'r')
 
883
        for line in file:
 
884
            if line.strip() == ivle_www:
 
885
                write_ivle_pth = False
 
886
            elif line.strip() == ivle_lib:
 
887
                write_ivle_lib_pth = False
 
888
        file.close()
 
889
    except (IOError, OSError):
 
890
        pass
 
891
    if write_ivle_pth:
 
892
        action_append(ivle_pth, ivle_www)
 
893
    if write_ivle_lib_pth:
 
894
        action_append(ivle_pth, ivle_lib)
 
895
 
 
896
    return 0
 
897
 
 
898
def updatejails(args):
 
899
    # Get "dry" variable from command line
 
900
    (opts, args) = getopt.gnu_getopt(args, "n", ['dry'])
 
901
    opts = dict(opts)
 
902
    dry = '-n' in opts or '--dry' in opts
 
903
 
 
904
    if dry:
 
905
        print "Dry run (no actions will be executed\n"
 
906
 
 
907
    if not dry and os.geteuid() != 0:
 
908
        print >>sys.stderr, "Must be root to run install"
 
909
        print >>sys.stderr, "(I need to chown some files)."
 
910
        return 1
 
911
 
 
912
    # Update the template jail directory in case it hasn't been installed
 
913
    # recently.
 
914
    action_copytree('jail', os.path.join(jail_base, 'template'), dry)
 
915
 
 
916
    # Re-link all the files in all students jails.
 
917
    for dir in os.listdir(jail_base):
 
918
        if dir == 'template': continue
 
919
        # First back up the student's home directory
 
920
        temp_home = os.tmpnam()
 
921
        action_rename(os.path.join(jail_base, dir, 'home'), temp_home, dry)
 
922
        # Delete the student's jail and relink the jail files
 
923
        action_linktree(os.path.join(jail_base, 'template'),
 
924
            os.path.join(jail_base, dir), dry)
 
925
        # Restore the student's home directory
 
926
        action_rename(temp_home, os.path.join(jail_base, dir, 'home'), dry)
 
927
        # Set up the user's home directory just in case they don't have a
 
928
        # directory for this yet
 
929
        action_mkdir(os.path.join(jail_base, dir, 'home', dir), dry)
533
930
 
534
931
    return 0
535
932
 
562
959
    if ret != 0:
563
960
        raise RunError(prog, ret)
564
961
 
 
962
def action_remove(path, dry):
 
963
    """Calls rmtree, deleting the target file if it exists."""
 
964
    try:
 
965
        print "rm -r", path
 
966
        if not dry:
 
967
            shutil.rmtree(path, True)
 
968
    except OSError, (err, msg):
 
969
        if err != errno.EEXIST:
 
970
            raise
 
971
        # Otherwise, didn't exist, so we don't care
 
972
 
 
973
def action_rename(src, dst, dry):
 
974
    """Calls rename. Deletes the target if it already exists."""
 
975
    action_remove(dst, dry)
 
976
    print "mv ", src, dst
 
977
    if dry: return
 
978
    try:
 
979
        os.rename(src, dst)
 
980
    except OSError, (err, msg):
 
981
        if err != errno.EEXIST:
 
982
            raise
 
983
 
565
984
def action_mkdir(path, dry):
566
985
    """Calls mkdir. Silently ignored if the directory already exists.
567
986
    Creates all parent directories as necessary."""
579
998
    directories as necessary.
580
999
 
581
1000
    See shutil.copytree."""
582
 
    if os.access(dst, os.F_OK):
583
 
        print "rm -r", dst
584
 
        if not dry:
585
 
            shutil.rmtree(dst, True)
 
1001
    action_remove(dst, dry)
586
1002
    print "cp -r", src, dst
587
1003
    if dry: return
588
1004
    shutil.copytree(src, dst, True)
589
1005
 
590
 
def action_copylist(srclist, dst, dry):
 
1006
def action_linktree(src, dst, dry):
 
1007
    """Hard-links an entire directory tree. Same as copytree but the created
 
1008
    files are hard-links not actual copies. Removes the existing destination.
 
1009
    """
 
1010
    action_remove(dst, dry)
 
1011
    print "<cp with hardlinks> -r", src, dst
 
1012
    if dry: return
 
1013
    common.makeuser.linktree(src, dst)
 
1014
 
 
1015
def action_copylist(srclist, dst, dry, srcdir="."):
591
1016
    """Copies all files in a list to a new location. The files in the list
592
1017
    are read relative to the current directory, and their destinations are the
593
1018
    same paths relative to dst. Creates all parent directories as necessary.
 
1019
    srcdir is "." by default, can be overridden.
594
1020
    """
595
1021
    for srcfile in srclist:
596
1022
        dstfile = os.path.join(dst, srcfile)
 
1023
        srcfile = os.path.join(srcdir, srcfile)
597
1024
        dstdir = os.path.split(dstfile)[0]
598
1025
        if not os.path.isdir(dstdir):
599
1026
            action_mkdir(dstdir, dry)
608
1035
def action_copyfile(src, dst, dry):
609
1036
    """Copies one file to a new location. Creates all parent directories
610
1037
    as necessary.
 
1038
    Warn if file not found.
611
1039
    """
612
1040
    dstdir = os.path.split(dst)[0]
613
1041
    if not os.path.isdir(dstdir):
617
1045
        try:
618
1046
            shutil.copyfile(src, dst)
619
1047
            shutil.copymode(src, dst)
620
 
        except shutil.Error:
621
 
            pass
 
1048
        except (shutil.Error, IOError), e:
 
1049
            print "Warning: " + str(e)
622
1050
 
623
1051
def action_symlink(src, dst, dry):
624
1052
    """Creates a symlink in a given location. Creates all parent directories
634
1062
    if not dry:
635
1063
        os.symlink(src, dst)
636
1064
 
 
1065
def action_append(ivle_pth, ivle_www):
 
1066
    file = open(ivle_pth, 'a+')
 
1067
    file.write(ivle_www + '\n')
 
1068
    file.close()
 
1069
 
637
1070
def action_chown_setuid(file, dry):
638
1071
    """Chowns a file to root, and sets the setuid bit on the file.
639
1072
    Calling this function requires the euid to be root.
648
1081
        os.chmod(file, stat.S_IXUSR | stat.S_IXGRP | stat.S_IXOTH
649
1082
            | stat.S_ISUID | stat.S_IRUSR | stat.S_IWUSR)
650
1083
 
 
1084
def action_chmod_x(file, dry):
 
1085
    """Chmod 755 a file (sets permissions to rwxr-xr-x)."""
 
1086
    print "chmod 755", file
 
1087
    if not dry:
 
1088
        os.chmod(file, stat.S_IXUSR | stat.S_IRUSR | stat.S_IWUSR
 
1089
            | stat.S_IXGRP | stat.S_IRGRP | stat.S_IXOTH | stat.S_IROTH)
 
1090
 
651
1091
def query_user(default, prompt):
652
1092
    """Prompts the user for a string, which is read from a line of stdin.
653
1093
    Exits silently if EOF is encountered. Returns the string, with spaces