← Back to branch summary

~azzar1/unity/add-show-desktop-key

« back to all changes in this revision

Viewing changes to setup.py

  • Committer: mattgiuca
  • Date: 2008-01-09 23:35:09 UTC
  • Revision ID: svn-v3-trunk0:2b9c9e99-6f39-0410-b283-7f802c844ae2:trunk:147
conf: Moved "default_mimetype" configuration constant from conf/app/server.py
        to conf/mimetypes.py. (Used by fileservice now too, so general).
fileservice: Now guesses mimetype of files being served instead of serving
    them all with the same mimetype.
    The Content-Type returned will be used by file browser for viewing certain
    types of files.
server: Fixed directory problem (previously served with just a "0"). Now
    directories return a 403 Forbidden error. (Not allowed to browse
    directories since this is viewable by the public).

Show diffs side-by-side

added added

removed removed

Lines of Context:
setup.py
31
31
# cutting a distribution, and the listfile it generates should be included in
32
32
# the distribution, avoiding the administrator having to run it.
33
33
 
34
 
# setup.py config [args]
 
34
# setup.py conf [args]
35
35
# Configures IVLE with machine-specific details, most notably, various paths.
36
36
# Either prompts the administrator for these details or accepts them as
37
37
# command-line args.
38
 
# Creates lib/conf/conf.py and trampoline/conf.h.
 
38
# Creates www/conf/conf.py and trampoline/conf.h.
39
39
 
40
40
# setup.py build
41
41
# Compiles all files and sets up a jail template in the source directory.
68
68
import compileall
69
69
import getopt
70
70
 
71
 
# Import modules from the website is tricky since they're in the www
72
 
# directory.
73
 
sys.path.append(os.path.join(os.getcwd(), 'lib'))
74
 
import conf
75
 
import common.makeuser
76
 
 
77
 
# Determine which Python version (2.4 or 2.5, for example) we are running,
78
 
# and use that as the filename to the Python directory.
79
 
# Just get the first 3 characters of sys.version.
80
 
PYTHON_VERSION = sys.version[0:3]
81
 
 
82
 
# Operating system files to copy over into the jail.
83
 
# These will be copied from the given place on the OS file system into the
84
 
# same place within the jail.
85
 
JAIL_FILES = [
86
 
    '/lib/ld-linux.so.2',
87
 
    '/lib/tls/i686/cmov/libc.so.6',
88
 
    '/lib/tls/i686/cmov/libdl.so.2',
89
 
    '/lib/tls/i686/cmov/libm.so.6',
90
 
    '/lib/tls/i686/cmov/libpthread.so.0',
91
 
    '/lib/tls/i686/cmov/libutil.so.1',
92
 
    '/etc/ld.so.conf',
93
 
    '/etc/ld.so.cache',
94
 
    # These 2 files do not exist in Ubuntu
95
 
    #'/etc/ld.so.preload',
96
 
    #'/etc/ld.so.nohwcap',
97
 
    # UNIX commands
98
 
    '/usr/bin/strace',
99
 
    '/bin/ls',
100
 
    '/bin/echo',
101
 
    # Needed by python
102
 
    '/usr/bin/python%s' % PYTHON_VERSION,
103
 
    # Needed by fileservice
104
 
    '/lib/libcom_err.so.2',
105
 
    '/lib/libcrypt.so.1',
106
 
    '/lib/libkeyutils.so.1',
107
 
    '/lib/libresolv.so.2',
108
 
    '/lib/librt.so.1',
109
 
    '/lib/libuuid.so.1',
110
 
    '/usr/lib/libapr-1.so.0',
111
 
    '/usr/lib/libaprutil-1.so.0',
112
 
    '/usr/lib/libdb-4.4.so',
113
 
    '/usr/lib/libexpat.so.1',
114
 
    '/usr/lib/libgcrypt.so.11',
115
 
    '/usr/lib/libgnutls.so.13',
116
 
    '/usr/lib/libgpg-error.so.0',
117
 
    '/usr/lib/libgssapi_krb5.so.2',
118
 
    '/usr/lib/libk5crypto.so.3',
119
 
    '/usr/lib/libkrb5.so.3',
120
 
    '/usr/lib/libkrb5support.so.0',
121
 
    '/usr/lib/liblber.so.2',
122
 
    '/usr/lib/libldap_r.so.2',
123
 
    '/usr/lib/libneon.so.26',
124
 
    '/usr/lib/libpq.so.5',
125
 
    '/usr/lib/libsasl2.so.2',
126
 
    '/usr/lib/libsqlite3.so.0',
127
 
    '/usr/lib/libsvn_client-1.so.1',
128
 
    '/usr/lib/libsvn_delta-1.so.1',
129
 
    '/usr/lib/libsvn_diff-1.so.1',
130
 
    '/usr/lib/libsvn_fs-1.so.1',
131
 
    '/usr/lib/libsvn_fs_base-1.so.1',
132
 
    '/usr/lib/libsvn_fs_fs-1.so.1',
133
 
    '/usr/lib/libsvn_ra-1.so.1',
134
 
    '/usr/lib/libsvn_ra_dav-1.so.1',
135
 
    '/usr/lib/libsvn_ra_local-1.so.1',
136
 
    '/usr/lib/libsvn_ra_svn-1.so.1',
137
 
    '/usr/lib/libsvn_repos-1.so.1',
138
 
    '/usr/lib/libsvn_subr-1.so.1',
139
 
    '/usr/lib/libsvn_wc-1.so.1',
140
 
    '/usr/lib/libtasn1.so.3',
141
 
    '/usr/lib/libxml2.so.2',
142
 
    # Needed by matplotlib
143
 
    '/usr/lib/i686/cmov/libssl.so.0.9.8',
144
 
    '/usr/lib/i686/cmov/libcrypto.so.0.9.8',
145
 
    '/lib/tls/i686/cmov/libnsl.so.1',
146
 
    '/usr/lib/libz.so.1',
147
 
    '/usr/lib/atlas/liblapack.so.3',
148
 
    '/usr/lib/atlas/libblas.so.3',
149
 
    '/usr/lib/libg2c.so.0',
150
 
    '/usr/lib/libstdc++.so.6',
151
 
    '/usr/lib/libfreetype.so.6',
152
 
    '/usr/lib/libpng12.so.0',
153
 
    '/usr/lib/libBLT.2.4.so.8.4',
154
 
    '/usr/lib/libtk8.4.so.0',
155
 
    '/usr/lib/libtcl8.4.so.0',
156
 
    '/usr/lib/tcl8.4/init.tcl',
157
 
    '/usr/lib/libX11.so.6',
158
 
    '/usr/lib/libXau.so.6',
159
 
    '/usr/lib/libXdmcp.so.6',
160
 
    '/lib/libgcc_s.so.1',
161
 
    '/etc/matplotlibrc',
162
 
]
163
 
# Symlinks to make within the jail. Src mapped to dst.
164
 
JAIL_LINKS = {
165
 
    'python%s' % PYTHON_VERSION: 'jail/usr/bin/python',
166
 
}
167
 
# Trees to copy. Src mapped to dst (these will be passed to action_copytree).
168
 
JAIL_COPYTREES = {
169
 
    '/usr/lib/python%s' % PYTHON_VERSION:
170
 
        'jail/usr/lib/python%s' % PYTHON_VERSION,
171
 
    '/usr/share/matplotlib': 'jail/usr/share/matplotlib',
172
 
    '/etc/ld.so.conf.d': 'jail/etc/ld.so.conf.d',
173
 
}
174
 
 
175
 
class ConfigOption:
176
 
    """A configuration option; one of the things written to conf.py."""
177
 
    def __init__(self, option_name, default, prompt, comment):
178
 
        """Creates a configuration option.
179
 
        option_name: Name of the variable in conf.py. Also name of the
180
 
            command-line argument to setup.py conf.
181
 
        default: Default value for this variable.
182
 
        prompt: (Short) string presented during the interactive prompt in
183
 
            setup.py conf.
184
 
        comment: (Long) comment string stored in conf.py. Each line of this
185
 
            string should begin with a '#'.
186
 
        """
187
 
        self.option_name = option_name
188
 
        self.default = default
189
 
        self.prompt = prompt
190
 
        self.comment = comment
191
 
 
192
 
# Configuration options, defaults and descriptions
193
 
config_options = []
194
 
config_options.append(ConfigOption("root_dir", "/",
195
 
    """Root directory where IVLE is located (in URL space):""",
196
 
    """
197
 
# In URL space, where in the site is IVLE located. (All URLs will be prefixed
198
 
# with this).
199
 
# eg. "/" or "/ivle"."""))
200
 
config_options.append(ConfigOption("ivle_install_dir", "/opt/ivle",
201
 
    'Root directory where IVLE will be installed (on the local file '
202
 
    'system):',
203
 
    """
204
 
# In the local file system, where IVLE is actually installed.
205
 
# This directory should contain the "www" and "bin" directories."""))
206
 
config_options.append(ConfigOption("jail_base", "/home/informatics/jails",
207
 
    """Root directory where the jails (containing user files) are stored
208
 
(on the local file system):""",
209
 
    """
210
 
# In the local file system, where are the student/user file spaces located.
211
 
# The user jails are expected to be located immediately in subdirectories of
212
 
# this location."""))
213
 
config_options.append(ConfigOption("subjects_base",
214
 
    "/home/informatics/subjects",
215
 
    """Root directory where the subject directories (containing worksheets
216
 
and other per-subject files) are stored (on the local file system):""",
217
 
    """
218
 
# In the local file system, where are the per-subject file spaces located.
219
 
# The individual subject directories are expected to be located immediately
220
 
# in subdirectories of this location."""))
221
 
config_options.append(ConfigOption("exercises_base",
222
 
    "/home/informatics/exercises",
223
 
    """Root directory where the exercise directories (containing
224
 
subject-independent exercise sheets) are stored (on the local file
225
 
system):""",
226
 
    """
227
 
# In the local file system, where are the subject-independent exercise sheet
228
 
# file spaces located."""))
229
 
config_options.append(ConfigOption("public_host", "public.localhost",
230
 
    """Hostname which will cause the server to go into "public mode",
231
 
providing login-free access to student's published work:""",
232
 
    """
233
 
# The server goes into "public mode" if the browser sends a request with this
234
 
# host. This is for security reasons - we only serve public student files on a
235
 
# separate domain to the main IVLE site.
236
 
# Public mode does not use cookies, and serves only public content.
237
 
# Private mode (normal mode) requires login, and only serves files relevant to
238
 
# the logged-in user."""))
239
 
config_options.append(ConfigOption("allowed_uids", "33",
240
 
    """UID of the web server process which will run IVLE.
241
 
Only this user may execute the trampoline. May specify multiple users as
242
 
a comma-separated list.
243
 
    (eg. "1002,78")""",
244
 
    """
245
 
# The User-ID of the web server process which will run IVLE, and any other
246
 
# users who are allowed to run the trampoline. This is stores as a string of
247
 
# comma-separated integers, simply because it is not used within Python, only
248
 
# used by the setup program to write to conf.h (see setup.py config)."""))
249
 
config_options.append(ConfigOption("db_host", "localhost",
250
 
    """PostgreSQL Database config
251
 
==========================
252
 
Hostname of the DB server:""",
253
 
    """
254
 
### PostgreSQL Database config ###
255
 
# Database server hostname"""))
256
 
config_options.append(ConfigOption("db_port", "5432",
257
 
    """Port of the DB server:""",
258
 
    """
259
 
# Database server port"""))
260
 
config_options.append(ConfigOption("db_dbname", "ivle",
261
 
    """Database name:""",
262
 
    """
263
 
# Database name"""))
264
 
config_options.append(ConfigOption("db_user", "postgres",
265
 
    """Username for DB server login:""",
266
 
    """
267
 
# Database username"""))
268
 
config_options.append(ConfigOption("db_password", "",
269
 
    """Password for DB server login:
270
 
    (Caution: This password is stored in plaintext in lib/conf/conf.py)""",
271
 
    """
272
 
# Database password"""))
273
 
config_options.append(ConfigOption("ldap_url", "ldaps://www.example.com",
274
 
    """URL for LDAP authentication server:""",
275
 
    """
276
 
# URL for LDAP authentication server"""))
277
 
config_options.append(ConfigOption("ldap_format_string",
278
 
    "uid=%s,ou=users,o=example",
279
 
    """Format string for LDAP auth request:
280
 
    (Must contain a single "%s" for the user's login name)""",
281
 
    """
282
 
# Format string for LDAP auth request
283
 
# (Must contain a single "%s" for the user's login name)"""))
284
 
config_options.append(ConfigOption("svn_addr", "http://svn.localhost/",
285
 
    """The base url for accessing subversion repositories:""",
286
 
    """
287
 
# The base url for accessing subversion repositories."""))
288
 
config_options.append(ConfigOption("svn_conf", "/opt/ivle/svn/svn.conf",
289
 
    """The location of the subversion configuration file used by apache
290
 
to host the user repositories:""",
291
 
    """
292
 
# The location of the subversion configuration file used by
293
 
# apache to host the user repositories."""))
294
 
config_options.append(ConfigOption("svn_repo_path", "/home/informatics/repositories",
295
 
    """The root directory for the subversion repositories:""",
296
 
    """
297
 
# The root directory for the subversion repositories."""))
298
 
config_options.append(ConfigOption("svn_auth_ivle", "/opt/ivle/svn/ivle.auth",
299
 
    """The location of the password file used to authenticate users
300
 
of the subversion repository from the ivle server:""",
301
 
    """
302
 
# The location of the password file used to authenticate users
303
 
# of the subversion repository from the ivle server."""))
304
 
config_options.append(ConfigOption("svn_auth_local", "/opt/ivle/svn/local.auth",
305
 
    """The location of the password file used to authenticate local users
306
 
of the subversion repository:""",
307
 
    """
308
 
# The location of the password file used to authenticate local users
309
 
# of the subversion repository."""))
310
 
config_options.append(ConfigOption("usrmgt_host", "localhost",
311
 
    """The hostname where the usrmgt-server runs:""",
312
 
    """
313
 
# The hostname where the usrmgt-server runs."""))
314
 
config_options.append(ConfigOption("usrmgt_port", "2178",
315
 
    """The port where the usrmgt-server runs:""",
316
 
    """
317
 
# The port where the usrmgt-server runs."""))
318
 
config_options.append(ConfigOption("usrmgt_magic", "",
319
 
    """The password for the usrmgt-server:""",
320
 
    """
321
 
# The password for the usrmgt-server."""))
322
 
 
323
71
# Try importing existing conf, but if we can't just set up defaults
324
72
# The reason for this is that these settings are used by other phases
325
73
# of setup besides conf, so we need to know them.
326
74
# Also this allows you to hit Return to accept the existing value.
327
75
try:
328
 
    confmodule = __import__("lib/conf/conf")
329
 
    for opt in config_options:
330
 
        try:
331
 
            globals()[opt.option_name] = confmodule.__dict__[opt.option_name]
332
 
        except:
333
 
            globals()[opt.option_name] = opt.default
 
76
    confmodule = __import__("www/conf/conf")
 
77
    root_dir = confmodule.root_dir
 
78
    ivle_install_dir = confmodule.ivle_install_dir
 
79
    jail_base = confmodule.jail_base
334
80
except ImportError:
335
81
    # Just set reasonable defaults
336
 
    for opt in config_options:
337
 
        globals()[opt.option_name] = opt.default
 
82
    root_dir = "/ivle"
 
83
    ivle_install_dir = "/opt/ivle"
 
84
    jail_base = "/home/informatics/jails"
 
85
# Always defaults
 
86
allowed_uids = "0"
338
87
 
339
88
# Try importing install_list, but don't fail if we can't, because listmake can
340
89
# function without it.
349
98
# as necessary, and include it in the distribution.
350
99
listmake_mimetypes = ['text/x-python', 'text/html',
351
100
    'application/x-javascript', 'application/javascript',
352
 
    'text/css', 'image/png', 'application/xml']
 
101
    'text/css', 'image/png']
353
102
 
354
103
# Main function skeleton from Guido van Rossum
355
104
# http://www.artima.com/weblogs/viewpost.jsp?thread=4829
378
127
        return 1
379
128
 
380
129
    # Disallow run as root unless installing
381
 
    if (operation != 'install' and operation != 'updatejails'
382
 
        and os.geteuid() == 0):
 
130
    if operation != 'install' and os.geteuid() == 0:
383
131
        print >>sys.stderr, "I do not want to run this stage as root."
384
132
        print >>sys.stderr, "Please run as a normal user."
385
133
        return 1
387
135
    try:
388
136
        oper_func = {
389
137
            'help' : help,
390
 
            'config' : conf,
 
138
            'conf' : conf,
391
139
            'build' : build,
392
140
            'listmake' : listmake,
393
141
            'install' : install,
394
 
            'updatejails' : updatejails,
395
142
        }[operation]
396
143
    except KeyError:
397
144
        print >>sys.stderr, (
408
155
Operation (and args) can be:
409
156
    help [operation]
410
157
    listmake (developer use only)
411
 
    config [args]
 
158
    conf [args]
412
159
    build
413
 
    install [--nojail] [--nosubjects] [-n|--dry]
 
160
    install [--nojail] [-n|--dry]
414
161
"""
415
162
        return 1
416
163
    elif len(args) != 1:
429
176
be copied upon installation. This should be run by the developer before
430
177
cutting a distribution, and the listfile it generates should be included in
431
178
the distribution, avoiding the administrator having to run it."""
432
 
    elif operation == 'config':
433
 
        print """python setup.py config [args]
 
179
    elif operation == 'conf':
 
180
        print """python setup.py conf [args]
434
181
Configures IVLE with machine-specific details, most notably, various paths.
435
182
Either prompts the administrator for these details or accepts them as
436
183
command-line args. Will be interactive only if there are no arguments given.
440
187
to rebuild/install), just provide ivle_install_dir as the IVLE trunk
441
188
directory, and run build/install one time.
442
189
 
443
 
Creates lib/conf/conf.py and trampoline/conf.h.
 
190
Creates www/conf/conf.py and trampoline/conf.h.
444
191
 
445
 
Args are:"""
446
 
        for opt in config_options:
447
 
            print "    --" + opt.option_name
448
 
        print """As explained in the interactive prompt or conf.py.
 
192
Args are:
 
193
    --root_dir
 
194
    --ivle_install_dir
 
195
    --jail_base
 
196
    --allowed_uids
 
197
As explained in the interactive prompt or conf.py.
449
198
"""
450
199
    elif operation == 'build':
451
200
        print """python -O setup.py build [--dry|-n]
462
211
 
463
212
--dry | -n  Print out the actions but don't do anything."""
464
213
    elif operation == 'install':
465
 
        print """sudo python setup.py install [--nojail] [--nosubjects][--dry|-n]
 
214
        print """sudo python setup.py install [--nojail] [--dry|-n]
466
215
(Requires root)
467
216
Create target install directory ($target).
468
217
Create $target/bin.
470
219
chown and chmod the installed trampoline.
471
220
Copy www/ to $target.
472
221
Copy jail/ to jails template directory (unless --nojail specified).
473
 
Copy subjects/ to subjects directory (unless --nosubjects specified).
474
 
 
475
 
--nojail        Do not copy the jail.
476
 
--nosubjects    Do not copy the subjects and exercises directories.
477
 
--dry | -n  Print out the actions but don't do anything."""
478
 
    elif operation == 'updatejails':
479
 
        print """sudo python setup.py updatejails [--dry|-n]
480
 
(Requires root)
481
 
Copy jail/ to each subdirectory in jails directory.
482
 
 
 
222
 
 
223
--nojail    Do not copy the jail.
483
224
--dry | -n  Print out the actions but don't do anything."""
484
225
    else:
485
226
        print >>sys.stderr, (
490
231
def listmake(args):
491
232
    # We build two separate lists, by walking www and console
492
233
    list_www = build_list_py_files('www')
493
 
    list_lib = build_list_py_files('lib')
494
 
    list_subjects = build_list_py_files('subjects', no_top_level=True)
495
 
    list_exercises = build_list_py_files('exercises', no_top_level=True)
496
 
    list_scripts = [
497
 
        "scripts/python-console",
498
 
        "scripts/fileservice",
499
 
        "scripts/usrmgt-server",
500
 
    ]
 
234
    list_console = build_list_py_files('console')
501
235
    # Make sure that the files generated by conf are in the list
502
236
    # (since listmake is typically run before conf)
503
 
    if "lib/conf/conf.py" not in list_lib:
504
 
        list_lib.append("lib/conf/conf.py")
 
237
    if "www/conf/conf.py" not in list_www:
 
238
        list_www.append("www/conf/conf.py")
 
239
    # Make sure that console/python-console is in the list
 
240
    if "console/python-console" not in list_console:
 
241
        list_console.append("console/python-console")
505
242
    # Write these out to a file
506
243
    cwd = os.getcwd()
507
244
    # the files that will be created/overwritten
521
258
list_www = """)
522
259
        writelist_pretty(file, list_www)
523
260
        file.write("""
524
 
# List of all installable files in lib directory.
525
 
list_lib = """)
526
 
        writelist_pretty(file, list_lib)
527
 
        file.write("""
528
 
# List of all installable files in scripts directory.
529
 
list_scripts = """)
530
 
        writelist_pretty(file, list_scripts)
531
 
        file.write("""
532
 
# List of all installable files in subjects directory.
533
 
# This is to install sample subjects and material.
534
 
list_subjects = """)
535
 
        writelist_pretty(file, list_subjects)
536
 
        file.write("""
537
 
# List of all installable files in exercises directory.
538
 
# This is to install sample exercise material.
539
 
list_exercises = """)
540
 
        writelist_pretty(file, list_exercises)
 
261
# List of all installable files in console directory.
 
262
list_console = """)
 
263
        writelist_pretty(file, list_console)
541
264
 
542
265
        file.close()
543
266
    except IOError, (errno, strerror):
554
277
 
555
278
    return 0
556
279
 
557
 
def build_list_py_files(dir, no_top_level=False):
 
280
def build_list_py_files(dir):
558
281
    """Builds a list of all py files found in a directory and its
559
 
    subdirectories. Returns this as a list of strings.
560
 
    no_top_level=True means the file paths will not include the top-level
561
 
    directory.
562
 
    """
 
282
    subdirectories. Returns this as a list of strings."""
563
283
    pylist = []
564
284
    for (dirpath, dirnames, filenames) in os.walk(dir):
565
285
        # Exclude directories beginning with a '.' (such as '.svn')
567
287
        # All *.py files are added to the list
568
288
        pylist += [os.path.join(dirpath, item) for item in filenames
569
289
            if mimetypes.guess_type(item)[0] in listmake_mimetypes]
570
 
    if no_top_level:
571
 
        for i in range(0, len(pylist)):
572
 
            _, pylist[i] = pylist[i].split(os.sep, 1)
573
290
    return pylist
574
291
 
575
292
def writelist_pretty(file, list):
583
300
        file.write(']\n')
584
301
 
585
302
def conf(args):
586
 
    global db_port, usrmgt_port
 
303
    global root_dir, ivle_install_dir, jail_base, allowed_uids
587
304
    # Set up some variables
588
305
 
589
306
    cwd = os.getcwd()
590
307
    # the files that will be created/overwritten
591
 
    conffile = os.path.join(cwd, "lib/conf/conf.py")
592
 
    jailconffile = os.path.join(cwd, "lib/conf/jailconf.py")
 
308
    conffile = os.path.join(cwd, "www/conf/conf.py")
593
309
    conf_hfile = os.path.join(cwd, "trampoline/conf.h")
594
310
 
 
311
    # Fixed config options that we don't ask the admin
 
312
    default_app = "dummy"
 
313
 
595
314
    # Get command-line arguments to avoid asking questions.
596
315
 
597
 
    optnames = []
598
 
    for opt in config_options:
599
 
        optnames.append(opt.option_name + "=")
600
 
    (opts, args) = getopt.gnu_getopt(args, "", optnames)
 
316
    (opts, args) = getopt.gnu_getopt(args, "", ['root_dir=',
 
317
                    'ivle_install_dir=', 'jail_base=', 'allowed_uids='])
601
318
 
602
319
    if args != []:
603
320
        print >>sys.stderr, "Invalid arguments:", string.join(args, ' ')
609
326
        print """This tool will create the following files:
610
327
    %s
611
328
    %s
612
 
    %s
613
329
prompting you for details about your configuration. The file will be
614
330
overwritten if it already exists. It will *not* install or deploy IVLE.
615
331
 
616
332
Please hit Ctrl+C now if you do not wish to do this.
617
 
""" % (conffile, jailconffile, conf_hfile)
 
333
""" % (conffile, conf_hfile)
618
334
 
619
335
        # Get information from the administrator
620
336
        # If EOF is encountered at any time during the questioning, just exit
621
337
        # silently
622
338
 
623
 
        for opt in config_options:
624
 
            globals()[opt.option_name] = \
625
 
                query_user(globals()[opt.option_name], opt.prompt)
 
339
        root_dir = query_user(root_dir,
 
340
        """Root directory where IVLE is located (in URL space):""")
 
341
        ivle_install_dir = query_user(ivle_install_dir,
 
342
        'Root directory where IVLE will be installed (on the local file '
 
343
        'system):')
 
344
        jail_base = query_user(jail_base,
 
345
        """Root directory where the jails (containing user files) are stored
 
346
(on the local file system):""")
 
347
        allowed_uids = query_user(allowed_uids,
 
348
        """UID of the web server process which will run IVLE.
 
349
Only this user may execute the trampoline. May specify multiple users as
 
350
a comma-separated list.
 
351
    (eg. "1002,78")""")
 
352
 
626
353
    else:
627
354
        opts = dict(opts)
628
355
        # Non-interactive mode. Parse the options.
629
 
        for opt in config_options:
630
 
            if '--' + opt.option_name in opts:
631
 
                globals()[opt.option_name] = opts['--' + opt.option_name]
 
356
        if '--root_dir' in opts:
 
357
            root_dir = opts['--root_dir']
 
358
        if '--ivle_install_dir' in opts:
 
359
            ivle_install_dir = opts['--ivle_install_dir']
 
360
        if '--jail_base' in opts:
 
361
            jail_base = opts['--jail_base']
 
362
        if '--allowed_uids' in opts:
 
363
            allowed_uids = opts['--allowed_uids']
632
364
 
633
365
    # Error handling on input values
634
366
    try:
635
 
        allowed_uids_list = map(int, allowed_uids.split(','))
 
367
        allowed_uids = map(int, allowed_uids.split(','))
636
368
    except ValueError:
637
369
        print >>sys.stderr, (
638
370
        "Invalid UID list (%s).\n"
639
371
        "Must be a comma-separated list of integers." % allowed_uids)
640
372
        return 1
641
 
    try:
642
 
        db_port = int(db_port)
643
 
        if db_port < 0 or db_port >= 65536: raise ValueError()
644
 
    except ValueError:
645
 
        print >>sys.stderr, (
646
 
        "Invalid DB port (%s).\n"
647
 
        "Must be an integer between 0 and 65535." % repr(db_port))
648
 
        return 1
649
 
    try:
650
 
        usrmgt_port = int(usrmgt_port)
651
 
        if usrmgt_port < 0 or usrmgt_port >= 65536: raise ValueError()
652
 
    except ValueError:
653
 
        print >>sys.stderr, (
654
 
        "Invalid user management port (%s).\n"
655
 
        "Must be an integer between 0 and 65535." % repr(usrmgt_port))
656
 
        return 1
657
373
 
658
 
    # Write lib/conf/conf.py
 
374
    # Write www/conf/conf.py
659
375
 
660
376
    try:
661
377
        conf = open(conffile, "w")
664
380
# conf.py
665
381
# Miscellaneous application settings
666
382
 
667
 
""")
668
 
        for opt in config_options:
669
 
            conf.write('%s\n%s = %s\n' % (opt.comment, opt.option_name,
670
 
                repr(globals()[opt.option_name])))
671
 
 
672
 
        conf.close()
673
 
    except IOError, (errno, strerror):
674
 
        print "IO error(%s): %s" % (errno, strerror)
675
 
        sys.exit(1)
676
 
 
677
 
    print "Successfully wrote lib/conf/conf.py"
678
 
 
679
 
    # Write conf/jailconf.py
680
 
 
681
 
    try:
682
 
        conf = open(jailconffile, "w")
683
 
 
684
 
        # In the "in-jail" version of conf, we don't need MOST of the details
685
 
        # (it would be a security risk to have them here).
686
 
        # So we just write root_dir, and jail_base is "/".
687
 
        # (jail_base being "/" means "jail-relative" paths are relative to "/"
688
 
        # when inside the jail.)
689
 
        conf.write("""# IVLE Configuration File
690
 
# conf.py
691
 
# Miscellaneous application settings
692
 
# (User jail version)
693
 
 
694
383
 
695
384
# In URL space, where in the site is IVLE located. (All URLs will be prefixed
696
385
# with this).
697
386
# eg. "/" or "/ivle".
698
 
root_dir = %s
 
387
root_dir = "%s"
 
388
 
 
389
# In the local file system, where IVLE is actually installed.
 
390
# This directory should contain the "www" and "bin" directories.
 
391
ivle_install_dir = "%s"
699
392
 
700
393
# In the local file system, where are the student/user file spaces located.
701
394
# The user jails are expected to be located immediately in subdirectories of
702
395
# this location.
703
 
jail_base = '/'
 
396
jail_base = "%s"
704
397
 
705
 
# The hostname for serving publicly accessible pages
706
 
public_host = %s
707
 
""" % (repr(root_dir),repr(public_host)))
 
398
# Which application to load by default (if the user navigates to the top level
 
399
# of the site). This is the app's URL name.
 
400
# Note that if this app requires authentication, the user will first be
 
401
# presented with the login screen.
 
402
default_app = "%s"
 
403
""" % (root_dir, ivle_install_dir, jail_base, default_app))
708
404
 
709
405
        conf.close()
710
406
    except IOError, (errno, strerror):
711
407
        print "IO error(%s): %s" % (errno, strerror)
712
408
        sys.exit(1)
713
409
 
714
 
    print "Successfully wrote lib/conf/jailconf.py"
 
410
    print "Successfully wrote www/conf/conf.py"
715
411
 
716
412
    # Write trampoline/conf.h
717
413
 
736
432
 * (Note that root is an implicit member of this list).
737
433
 */
738
434
static const int allowed_uids[] = { %s };
739
 
""" % (repr(jail_base)[1:-1], repr(allowed_uids_list)[1:-1]))
740
 
    # Note: The above uses PYTHON reprs, not C reprs
741
 
    # However they should be the same with the exception of the outer
742
 
    # characters, which are stripped off and replaced
 
435
""" % (jail_base, repr(allowed_uids)[1:-1]))
743
436
 
744
437
        conf.close()
745
438
    except IOError, (errno, strerror):
751
444
    print
752
445
    print "You may modify the configuration at any time by editing"
753
446
    print conffile
754
 
    print jailconffile
755
447
    print conf_hfile
756
448
    print
757
449
    return 0
766
458
        print "Dry run (no actions will be executed\n"
767
459
 
768
460
    # Compile the trampoline
769
 
    curdir = os.getcwd()
770
 
    os.chdir('trampoline')
771
 
    action_runprog('make', [], dry)
772
 
    os.chdir(curdir)
 
461
    action_runprog('gcc', ['-Wall', '-o', 'trampoline/trampoline',
 
462
        'trampoline/trampoline.c'], dry)
773
463
 
774
464
    # Create the jail and its subdirectories
775
465
    # Note: Other subdirs will be made by copying files
778
468
    action_mkdir('jail/tmp', dry)
779
469
 
780
470
    # Copy all console and operating system files into the jail
781
 
    action_copylist(install_list.list_scripts, 'jail/opt/ivle', dry)
 
471
    action_copylist(install_list.list_console, 'jail/opt/ivle', dry)
782
472
    copy_os_files_jail(dry)
783
 
    # Chmod the python console
784
 
    action_chmod_x('jail/opt/ivle/scripts/python-console', dry)
785
 
    action_chmod_x('jail/opt/ivle/scripts/fileservice', dry)
786
 
    
787
 
    # Also copy the IVLE lib directory into the jail
788
 
    # This is necessary for running certain scripts
789
 
    action_copylist(install_list.list_lib, 'jail/opt/ivle', dry)
790
 
    # IMPORTANT: The file jail/opt/ivle/lib/conf/conf.py contains details
791
 
    # which could compromise security if left in the jail (such as the DB
792
 
    # password).
793
 
    # The "safe" version is in jailconf.py. Delete conf.py and replace it with
794
 
    # jailconf.py.
795
 
    action_copyfile('lib/conf/jailconf.py',
796
 
        'jail/opt/ivle/lib/conf/conf.py', dry)
797
473
 
798
474
    # Compile .py files into .pyc or .pyo files
799
475
    compileall.compile_dir('www', quiet=True)
800
 
    compileall.compile_dir('lib', quiet=True)
801
 
    compileall.compile_dir('scripts', quiet=True)
802
 
    compileall.compile_dir('jail/opt/ivle/lib', quiet=True)
803
 
 
804
 
    # Set up ivle.pth inside the jail
805
 
    # Need to set /opt/ivle/lib to be on the import path
806
 
    ivle_pth = \
807
 
        "jail/usr/lib/python%s/site-packages/ivle.pth" % PYTHON_VERSION
808
 
    f = open(ivle_pth, 'w')
809
 
    f.write('/opt/ivle/lib\n')
810
 
    f.close()
 
476
    compileall.compile_dir('console', quiet=True)
811
477
 
812
478
    return 0
813
479
 
815
481
    """Copies necessary Operating System files from their usual locations
816
482
    into the jail/ directory of the cwd."""
817
483
    # Currently source paths are configured for Ubuntu.
818
 
    for filename in JAIL_FILES:
819
 
        copy_file_to_jail(filename, dry)
820
 
    for src, dst in JAIL_LINKS.items():
821
 
        action_symlink(src, dst, dry)
822
 
    for src, dst in JAIL_COPYTREES.items():
823
 
        action_copytree(src, dst, dry)
 
484
    copy_file_to_jail('/lib/ld-linux.so.2', dry)
 
485
    copy_file_to_jail('/lib/tls/i686/cmov/libc.so.6', dry)
 
486
    copy_file_to_jail('/lib/tls/i686/cmov/libdl.so.2', dry)
 
487
    copy_file_to_jail('/lib/tls/i686/cmov/libm.so.6', dry)
 
488
    copy_file_to_jail('/lib/tls/i686/cmov/libpthread.so.0', dry)
 
489
    copy_file_to_jail('/lib/tls/i686/cmov/libutil.so.1', dry)
 
490
    copy_file_to_jail('/usr/bin/python2.5', dry)
 
491
    action_symlink('python2.5', 'jail/usr/bin/python', dry)
 
492
    action_copytree('/usr/lib/python2.5', 'jail/usr/lib/python2.5', dry)
824
493
 
825
494
def copy_file_to_jail(src, dry):
826
495
    """Copies a single file from an absolute location into the same location
830
499
 
831
500
def install(args):
832
501
    # Get "dry" and "nojail" variables from command line
833
 
    (opts, args) = getopt.gnu_getopt(args, "n",
834
 
        ['dry', 'nojail', 'nosubjects'])
 
502
    (opts, args) = getopt.gnu_getopt(args, "n", ['dry', 'nojail'])
835
503
    opts = dict(opts)
836
504
    dry = '-n' in opts or '--dry' in opts
837
505
    nojail = '--nojail' in opts
838
 
    nosubjects = '--nosubjects' in opts
839
506
 
840
507
    if dry:
841
508
        print "Dry run (no actions will be executed\n"
855
522
    # chown trampoline to root and set setuid bit
856
523
    action_chown_setuid(tramppath, dry)
857
524
 
858
 
    # Copy the www and lib directories using the list
 
525
    # Copy the www directory using the list
859
526
    action_copylist(install_list.list_www, ivle_install_dir, dry)
860
 
    action_copylist(install_list.list_lib, ivle_install_dir, dry)
861
 
    
862
 
    # Copy the php directory
863
 
    action_copytree('www/php/phpBB3',os.path.join(ivle_install_dir,'www/php/phpBB3'), 
864
 
    dry)
865
527
 
866
528
    if not nojail:
867
529
        # Copy the local jail directory built by the build action
868
530
        # to the jails template directory (it will be used as a template
869
531
        # for all the students' jails).
870
532
        action_copytree('jail', os.path.join(jail_base, 'template'), dry)
871
 
    if not nosubjects:
872
 
        # Copy the subjects and exercises directories across
873
 
        action_copylist(install_list.list_subjects, subjects_base, dry,
874
 
            srcdir="./subjects")
875
 
        action_copylist(install_list.list_exercises, exercises_base, dry,
876
 
            srcdir="./exercises")
877
 
 
878
 
    # Append IVLE path to ivle.pth in python site packages
879
 
    # (Unless it's already there)
880
 
    ivle_pth = os.path.join(sys.prefix,
881
 
        "lib/python%s/site-packages/ivle.pth" % PYTHON_VERSION)
882
 
    ivle_www = os.path.join(ivle_install_dir, "www")
883
 
    ivle_lib = os.path.join(ivle_install_dir, "lib")
884
 
    write_ivle_pth = True
885
 
    write_ivle_lib_pth = True
886
 
    try:
887
 
        file = open(ivle_pth, 'r')
888
 
        for line in file:
889
 
            if line.strip() == ivle_www:
890
 
                write_ivle_pth = False
891
 
            elif line.strip() == ivle_lib:
892
 
                write_ivle_lib_pth = False
893
 
        file.close()
894
 
    except (IOError, OSError):
895
 
        pass
896
 
    if write_ivle_pth:
897
 
        action_append(ivle_pth, ivle_www)
898
 
    if write_ivle_lib_pth:
899
 
        action_append(ivle_pth, ivle_lib)
900
 
 
901
 
    return 0
902
 
 
903
 
def updatejails(args):
904
 
    # Get "dry" variable from command line
905
 
    (opts, args) = getopt.gnu_getopt(args, "n", ['dry'])
906
 
    opts = dict(opts)
907
 
    dry = '-n' in opts or '--dry' in opts
908
 
 
909
 
    if dry:
910
 
        print "Dry run (no actions will be executed\n"
911
 
 
912
 
    if not dry and os.geteuid() != 0:
913
 
        print >>sys.stderr, "Must be root to run install"
914
 
        print >>sys.stderr, "(I need to chown some files)."
915
 
        return 1
916
 
 
917
 
    # Update the template jail directory in case it hasn't been installed
918
 
    # recently.
919
 
    action_copytree('jail', os.path.join(jail_base, 'template'), dry)
920
 
 
921
 
    # Re-link all the files in all students jails.
922
 
    for dir in os.listdir(jail_base):
923
 
        if dir == 'template': continue
924
 
        # First back up the student's home directory
925
 
        temp_home = os.tmpnam()
926
 
        action_rename(os.path.join(jail_base, dir, 'home'), temp_home, dry)
927
 
        # Delete the student's jail and relink the jail files
928
 
        action_linktree(os.path.join(jail_base, 'template'),
929
 
            os.path.join(jail_base, dir), dry)
930
 
        # Restore the student's home directory
931
 
        action_rename(temp_home, os.path.join(jail_base, dir, 'home'), dry)
932
 
        # Set up the user's home directory just in case they don't have a
933
 
        # directory for this yet
934
 
        action_mkdir(os.path.join(jail_base, dir, 'home', dir), dry)
935
533
 
936
534
    return 0
937
535
 
964
562
    if ret != 0:
965
563
        raise RunError(prog, ret)
966
564
 
967
 
def action_remove(path, dry):
968
 
    """Calls rmtree, deleting the target file if it exists."""
969
 
    try:
970
 
        print "rm -r", path
971
 
        if not dry:
972
 
            shutil.rmtree(path, True)
973
 
    except OSError, (err, msg):
974
 
        if err != errno.EEXIST:
975
 
            raise
976
 
        # Otherwise, didn't exist, so we don't care
977
 
 
978
 
def action_rename(src, dst, dry):
979
 
    """Calls rename. Deletes the target if it already exists."""
980
 
    action_remove(dst, dry)
981
 
    print "mv ", src, dst
982
 
    if dry: return
983
 
    try:
984
 
        os.rename(src, dst)
985
 
    except OSError, (err, msg):
986
 
        if err != errno.EEXIST:
987
 
            raise
988
 
 
989
565
def action_mkdir(path, dry):
990
566
    """Calls mkdir. Silently ignored if the directory already exists.
991
567
    Creates all parent directories as necessary."""
1003
579
    directories as necessary.
1004
580
 
1005
581
    See shutil.copytree."""
1006
 
    action_remove(dst, dry)
 
582
    if os.access(dst, os.F_OK):
 
583
        print "rm -r", dst
 
584
        if not dry:
 
585
            shutil.rmtree(dst, True)
1007
586
    print "cp -r", src, dst
1008
587
    if dry: return
1009
588
    shutil.copytree(src, dst, True)
1010
589
 
1011
 
def action_linktree(src, dst, dry):
1012
 
    """Hard-links an entire directory tree. Same as copytree but the created
1013
 
    files are hard-links not actual copies. Removes the existing destination.
1014
 
    """
1015
 
    action_remove(dst, dry)
1016
 
    print "<cp with hardlinks> -r", src, dst
1017
 
    if dry: return
1018
 
    common.makeuser.linktree(src, dst)
1019
 
 
1020
 
def action_copylist(srclist, dst, dry, srcdir="."):
 
590
def action_copylist(srclist, dst, dry):
1021
591
    """Copies all files in a list to a new location. The files in the list
1022
592
    are read relative to the current directory, and their destinations are the
1023
593
    same paths relative to dst. Creates all parent directories as necessary.
1024
 
    srcdir is "." by default, can be overridden.
1025
594
    """
1026
595
    for srcfile in srclist:
1027
596
        dstfile = os.path.join(dst, srcfile)
1028
 
        srcfile = os.path.join(srcdir, srcfile)
1029
597
        dstdir = os.path.split(dstfile)[0]
1030
598
        if not os.path.isdir(dstdir):
1031
599
            action_mkdir(dstdir, dry)
1040
608
def action_copyfile(src, dst, dry):
1041
609
    """Copies one file to a new location. Creates all parent directories
1042
610
    as necessary.
1043
 
    Warn if file not found.
1044
611
    """
1045
612
    dstdir = os.path.split(dst)[0]
1046
613
    if not os.path.isdir(dstdir):
1050
617
        try:
1051
618
            shutil.copyfile(src, dst)
1052
619
            shutil.copymode(src, dst)
1053
 
        except (shutil.Error, IOError), e:
1054
 
            print "Warning: " + str(e)
 
620
        except shutil.Error:
 
621
            pass
1055
622
 
1056
623
def action_symlink(src, dst, dry):
1057
624
    """Creates a symlink in a given location. Creates all parent directories
1067
634
    if not dry:
1068
635
        os.symlink(src, dst)
1069
636
 
1070
 
def action_append(ivle_pth, ivle_www):
1071
 
    file = open(ivle_pth, 'a+')
1072
 
    file.write(ivle_www + '\n')
1073
 
    file.close()
1074
 
 
1075
637
def action_chown_setuid(file, dry):
1076
638
    """Chowns a file to root, and sets the setuid bit on the file.
1077
639
    Calling this function requires the euid to be root.
1086
648
        os.chmod(file, stat.S_IXUSR | stat.S_IXGRP | stat.S_IXOTH
1087
649
            | stat.S_ISUID | stat.S_IRUSR | stat.S_IWUSR)
1088
650
 
1089
 
def action_chmod_x(file, dry):
1090
 
    """Chmod 755 a file (sets permissions to rwxr-xr-x)."""
1091
 
    print "chmod 755", file
1092
 
    if not dry:
1093
 
        os.chmod(file, stat.S_IXUSR | stat.S_IRUSR | stat.S_IWUSR
1094
 
            | stat.S_IXGRP | stat.S_IRGRP | stat.S_IXOTH | stat.S_IROTH)
1095
 
 
1096
651
def query_user(default, prompt):
1097
652
    """Prompts the user for a string, which is read from a line of stdin.
1098
653
    Exits silently if EOF is encountered. Returns the string, with spaces