← Back to branch summary

~azzar1/unity/add-show-desktop-key

« back to all changes in this revision

Viewing changes to setup.py

  • Committer: mattgiuca
  • Date: 2008-03-01 01:59:10 UTC
  • Revision ID: svn-v3-trunk0:2b9c9e99-6f39-0410-b283-7f802c844ae2:trunk:630
subjects: Added subjects/subjects.css to correctly style the iframe.
    Added "sample" subject home page with minimal instructions on how to make
    a subject home page.
    Link to subjects.css.
Set svn:ignore on apps/subjects and apps/home (*.pyc).

Show diffs side-by-side

added added

removed removed

Lines of Context:
setup.py
31
31
# cutting a distribution, and the listfile it generates should be included in
32
32
# the distribution, avoiding the administrator having to run it.
33
33
 
34
 
# setup.py conf [args]
 
34
# setup.py config [args]
35
35
# Configures IVLE with machine-specific details, most notably, various paths.
36
36
# Either prompts the administrator for these details or accepts them as
37
37
# command-line args.
38
 
# Creates www/conf/conf.py and trampoline/conf.h.
 
38
# Creates lib/conf/conf.py and trampoline/conf.h.
39
39
 
40
40
# setup.py build
41
41
# Compiles all files and sets up a jail template in the source directory.
68
68
import compileall
69
69
import getopt
70
70
 
 
71
# Import modules from the website is tricky since they're in the www
 
72
# directory.
 
73
sys.path.append(os.path.join(os.getcwd(), 'lib'))
 
74
import conf
 
75
import common.makeuser
 
76
 
 
77
# Determine which Python version (2.4 or 2.5, for example) we are running,
 
78
# and use that as the filename to the Python directory.
 
79
# Just get the first 3 characters of sys.version.
 
80
PYTHON_VERSION = sys.version[0:3]
 
81
 
 
82
# Operating system files to copy over into the jail.
 
83
# These will be copied from the given place on the OS file system into the
 
84
# same place within the jail.
 
85
JAIL_FILES = [
 
86
    '/lib/ld-linux.so.2',
 
87
    '/lib/tls/i686/cmov/libc.so.6',
 
88
    '/lib/tls/i686/cmov/libdl.so.2',
 
89
    '/lib/tls/i686/cmov/libm.so.6',
 
90
    '/lib/tls/i686/cmov/libpthread.so.0',
 
91
    '/lib/tls/i686/cmov/libutil.so.1',
 
92
    '/etc/ld.so.conf',
 
93
    '/etc/ld.so.cache',
 
94
    # These 2 files do not exist in Ubuntu
 
95
    #'/etc/ld.so.preload',
 
96
    #'/etc/ld.so.nohwcap',
 
97
    # UNIX commands
 
98
    '/usr/bin/strace',
 
99
    '/bin/ls',
 
100
    '/bin/echo',
 
101
    # Needed by python
 
102
    '/usr/bin/python%s' % PYTHON_VERSION,
 
103
    # Needed by fileservice
 
104
    '/lib/libcom_err.so.2',
 
105
    '/lib/libcrypt.so.1',
 
106
    '/lib/libkeyutils.so.1',
 
107
    '/lib/libresolv.so.2',
 
108
    '/lib/librt.so.1',
 
109
    '/lib/libuuid.so.1',
 
110
    '/usr/lib/libapr-1.so.0',
 
111
    '/usr/lib/libaprutil-1.so.0',
 
112
    '/usr/lib/libdb-4.4.so',
 
113
    '/usr/lib/libexpat.so.1',
 
114
    '/usr/lib/libgcrypt.so.11',
 
115
    '/usr/lib/libgnutls.so.13',
 
116
    '/usr/lib/libgpg-error.so.0',
 
117
    '/usr/lib/libgssapi_krb5.so.2',
 
118
    '/usr/lib/libk5crypto.so.3',
 
119
    '/usr/lib/libkrb5.so.3',
 
120
    '/usr/lib/libkrb5support.so.0',
 
121
    '/usr/lib/liblber.so.2',
 
122
    '/usr/lib/libldap_r.so.2',
 
123
    '/usr/lib/libneon.so.26',
 
124
    '/usr/lib/libpq.so.5',
 
125
    '/usr/lib/libsasl2.so.2',
 
126
    '/usr/lib/libsqlite3.so.0',
 
127
    '/usr/lib/libsvn_client-1.so.1',
 
128
    '/usr/lib/libsvn_delta-1.so.1',
 
129
    '/usr/lib/libsvn_diff-1.so.1',
 
130
    '/usr/lib/libsvn_fs-1.so.1',
 
131
    '/usr/lib/libsvn_fs_base-1.so.1',
 
132
    '/usr/lib/libsvn_fs_fs-1.so.1',
 
133
    '/usr/lib/libsvn_ra-1.so.1',
 
134
    '/usr/lib/libsvn_ra_dav-1.so.1',
 
135
    '/usr/lib/libsvn_ra_local-1.so.1',
 
136
    '/usr/lib/libsvn_ra_svn-1.so.1',
 
137
    '/usr/lib/libsvn_repos-1.so.1',
 
138
    '/usr/lib/libsvn_subr-1.so.1',
 
139
    '/usr/lib/libsvn_wc-1.so.1',
 
140
    '/usr/lib/libtasn1.so.3',
 
141
    '/usr/lib/libxml2.so.2',
 
142
    # Needed by matplotlib
 
143
    '/usr/lib/i686/cmov/libssl.so.0.9.8',
 
144
    '/usr/lib/i686/cmov/libcrypto.so.0.9.8',
 
145
    '/lib/tls/i686/cmov/libnsl.so.1',
 
146
    '/usr/lib/libz.so.1',
 
147
    '/usr/lib/atlas/liblapack.so.3',
 
148
    '/usr/lib/atlas/libblas.so.3',
 
149
    '/usr/lib/libg2c.so.0',
 
150
    '/usr/lib/libstdc++.so.6',
 
151
    '/usr/lib/libfreetype.so.6',
 
152
    '/usr/lib/libpng12.so.0',
 
153
    '/usr/lib/libBLT.2.4.so.8.4',
 
154
    '/usr/lib/libtk8.4.so.0',
 
155
    '/usr/lib/libtcl8.4.so.0',
 
156
    '/usr/lib/tcl8.4/init.tcl',
 
157
    '/usr/lib/libX11.so.6',
 
158
    '/usr/lib/libXau.so.6',
 
159
    '/usr/lib/libXdmcp.so.6',
 
160
    '/lib/libgcc_s.so.1',
 
161
    '/etc/matplotlibrc',
 
162
    # Needed for resolv
 
163
    '/lib/libnss_dns.so.2',
 
164
    #'/lib/libnss_mdns4.so',
 
165
    '/etc/hosts',
 
166
    '/etc/resolv.conf',
 
167
    #'/etc/hosts.conf',
 
168
    #'/etc/hostname',
 
169
    '/etc/nsswitch.conf',
 
170
    '/lib/libnss_files.so.2',
 
171
]
 
172
# Symlinks to make within the jail. Src mapped to dst.
 
173
JAIL_LINKS = {
 
174
    'python%s' % PYTHON_VERSION: 'jail/usr/bin/python',
 
175
}
 
176
# Trees to copy. Src mapped to dst (these will be passed to action_copytree).
 
177
JAIL_COPYTREES = {
 
178
    '/usr/lib/python%s' % PYTHON_VERSION:
 
179
        'jail/usr/lib/python%s' % PYTHON_VERSION,
 
180
    '/usr/share/matplotlib': 'jail/usr/share/matplotlib',
 
181
    '/etc/ld.so.conf.d': 'jail/etc/ld.so.conf.d',
 
182
}
 
183
 
 
184
class ConfigOption:
 
185
    """A configuration option; one of the things written to conf.py."""
 
186
    def __init__(self, option_name, default, prompt, comment):
 
187
        """Creates a configuration option.
 
188
        option_name: Name of the variable in conf.py. Also name of the
 
189
            command-line argument to setup.py conf.
 
190
        default: Default value for this variable.
 
191
        prompt: (Short) string presented during the interactive prompt in
 
192
            setup.py conf.
 
193
        comment: (Long) comment string stored in conf.py. Each line of this
 
194
            string should begin with a '#'.
 
195
        """
 
196
        self.option_name = option_name
 
197
        self.default = default
 
198
        self.prompt = prompt
 
199
        self.comment = comment
 
200
 
 
201
# Configuration options, defaults and descriptions
 
202
config_options = []
 
203
config_options.append(ConfigOption("root_dir", "/",
 
204
    """Root directory where IVLE is located (in URL space):""",
 
205
    """
 
206
# In URL space, where in the site is IVLE located. (All URLs will be prefixed
 
207
# with this).
 
208
# eg. "/" or "/ivle"."""))
 
209
config_options.append(ConfigOption("ivle_install_dir", "/opt/ivle",
 
210
    'Root directory where IVLE will be installed (on the local file '
 
211
    'system):',
 
212
    """
 
213
# In the local file system, where IVLE is actually installed.
 
214
# This directory should contain the "www" and "bin" directories."""))
 
215
config_options.append(ConfigOption("jail_base", "/home/informatics/jails",
 
216
    """Location of Directories
 
217
=======================
 
218
Root directory where the jails (containing user files) are stored
 
219
(on the local file system):""",
 
220
    """
 
221
# In the local file system, where are the student/user file spaces located.
 
222
# The user jails are expected to be located immediately in subdirectories of
 
223
# this location."""))
 
224
config_options.append(ConfigOption("subjects_base",
 
225
    "/home/informatics/subjects",
 
226
    """Root directory where the subject directories (containing worksheets
 
227
and other per-subject files) are stored (on the local file system):""",
 
228
    """
 
229
# In the local file system, where are the per-subject file spaces located.
 
230
# The individual subject directories are expected to be located immediately
 
231
# in subdirectories of this location."""))
 
232
config_options.append(ConfigOption("exercises_base",
 
233
    "/home/informatics/exercises",
 
234
    """Root directory where the exercise directories (containing
 
235
subject-independent exercise sheets) are stored (on the local file
 
236
system):""",
 
237
    """
 
238
# In the local file system, where are the subject-independent exercise sheet
 
239
# file spaces located."""))
 
240
config_options.append(ConfigOption("public_host", "public.localhost",
 
241
    """Hostname which will cause the server to go into "public mode",
 
242
providing login-free access to student's published work:""",
 
243
    """
 
244
# The server goes into "public mode" if the browser sends a request with this
 
245
# host. This is for security reasons - we only serve public student files on a
 
246
# separate domain to the main IVLE site.
 
247
# Public mode does not use cookies, and serves only public content.
 
248
# Private mode (normal mode) requires login, and only serves files relevant to
 
249
# the logged-in user."""))
 
250
config_options.append(ConfigOption("allowed_uids", "33",
 
251
    """UID of the web server process which will run IVLE.
 
252
Only this user may execute the trampoline. May specify multiple users as
 
253
a comma-separated list.
 
254
    (eg. "1002,78")""",
 
255
    """
 
256
# The User-ID of the web server process which will run IVLE, and any other
 
257
# users who are allowed to run the trampoline. This is stores as a string of
 
258
# comma-separated integers, simply because it is not used within Python, only
 
259
# used by the setup program to write to conf.h (see setup.py config)."""))
 
260
config_options.append(ConfigOption("db_host", "localhost",
 
261
    """PostgreSQL Database config
 
262
==========================
 
263
Hostname of the DB server:""",
 
264
    """
 
265
### PostgreSQL Database config ###
 
266
# Database server hostname"""))
 
267
config_options.append(ConfigOption("db_port", "5432",
 
268
    """Port of the DB server:""",
 
269
    """
 
270
# Database server port"""))
 
271
config_options.append(ConfigOption("db_dbname", "ivle",
 
272
    """Database name:""",
 
273
    """
 
274
# Database name"""))
 
275
config_options.append(ConfigOption("db_forumdbname", "ivle_forum",
 
276
    """Forum Database name:""",
 
277
    """
 
278
# Forum Database name"""))
 
279
config_options.append(ConfigOption("db_user", "postgres",
 
280
    """Username for DB server login:""",
 
281
    """
 
282
# Database username"""))
 
283
config_options.append(ConfigOption("db_password", "",
 
284
    """Password for DB server login:
 
285
    (Caution: This password is stored in plaintext in lib/conf/conf.py)""",
 
286
    """
 
287
# Database password"""))
 
288
config_options.append(ConfigOption("auth_modules", "ldap_auth",
 
289
    """Authentication config
 
290
=====================
 
291
Comma-separated list of authentication modules. Only "ldap" is available
 
292
by default.""",
 
293
    """
 
294
# Comma-separated list of authentication modules.
 
295
# These refer to importable Python modules in the www/auth directory.
 
296
# Modules "ldap" and "guest" are available in the source tree, but
 
297
# other modules may be plugged in to auth against organisation-specific
 
298
# auth backends."""))
 
299
config_options.append(ConfigOption("ldap_url", "ldaps://www.example.com",
 
300
    """(LDAP options are only relevant if "ldap" is included in the list of
 
301
auth modules).
 
302
URL for LDAP authentication server:""",
 
303
    """
 
304
# URL for LDAP authentication server"""))
 
305
config_options.append(ConfigOption("ldap_format_string",
 
306
    "uid=%s,ou=users,o=example",
 
307
    """Format string for LDAP auth request:
 
308
    (Must contain a single "%s" for the user's login name)""",
 
309
    """
 
310
# Format string for LDAP auth request
 
311
# (Must contain a single "%s" for the user's login name)"""))
 
312
config_options.append(ConfigOption("svn_addr", "http://svn.localhost/",
 
313
    """Subversion config
 
314
=================
 
315
The base url for accessing subversion repositories:""",
 
316
    """
 
317
# The base url for accessing subversion repositories."""))
 
318
config_options.append(ConfigOption("svn_conf", "/opt/ivle/svn/svn.conf",
 
319
    """The location of the subversion configuration file used by apache
 
320
to host the user repositories:""",
 
321
    """
 
322
# The location of the subversion configuration file used by
 
323
# apache to host the user repositories."""))
 
324
config_options.append(ConfigOption("svn_repo_path", "/home/informatics/repositories",
 
325
    """The root directory for the subversion repositories:""",
 
326
    """
 
327
# The root directory for the subversion repositories."""))
 
328
config_options.append(ConfigOption("svn_auth_ivle", "/opt/ivle/svn/ivle.auth",
 
329
    """The location of the password file used to authenticate users
 
330
of the subversion repository from the ivle server:""",
 
331
    """
 
332
# The location of the password file used to authenticate users
 
333
# of the subversion repository from the ivle server."""))
 
334
config_options.append(ConfigOption("svn_auth_local", "/opt/ivle/svn/local.auth",
 
335
    """The location of the password file used to authenticate local users
 
336
of the subversion repository:""",
 
337
    """
 
338
# The location of the password file used to authenticate local users
 
339
# of the subversion repository."""))
 
340
config_options.append(ConfigOption("usrmgt_host", "localhost",
 
341
    """User Management Server config
 
342
============================
 
343
The hostname where the usrmgt-server runs:""",
 
344
    """
 
345
# The hostname where the usrmgt-server runs."""))
 
346
config_options.append(ConfigOption("usrmgt_port", "2178",
 
347
    """The port where the usrmgt-server runs:""",
 
348
    """
 
349
# The port where the usrmgt-server runs."""))
 
350
config_options.append(ConfigOption("usrmgt_magic", "",
 
351
    """The password for the usrmgt-server:""",
 
352
    """
 
353
# The password for the usrmgt-server."""))
 
354
 
71
355
# Try importing existing conf, but if we can't just set up defaults
72
356
# The reason for this is that these settings are used by other phases
73
357
# of setup besides conf, so we need to know them.
74
358
# Also this allows you to hit Return to accept the existing value.
75
359
try:
76
 
    confmodule = __import__("www/conf/conf")
77
 
    try:
78
 
        root_dir = confmodule.root_dir
79
 
    except:
80
 
        root_dir = "/ivle"
81
 
    try:
82
 
        ivle_install_dir = confmodule.ivle_install_dir
83
 
    except:
84
 
        ivle_install_dir = "/opt/ivle"
85
 
    try:
86
 
        jail_base = confmodule.jail_base
87
 
    except:
88
 
        jail_base = "/home/informatics/jails"
 
360
    confmodule = __import__("lib/conf/conf")
 
361
    for opt in config_options:
 
362
        try:
 
363
            globals()[opt.option_name] = confmodule.__dict__[opt.option_name]
 
364
        except:
 
365
            globals()[opt.option_name] = opt.default
89
366
except ImportError:
90
367
    # Just set reasonable defaults
91
 
    root_dir = "/ivle"
92
 
    ivle_install_dir = "/opt/ivle"
93
 
    jail_base = "/home/informatics/jails"
94
 
# Always defaults
95
 
allowed_uids = "0"
 
368
    for opt in config_options:
 
369
        globals()[opt.option_name] = opt.default
96
370
 
97
371
# Try importing install_list, but don't fail if we can't, because listmake can
98
372
# function without it.
107
381
# as necessary, and include it in the distribution.
108
382
listmake_mimetypes = ['text/x-python', 'text/html',
109
383
    'application/x-javascript', 'application/javascript',
110
 
    'text/css', 'image/png']
 
384
    'text/css', 'image/png', 'image/gif', 'application/xml']
111
385
 
112
386
# Main function skeleton from Guido van Rossum
113
387
# http://www.artima.com/weblogs/viewpost.jsp?thread=4829
136
410
        return 1
137
411
 
138
412
    # Disallow run as root unless installing
139
 
    if operation != 'install' and os.geteuid() == 0:
 
413
    if (operation != 'install' and operation != 'updatejails'
 
414
        and os.geteuid() == 0):
140
415
        print >>sys.stderr, "I do not want to run this stage as root."
141
416
        print >>sys.stderr, "Please run as a normal user."
142
417
        return 1
144
419
    try:
145
420
        oper_func = {
146
421
            'help' : help,
147
 
            'conf' : conf,
 
422
            'config' : conf,
148
423
            'build' : build,
149
424
            'listmake' : listmake,
150
425
            'install' : install,
 
426
            'updatejails' : updatejails,
151
427
        }[operation]
152
428
    except KeyError:
153
429
        print >>sys.stderr, (
164
440
Operation (and args) can be:
165
441
    help [operation]
166
442
    listmake (developer use only)
167
 
    conf [args]
 
443
    config [args]
168
444
    build
169
 
    install [--nojail] [-n|--dry]
 
445
    install [--nojail] [--nosubjects] [-n|--dry]
170
446
"""
171
447
        return 1
172
448
    elif len(args) != 1:
185
461
be copied upon installation. This should be run by the developer before
186
462
cutting a distribution, and the listfile it generates should be included in
187
463
the distribution, avoiding the administrator having to run it."""
188
 
    elif operation == 'conf':
189
 
        print """python setup.py conf [args]
 
464
    elif operation == 'config':
 
465
        print """python setup.py config [args]
190
466
Configures IVLE with machine-specific details, most notably, various paths.
191
467
Either prompts the administrator for these details or accepts them as
192
468
command-line args. Will be interactive only if there are no arguments given.
196
472
to rebuild/install), just provide ivle_install_dir as the IVLE trunk
197
473
directory, and run build/install one time.
198
474
 
199
 
Creates www/conf/conf.py and trampoline/conf.h.
 
475
Creates lib/conf/conf.py and trampoline/conf.h.
200
476
 
201
 
Args are:
202
 
    --root_dir
203
 
    --ivle_install_dir
204
 
    --jail_base
205
 
    --allowed_uids
206
 
As explained in the interactive prompt or conf.py.
 
477
Args are:"""
 
478
        for opt in config_options:
 
479
            print "    --" + opt.option_name
 
480
        print """As explained in the interactive prompt or conf.py.
207
481
"""
208
482
    elif operation == 'build':
209
483
        print """python -O setup.py build [--dry|-n]
220
494
 
221
495
--dry | -n  Print out the actions but don't do anything."""
222
496
    elif operation == 'install':
223
 
        print """sudo python setup.py install [--nojail] [--dry|-n]
 
497
        print """sudo python setup.py install [--nojail] [--nosubjects][--dry|-n]
224
498
(Requires root)
225
499
Create target install directory ($target).
226
500
Create $target/bin.
228
502
chown and chmod the installed trampoline.
229
503
Copy www/ to $target.
230
504
Copy jail/ to jails template directory (unless --nojail specified).
231
 
 
232
 
--nojail    Do not copy the jail.
 
505
Copy subjects/ to subjects directory (unless --nosubjects specified).
 
506
 
 
507
--nojail        Do not copy the jail.
 
508
--nosubjects    Do not copy the subjects and exercises directories.
 
509
--dry | -n  Print out the actions but don't do anything."""
 
510
    elif operation == 'updatejails':
 
511
        print """sudo python setup.py updatejails [--dry|-n]
 
512
(Requires root)
 
513
Copy jail/ to each subdirectory in jails directory.
 
514
 
233
515
--dry | -n  Print out the actions but don't do anything."""
234
516
    else:
235
517
        print >>sys.stderr, (
240
522
def listmake(args):
241
523
    # We build two separate lists, by walking www and console
242
524
    list_www = build_list_py_files('www')
243
 
    list_console = build_list_py_files('console')
 
525
    list_lib = build_list_py_files('lib')
 
526
    list_subjects = build_list_py_files('subjects', no_top_level=True)
 
527
    list_exercises = build_list_py_files('exercises', no_top_level=True)
 
528
    list_scripts = [
 
529
        "scripts/python-console",
 
530
        "scripts/fileservice",
 
531
        "scripts/usrmgt-server",
 
532
        "scripts/diffservice",
 
533
    ]
244
534
    # Make sure that the files generated by conf are in the list
245
535
    # (since listmake is typically run before conf)
246
 
    if "www/conf/conf.py" not in list_www:
247
 
        list_www.append("www/conf/conf.py")
248
 
    # Make sure that console/python-console is in the list
249
 
    if "console/python-console" not in list_console:
250
 
        list_console.append("console/python-console")
 
536
    if "lib/conf/conf.py" not in list_lib:
 
537
        list_lib.append("lib/conf/conf.py")
251
538
    # Write these out to a file
252
539
    cwd = os.getcwd()
253
540
    # the files that will be created/overwritten
267
554
list_www = """)
268
555
        writelist_pretty(file, list_www)
269
556
        file.write("""
270
 
# List of all installable files in console directory.
271
 
list_console = """)
272
 
        writelist_pretty(file, list_console)
 
557
# List of all installable files in lib directory.
 
558
list_lib = """)
 
559
        writelist_pretty(file, list_lib)
 
560
        file.write("""
 
561
# List of all installable files in scripts directory.
 
562
list_scripts = """)
 
563
        writelist_pretty(file, list_scripts)
 
564
        file.write("""
 
565
# List of all installable files in subjects directory.
 
566
# This is to install sample subjects and material.
 
567
list_subjects = """)
 
568
        writelist_pretty(file, list_subjects)
 
569
        file.write("""
 
570
# List of all installable files in exercises directory.
 
571
# This is to install sample exercise material.
 
572
list_exercises = """)
 
573
        writelist_pretty(file, list_exercises)
273
574
 
274
575
        file.close()
275
576
    except IOError, (errno, strerror):
286
587
 
287
588
    return 0
288
589
 
289
 
def build_list_py_files(dir):
 
590
def build_list_py_files(dir, no_top_level=False):
290
591
    """Builds a list of all py files found in a directory and its
291
 
    subdirectories. Returns this as a list of strings."""
 
592
    subdirectories. Returns this as a list of strings.
 
593
    no_top_level=True means the file paths will not include the top-level
 
594
    directory.
 
595
    """
292
596
    pylist = []
293
597
    for (dirpath, dirnames, filenames) in os.walk(dir):
294
598
        # Exclude directories beginning with a '.' (such as '.svn')
296
600
        # All *.py files are added to the list
297
601
        pylist += [os.path.join(dirpath, item) for item in filenames
298
602
            if mimetypes.guess_type(item)[0] in listmake_mimetypes]
 
603
    if no_top_level:
 
604
        for i in range(0, len(pylist)):
 
605
            _, pylist[i] = pylist[i].split(os.sep, 1)
299
606
    return pylist
300
607
 
301
608
def writelist_pretty(file, list):
309
616
        file.write(']\n')
310
617
 
311
618
def conf(args):
312
 
    global root_dir, ivle_install_dir, jail_base, allowed_uids
 
619
    global db_port, usrmgt_port
313
620
    # Set up some variables
314
621
 
315
622
    cwd = os.getcwd()
316
623
    # the files that will be created/overwritten
317
 
    conffile = os.path.join(cwd, "www/conf/conf.py")
 
624
    conffile = os.path.join(cwd, "lib/conf/conf.py")
 
625
    jailconffile = os.path.join(cwd, "lib/conf/jailconf.py")
318
626
    conf_hfile = os.path.join(cwd, "trampoline/conf.h")
 
627
    phpBBconffile = os.path.join(cwd, "www/php/phpBB3/config.php")
319
628
 
320
629
    # Get command-line arguments to avoid asking questions.
321
630
 
322
 
    (opts, args) = getopt.gnu_getopt(args, "", ['root_dir=',
323
 
                    'ivle_install_dir=', 'jail_base=', 'allowed_uids='])
 
631
    optnames = []
 
632
    for opt in config_options:
 
633
        optnames.append(opt.option_name + "=")
 
634
    (opts, args) = getopt.gnu_getopt(args, "", optnames)
324
635
 
325
636
    if args != []:
326
637
        print >>sys.stderr, "Invalid arguments:", string.join(args, ' ')
332
643
        print """This tool will create the following files:
333
644
    %s
334
645
    %s
 
646
    %s
335
647
prompting you for details about your configuration. The file will be
336
648
overwritten if it already exists. It will *not* install or deploy IVLE.
337
649
 
338
650
Please hit Ctrl+C now if you do not wish to do this.
339
 
""" % (conffile, conf_hfile)
 
651
""" % (conffile, jailconffile, conf_hfile)
340
652
 
341
653
        # Get information from the administrator
342
654
        # If EOF is encountered at any time during the questioning, just exit
343
655
        # silently
344
656
 
345
 
        root_dir = query_user(root_dir,
346
 
        """Root directory where IVLE is located (in URL space):""")
347
 
        ivle_install_dir = query_user(ivle_install_dir,
348
 
        'Root directory where IVLE will be installed (on the local file '
349
 
        'system):')
350
 
        jail_base = query_user(jail_base,
351
 
        """Root directory where the jails (containing user files) are stored
352
 
(on the local file system):""")
353
 
        allowed_uids = query_user(allowed_uids,
354
 
        """UID of the web server process which will run IVLE.
355
 
Only this user may execute the trampoline. May specify multiple users as
356
 
a comma-separated list.
357
 
    (eg. "1002,78")""")
358
 
 
 
657
        for opt in config_options:
 
658
            globals()[opt.option_name] = \
 
659
                query_user(globals()[opt.option_name], opt.prompt)
359
660
    else:
360
661
        opts = dict(opts)
361
662
        # Non-interactive mode. Parse the options.
362
 
        if '--root_dir' in opts:
363
 
            root_dir = opts['--root_dir']
364
 
        if '--ivle_install_dir' in opts:
365
 
            ivle_install_dir = opts['--ivle_install_dir']
366
 
        if '--jail_base' in opts:
367
 
            jail_base = opts['--jail_base']
368
 
        if '--allowed_uids' in opts:
369
 
            allowed_uids = opts['--allowed_uids']
 
663
        for opt in config_options:
 
664
            if '--' + opt.option_name in opts:
 
665
                globals()[opt.option_name] = opts['--' + opt.option_name]
370
666
 
371
667
    # Error handling on input values
372
668
    try:
373
 
        allowed_uids = map(int, allowed_uids.split(','))
 
669
        allowed_uids_list = map(int, allowed_uids.split(','))
374
670
    except ValueError:
375
671
        print >>sys.stderr, (
376
672
        "Invalid UID list (%s).\n"
377
673
        "Must be a comma-separated list of integers." % allowed_uids)
378
674
        return 1
 
675
    try:
 
676
        db_port = int(db_port)
 
677
        if db_port < 0 or db_port >= 65536: raise ValueError()
 
678
    except ValueError:
 
679
        print >>sys.stderr, (
 
680
        "Invalid DB port (%s).\n"
 
681
        "Must be an integer between 0 and 65535." % repr(db_port))
 
682
        return 1
 
683
    try:
 
684
        usrmgt_port = int(usrmgt_port)
 
685
        if usrmgt_port < 0 or usrmgt_port >= 65536: raise ValueError()
 
686
    except ValueError:
 
687
        print >>sys.stderr, (
 
688
        "Invalid user management port (%s).\n"
 
689
        "Must be an integer between 0 and 65535." % repr(usrmgt_port))
 
690
        return 1
379
691
 
380
 
    # Write www/conf/conf.py
 
692
    # Write lib/conf/conf.py
381
693
 
382
694
    try:
383
695
        conf = open(conffile, "w")
386
698
# conf.py
387
699
# Miscellaneous application settings
388
700
 
 
701
""")
 
702
        for opt in config_options:
 
703
            conf.write('%s\n%s = %s\n' % (opt.comment, opt.option_name,
 
704
                repr(globals()[opt.option_name])))
 
705
 
 
706
        conf.close()
 
707
    except IOError, (errno, strerror):
 
708
        print "IO error(%s): %s" % (errno, strerror)
 
709
        sys.exit(1)
 
710
 
 
711
    print "Successfully wrote lib/conf/conf.py"
 
712
 
 
713
    # Write conf/jailconf.py
 
714
 
 
715
    try:
 
716
        conf = open(jailconffile, "w")
 
717
 
 
718
        # In the "in-jail" version of conf, we don't need MOST of the details
 
719
        # (it would be a security risk to have them here).
 
720
        # So we just write root_dir, and jail_base is "/".
 
721
        # (jail_base being "/" means "jail-relative" paths are relative to "/"
 
722
        # when inside the jail.)
 
723
        conf.write("""# IVLE Configuration File
 
724
# conf.py
 
725
# Miscellaneous application settings
 
726
# (User jail version)
 
727
 
389
728
 
390
729
# In URL space, where in the site is IVLE located. (All URLs will be prefixed
391
730
# with this).
392
731
# eg. "/" or "/ivle".
393
 
root_dir = "%s"
394
 
 
395
 
# In the local file system, where IVLE is actually installed.
396
 
# This directory should contain the "www" and "bin" directories.
397
 
ivle_install_dir = "%s"
 
732
root_dir = %s
398
733
 
399
734
# In the local file system, where are the student/user file spaces located.
400
735
# The user jails are expected to be located immediately in subdirectories of
401
736
# this location.
402
 
jail_base = "%s"
403
 
""" % (root_dir, ivle_install_dir, jail_base))
 
737
jail_base = '/'
 
738
 
 
739
# The hostname for serving publicly accessible pages
 
740
public_host = %s
 
741
""" % (repr(root_dir),repr(public_host)))
404
742
 
405
743
        conf.close()
406
744
    except IOError, (errno, strerror):
407
745
        print "IO error(%s): %s" % (errno, strerror)
408
746
        sys.exit(1)
409
747
 
410
 
    print "Successfully wrote www/conf/conf.py"
 
748
    print "Successfully wrote lib/conf/jailconf.py"
411
749
 
412
750
    # Write trampoline/conf.h
413
751
 
432
770
 * (Note that root is an implicit member of this list).
433
771
 */
434
772
static const int allowed_uids[] = { %s };
435
 
""" % (jail_base, repr(allowed_uids)[1:-1]))
 
773
""" % (repr(jail_base)[1:-1], repr(allowed_uids_list)[1:-1]))
 
774
    # Note: The above uses PYTHON reprs, not C reprs
 
775
    # However they should be the same with the exception of the outer
 
776
    # characters, which are stripped off and replaced
436
777
 
437
778
        conf.close()
438
779
    except IOError, (errno, strerror):
441
782
 
442
783
    print "Successfully wrote trampoline/conf.h"
443
784
 
 
785
    # Write www/php/phpBB3/config.php
 
786
 
 
787
    try:
 
788
        conf = open(phpBBconffile, "w")
 
789
        
 
790
        # php-pg work around
 
791
        if db_host == 'localhost':
 
792
            forumdb_host = '127.0.0.1'
 
793
        else:
 
794
            forumdb_host = db_host
 
795
 
 
796
        conf.write( """<?php
 
797
// phpBB 3.0.x auto-generated configuration file
 
798
// Do not change anything in this file!
 
799
$dbms = 'postgres';
 
800
$dbhost = '""" + forumdb_host + """';
 
801
$dbport = '""" + str(db_port) + """';
 
802
$dbname = '""" + db_forumdbname + """';
 
803
$dbuser = '""" + db_user + """';
 
804
$dbpasswd = '""" + db_password + """';
 
805
 
 
806
$table_prefix = 'phpbb_';
 
807
$acm_type = 'file';
 
808
$load_extensions = '';
 
809
@define('PHPBB_INSTALLED', true);
 
810
// @define('DEBUG', true);
 
811
//@define('DEBUG_EXTRA', true);
 
812
?>"""   )
 
813
    
 
814
        conf.close()
 
815
    except IOError, (errno, strerror):
 
816
        print "IO error(%s): %s" % (errno, strerror)
 
817
        sys.exit(1)
 
818
 
 
819
    print "Successfully wrote www/php/phpBB3/config.php"
 
820
 
444
821
    print
445
822
    print "You may modify the configuration at any time by editing"
446
823
    print conffile
 
824
    print jailconffile
447
825
    print conf_hfile
 
826
    print phpBBconffile
448
827
    print
449
828
    return 0
450
829
 
458
837
        print "Dry run (no actions will be executed\n"
459
838
 
460
839
    # Compile the trampoline
461
 
    action_runprog('gcc', ['-Wall', '-o', 'trampoline/trampoline',
462
 
        'trampoline/trampoline.c'], dry)
 
840
    curdir = os.getcwd()
 
841
    os.chdir('trampoline')
 
842
    action_runprog('make', [], dry)
 
843
    os.chdir(curdir)
463
844
 
464
845
    # Create the jail and its subdirectories
465
846
    # Note: Other subdirs will be made by copying files
467
848
    action_mkdir('jail/home', dry)
468
849
    action_mkdir('jail/tmp', dry)
469
850
 
 
851
    # Chmod the tmp directory to world writable
 
852
    action_chmod_w('jail/tmp', dry)
 
853
 
470
854
    # Copy all console and operating system files into the jail
471
 
    action_copylist(install_list.list_console, 'jail/opt/ivle', dry)
 
855
    action_copylist(install_list.list_scripts, 'jail/opt/ivle', dry)
472
856
    copy_os_files_jail(dry)
 
857
    # Chmod the python console
 
858
    action_chmod_x('jail/opt/ivle/scripts/python-console', dry)
 
859
    action_chmod_x('jail/opt/ivle/scripts/fileservice', dry)
 
860
    
 
861
    # Also copy the IVLE lib directory into the jail
 
862
    # This is necessary for running certain scripts
 
863
    action_copylist(install_list.list_lib, 'jail/opt/ivle', dry)
 
864
    # IMPORTANT: The file jail/opt/ivle/lib/conf/conf.py contains details
 
865
    # which could compromise security if left in the jail (such as the DB
 
866
    # password).
 
867
    # The "safe" version is in jailconf.py. Delete conf.py and replace it with
 
868
    # jailconf.py.
 
869
    action_copyfile('lib/conf/jailconf.py',
 
870
        'jail/opt/ivle/lib/conf/conf.py', dry)
473
871
 
474
872
    # Compile .py files into .pyc or .pyo files
475
873
    compileall.compile_dir('www', quiet=True)
476
 
    compileall.compile_dir('console', quiet=True)
 
874
    compileall.compile_dir('lib', quiet=True)
 
875
    compileall.compile_dir('scripts', quiet=True)
 
876
    compileall.compile_dir('jail/opt/ivle/lib', quiet=True)
 
877
 
 
878
    # Set up ivle.pth inside the jail
 
879
    # Need to set /opt/ivle/lib to be on the import path
 
880
    ivle_pth = \
 
881
        "jail/usr/lib/python%s/site-packages/ivle.pth" % PYTHON_VERSION
 
882
    f = open(ivle_pth, 'w')
 
883
    f.write('/opt/ivle/lib\n')
 
884
    f.close()
477
885
 
478
886
    return 0
479
887
 
481
889
    """Copies necessary Operating System files from their usual locations
482
890
    into the jail/ directory of the cwd."""
483
891
    # Currently source paths are configured for Ubuntu.
484
 
    copy_file_to_jail('/lib/ld-linux.so.2', dry)
485
 
    copy_file_to_jail('/lib/tls/i686/cmov/libc.so.6', dry)
486
 
    copy_file_to_jail('/lib/tls/i686/cmov/libdl.so.2', dry)
487
 
    copy_file_to_jail('/lib/tls/i686/cmov/libm.so.6', dry)
488
 
    copy_file_to_jail('/lib/tls/i686/cmov/libpthread.so.0', dry)
489
 
    copy_file_to_jail('/lib/tls/i686/cmov/libutil.so.1', dry)
490
 
    copy_file_to_jail('/usr/bin/python2.5', dry)
491
 
    action_symlink('python2.5', 'jail/usr/bin/python', dry)
492
 
    action_copytree('/usr/lib/python2.5', 'jail/usr/lib/python2.5', dry)
 
892
    for filename in JAIL_FILES:
 
893
        copy_file_to_jail(filename, dry)
 
894
    for src, dst in JAIL_LINKS.items():
 
895
        action_symlink(src, dst, dry)
 
896
    for src, dst in JAIL_COPYTREES.items():
 
897
        action_copytree(src, dst, dry)
493
898
 
494
899
def copy_file_to_jail(src, dry):
495
900
    """Copies a single file from an absolute location into the same location
499
904
 
500
905
def install(args):
501
906
    # Get "dry" and "nojail" variables from command line
502
 
    (opts, args) = getopt.gnu_getopt(args, "n", ['dry', 'nojail'])
 
907
    (opts, args) = getopt.gnu_getopt(args, "n",
 
908
        ['dry', 'nojail', 'nosubjects'])
503
909
    opts = dict(opts)
504
910
    dry = '-n' in opts or '--dry' in opts
505
911
    nojail = '--nojail' in opts
 
912
    nosubjects = '--nosubjects' in opts
506
913
 
507
914
    if dry:
508
915
        print "Dry run (no actions will be executed\n"
522
929
    # chown trampoline to root and set setuid bit
523
930
    action_chown_setuid(tramppath, dry)
524
931
 
525
 
    # Copy the www directory using the list
 
932
    # Create a scripts directory to put the usrmgt-server in.
 
933
    action_mkdir(os.path.join(ivle_install_dir, 'scripts'), dry)
 
934
    usrmgtpath = os.path.join(ivle_install_dir, 'scripts/usrmgt-server')
 
935
    action_copyfile('scripts/usrmgt-server', usrmgtpath, dry)
 
936
    action_chmod_x(usrmgtpath, dry)
 
937
 
 
938
    # Copy the www and lib directories using the list
526
939
    action_copylist(install_list.list_www, ivle_install_dir, dry)
 
940
    action_copylist(install_list.list_lib, ivle_install_dir, dry)
 
941
    
 
942
    # Copy the php directory
 
943
    action_copytree('www/php/phpBB3',os.path.join(ivle_install_dir,'www/php/phpBB3'), 
 
944
    dry)
527
945
 
528
946
    if not nojail:
529
947
        # Copy the local jail directory built by the build action
530
948
        # to the jails template directory (it will be used as a template
531
949
        # for all the students' jails).
532
950
        action_copytree('jail', os.path.join(jail_base, 'template'), dry)
 
951
    if not nosubjects:
 
952
        # Copy the subjects and exercises directories across
 
953
        action_copylist(install_list.list_subjects, subjects_base, dry,
 
954
            srcdir="./subjects")
 
955
        action_copylist(install_list.list_exercises, exercises_base, dry,
 
956
            srcdir="./exercises")
 
957
 
 
958
    # Append IVLE path to ivle.pth in python site packages
 
959
    # (Unless it's already there)
 
960
    ivle_pth = os.path.join(sys.prefix,
 
961
        "lib/python%s/site-packages/ivle.pth" % PYTHON_VERSION)
 
962
    ivle_www = os.path.join(ivle_install_dir, "www")
 
963
    ivle_lib = os.path.join(ivle_install_dir, "lib")
 
964
    write_ivle_pth = True
 
965
    write_ivle_lib_pth = True
 
966
    try:
 
967
        file = open(ivle_pth, 'r')
 
968
        for line in file:
 
969
            if line.strip() == ivle_www:
 
970
                write_ivle_pth = False
 
971
            elif line.strip() == ivle_lib:
 
972
                write_ivle_lib_pth = False
 
973
        file.close()
 
974
    except (IOError, OSError):
 
975
        pass
 
976
    if write_ivle_pth:
 
977
        action_append(ivle_pth, ivle_www)
 
978
    if write_ivle_lib_pth:
 
979
        action_append(ivle_pth, ivle_lib)
 
980
 
 
981
    return 0
 
982
 
 
983
def updatejails(args):
 
984
    # Get "dry" variable from command line
 
985
    (opts, args) = getopt.gnu_getopt(args, "n", ['dry'])
 
986
    opts = dict(opts)
 
987
    dry = '-n' in opts or '--dry' in opts
 
988
 
 
989
    if dry:
 
990
        print "Dry run (no actions will be executed\n"
 
991
 
 
992
    if not dry and os.geteuid() != 0:
 
993
        print >>sys.stderr, "Must be root to run install"
 
994
        print >>sys.stderr, "(I need to chown some files)."
 
995
        return 1
 
996
 
 
997
    # Update the template jail directory in case it hasn't been installed
 
998
    # recently.
 
999
    action_copytree('jail', os.path.join(jail_base, 'template'), dry)
 
1000
 
 
1001
    # Re-link all the files in all students jails.
 
1002
    for dir in os.listdir(jail_base):
 
1003
        if dir == 'template': continue
 
1004
        # First back up the student's home directory
 
1005
        temp_home = os.tmpnam()
 
1006
        action_rename(os.path.join(jail_base, dir, 'home'), temp_home, dry)
 
1007
        # Delete the student's jail and relink the jail files
 
1008
        action_linktree(os.path.join(jail_base, 'template'),
 
1009
            os.path.join(jail_base, dir), dry)
 
1010
        # Restore the student's home directory
 
1011
        action_rename(temp_home, os.path.join(jail_base, dir, 'home'), dry)
 
1012
        # Set up the user's home directory just in case they don't have a
 
1013
        # directory for this yet
 
1014
        action_mkdir(os.path.join(jail_base, dir, 'home', dir), dry)
533
1015
 
534
1016
    return 0
535
1017
 
562
1044
    if ret != 0:
563
1045
        raise RunError(prog, ret)
564
1046
 
 
1047
def action_remove(path, dry):
 
1048
    """Calls rmtree, deleting the target file if it exists."""
 
1049
    try:
 
1050
        print "rm -r", path
 
1051
        if not dry:
 
1052
            shutil.rmtree(path, True)
 
1053
    except OSError, (err, msg):
 
1054
        if err != errno.EEXIST:
 
1055
            raise
 
1056
        # Otherwise, didn't exist, so we don't care
 
1057
 
 
1058
def action_rename(src, dst, dry):
 
1059
    """Calls rename. Deletes the target if it already exists."""
 
1060
    action_remove(dst, dry)
 
1061
    print "mv ", src, dst
 
1062
    if dry: return
 
1063
    try:
 
1064
        os.rename(src, dst)
 
1065
    except OSError, (err, msg):
 
1066
        if err != errno.EEXIST:
 
1067
            raise
 
1068
 
565
1069
def action_mkdir(path, dry):
566
1070
    """Calls mkdir. Silently ignored if the directory already exists.
567
1071
    Creates all parent directories as necessary."""
579
1083
    directories as necessary.
580
1084
 
581
1085
    See shutil.copytree."""
582
 
    if os.access(dst, os.F_OK):
583
 
        print "rm -r", dst
584
 
        if not dry:
585
 
            shutil.rmtree(dst, True)
 
1086
    # Allow copying over itself
 
1087
    if (os.path.normpath(os.path.join(os.getcwd(),src)) ==
 
1088
        os.path.normpath(os.path.join(os.getcwd(),dst))):
 
1089
        return
 
1090
    action_remove(dst, dry)
586
1091
    print "cp -r", src, dst
587
1092
    if dry: return
588
1093
    shutil.copytree(src, dst, True)
589
1094
 
590
 
def action_copylist(srclist, dst, dry):
 
1095
def action_linktree(src, dst, dry):
 
1096
    """Hard-links an entire directory tree. Same as copytree but the created
 
1097
    files are hard-links not actual copies. Removes the existing destination.
 
1098
    """
 
1099
    action_remove(dst, dry)
 
1100
    print "<cp with hardlinks> -r", src, dst
 
1101
    if dry: return
 
1102
    common.makeuser.linktree(src, dst)
 
1103
 
 
1104
def action_copylist(srclist, dst, dry, srcdir="."):
591
1105
    """Copies all files in a list to a new location. The files in the list
592
1106
    are read relative to the current directory, and their destinations are the
593
1107
    same paths relative to dst. Creates all parent directories as necessary.
 
1108
    srcdir is "." by default, can be overridden.
594
1109
    """
595
1110
    for srcfile in srclist:
596
1111
        dstfile = os.path.join(dst, srcfile)
 
1112
        srcfile = os.path.join(srcdir, srcfile)
597
1113
        dstdir = os.path.split(dstfile)[0]
598
1114
        if not os.path.isdir(dstdir):
599
1115
            action_mkdir(dstdir, dry)
608
1124
def action_copyfile(src, dst, dry):
609
1125
    """Copies one file to a new location. Creates all parent directories
610
1126
    as necessary.
 
1127
    Warn if file not found.
611
1128
    """
612
1129
    dstdir = os.path.split(dst)[0]
613
1130
    if not os.path.isdir(dstdir):
617
1134
        try:
618
1135
            shutil.copyfile(src, dst)
619
1136
            shutil.copymode(src, dst)
620
 
        except shutil.Error:
621
 
            pass
 
1137
        except (shutil.Error, IOError), e:
 
1138
            print "Warning: " + str(e)
622
1139
 
623
1140
def action_symlink(src, dst, dry):
624
1141
    """Creates a symlink in a given location. Creates all parent directories
634
1151
    if not dry:
635
1152
        os.symlink(src, dst)
636
1153
 
 
1154
def action_append(ivle_pth, ivle_www):
 
1155
    file = open(ivle_pth, 'a+')
 
1156
    file.write(ivle_www + '\n')
 
1157
    file.close()
 
1158
 
637
1159
def action_chown_setuid(file, dry):
638
1160
    """Chowns a file to root, and sets the setuid bit on the file.
639
1161
    Calling this function requires the euid to be root.
648
1170
        os.chmod(file, stat.S_IXUSR | stat.S_IXGRP | stat.S_IXOTH
649
1171
            | stat.S_ISUID | stat.S_IRUSR | stat.S_IWUSR)
650
1172
 
 
1173
def action_chmod_x(file, dry):
 
1174
    """Chmod 755 a file (sets permissions to rwxr-xr-x)."""
 
1175
    print "chmod 755", file
 
1176
    if not dry:
 
1177
        os.chmod(file, stat.S_IXUSR | stat.S_IRUSR | stat.S_IWUSR
 
1178
            | stat.S_IXGRP | stat.S_IRGRP | stat.S_IXOTH | stat.S_IROTH)
 
1179
 
 
1180
 
 
1181
def action_chmod_w(file, dry):
 
1182
    """Chmod 777 a file (sets permissions to rwxrwxrwx)."""
 
1183
    print "chmod 777", file
 
1184
    if not dry:
 
1185
        os.chmod(file, stat.S_IXUSR | stat.S_IRUSR | stat.S_IWUSR
 
1186
            | stat.S_IXGRP | stat.S_IWGRP | stat.S_IRGRP | stat.S_IXOTH
 
1187
            | stat.S_IWOTH | stat.S_IROTH)
 
1188
 
651
1189
def query_user(default, prompt):
652
1190
    """Prompts the user for a string, which is read from a line of stdin.
653
1191
    Exits silently if EOF is encountered. Returns the string, with spaces