← Back to branch summary

~azzar1/unity/add-show-desktop-key

« back to all changes in this revision

Viewing changes to setup.py

  • Committer: drtomc
  • Date: 2008-03-06 05:03:16 UTC
  • Revision ID: svn-v3-trunk0:2b9c9e99-6f39-0410-b283-7f802c844ae2:trunk:663
console: start console lazily.

Show diffs side-by-side

added added

removed removed

Lines of Context:
setup.py
31
31
# cutting a distribution, and the listfile it generates should be included in
32
32
# the distribution, avoiding the administrator having to run it.
33
33
 
34
 
# setup.py conf [args]
 
34
# setup.py config [args]
35
35
# Configures IVLE with machine-specific details, most notably, various paths.
36
36
# Either prompts the administrator for these details or accepts them as
37
37
# command-line args.
38
 
# Creates www/conf/conf.py and trampoline/conf.h.
 
38
# Creates lib/conf/conf.py and trampoline/conf.h.
39
39
 
40
40
# setup.py build
41
41
# Compiles all files and sets up a jail template in the source directory.
68
68
import compileall
69
69
import getopt
70
70
 
 
71
# Import modules from the website is tricky since they're in the www
 
72
# directory.
 
73
sys.path.append(os.path.join(os.getcwd(), 'lib'))
 
74
import conf
 
75
import common.makeuser
 
76
 
 
77
# Determine which Python version (2.4 or 2.5, for example) we are running,
 
78
# and use that as the filename to the Python directory.
 
79
# Just get the first 3 characters of sys.version.
 
80
PYTHON_VERSION = sys.version[0:3]
 
81
 
 
82
# Operating system files to copy over into the jail.
 
83
# These will be copied from the given place on the OS file system into the
 
84
# same place within the jail.
 
85
JAIL_FILES = [
 
86
    '/lib/ld-linux.so.2',
 
87
    '/lib/tls/i686/cmov/libc.so.6',
 
88
    '/lib/tls/i686/cmov/libdl.so.2',
 
89
    '/lib/tls/i686/cmov/libm.so.6',
 
90
    '/lib/tls/i686/cmov/libpthread.so.0',
 
91
    '/lib/tls/i686/cmov/libutil.so.1',
 
92
    '/etc/ld.so.conf',
 
93
    '/etc/ld.so.cache',
 
94
    # These 2 files do not exist in Ubuntu
 
95
    #'/etc/ld.so.preload',
 
96
    #'/etc/ld.so.nohwcap',
 
97
    # UNIX commands
 
98
    '/usr/bin/strace',
 
99
    '/bin/ls',
 
100
    '/bin/echo',
 
101
    # Needed by python
 
102
    '/usr/bin/python%s' % PYTHON_VERSION,
 
103
    # Needed by fileservice
 
104
    '/lib/libcom_err.so.2',
 
105
    '/lib/libcrypt.so.1',
 
106
    '/lib/libkeyutils.so.1',
 
107
    '/lib/libresolv.so.2',
 
108
    '/lib/librt.so.1',
 
109
    '/lib/libuuid.so.1',
 
110
    '/usr/lib/libapr-1.so.0',
 
111
    '/usr/lib/libaprutil-1.so.0',
 
112
    '/usr/lib/libdb-4.4.so',
 
113
    '/usr/lib/libexpat.so.1',
 
114
    '/usr/lib/libgcrypt.so.11',
 
115
    '/usr/lib/libgnutls.so.13',
 
116
    '/usr/lib/libgpg-error.so.0',
 
117
    '/usr/lib/libgssapi_krb5.so.2',
 
118
    '/usr/lib/libk5crypto.so.3',
 
119
    '/usr/lib/libkrb5.so.3',
 
120
    '/usr/lib/libkrb5support.so.0',
 
121
    '/usr/lib/liblber.so.2',
 
122
    '/usr/lib/libldap_r.so.2',
 
123
    '/usr/lib/libneon.so.26',
 
124
    '/usr/lib/libpq.so.5',
 
125
    '/usr/lib/libsasl2.so.2',
 
126
    '/usr/lib/libsqlite3.so.0',
 
127
    '/usr/lib/libsvn_client-1.so.1',
 
128
    '/usr/lib/libsvn_delta-1.so.1',
 
129
    '/usr/lib/libsvn_diff-1.so.1',
 
130
    '/usr/lib/libsvn_fs-1.so.1',
 
131
    '/usr/lib/libsvn_fs_base-1.so.1',
 
132
    '/usr/lib/libsvn_fs_fs-1.so.1',
 
133
    '/usr/lib/libsvn_ra-1.so.1',
 
134
    '/usr/lib/libsvn_ra_dav-1.so.1',
 
135
    '/usr/lib/libsvn_ra_local-1.so.1',
 
136
    '/usr/lib/libsvn_ra_svn-1.so.1',
 
137
    '/usr/lib/libsvn_repos-1.so.1',
 
138
    '/usr/lib/libsvn_subr-1.so.1',
 
139
    '/usr/lib/libsvn_wc-1.so.1',
 
140
    '/usr/lib/libtasn1.so.3',
 
141
    '/usr/lib/libxml2.so.2',
 
142
    # Needed by matplotlib
 
143
    '/usr/lib/i686/cmov/libssl.so.0.9.8',
 
144
    '/usr/lib/i686/cmov/libcrypto.so.0.9.8',
 
145
    '/lib/tls/i686/cmov/libnsl.so.1',
 
146
    '/usr/lib/libz.so.1',
 
147
    '/usr/lib/atlas/liblapack.so.3',
 
148
    '/usr/lib/atlas/libblas.so.3',
 
149
    '/usr/lib/libg2c.so.0',
 
150
    '/usr/lib/libstdc++.so.6',
 
151
    '/usr/lib/libfreetype.so.6',
 
152
    '/usr/lib/libpng12.so.0',
 
153
    '/usr/lib/libBLT.2.4.so.8.4',
 
154
    '/usr/lib/libtk8.4.so.0',
 
155
    '/usr/lib/libtcl8.4.so.0',
 
156
    '/usr/lib/tcl8.4/init.tcl',
 
157
    '/usr/lib/libX11.so.6',
 
158
    '/usr/lib/libXau.so.6',
 
159
    '/usr/lib/libXdmcp.so.6',
 
160
    '/lib/libgcc_s.so.1',
 
161
    '/etc/matplotlibrc',
 
162
    # Needed for resolv
 
163
    '/lib/libnss_dns.so.2',
 
164
    #'/lib/libnss_mdns4.so',
 
165
    '/etc/hosts',
 
166
    '/etc/resolv.conf',
 
167
    #'/etc/hosts.conf',
 
168
    #'/etc/hostname',
 
169
    '/etc/nsswitch.conf',
 
170
    '/lib/libnss_files.so.2',
 
171
]
 
172
# Symlinks to make within the jail. Src mapped to dst.
 
173
JAIL_LINKS = {
 
174
    'python%s' % PYTHON_VERSION: 'jail/usr/bin/python',
 
175
}
 
176
# Trees to copy. Src mapped to dst (these will be passed to action_copytree).
 
177
JAIL_COPYTREES = {
 
178
    '/usr/lib/python%s' % PYTHON_VERSION:
 
179
        'jail/usr/lib/python%s' % PYTHON_VERSION,
 
180
    '/usr/share/matplotlib': 'jail/usr/share/matplotlib',
 
181
    '/etc/ld.so.conf.d': 'jail/etc/ld.so.conf.d',
 
182
}
 
183
 
 
184
class ConfigOption:
 
185
    """A configuration option; one of the things written to conf.py."""
 
186
    def __init__(self, option_name, default, prompt, comment):
 
187
        """Creates a configuration option.
 
188
        option_name: Name of the variable in conf.py. Also name of the
 
189
            command-line argument to setup.py conf.
 
190
        default: Default value for this variable.
 
191
        prompt: (Short) string presented during the interactive prompt in
 
192
            setup.py conf.
 
193
        comment: (Long) comment string stored in conf.py. Each line of this
 
194
            string should begin with a '#'.
 
195
        """
 
196
        self.option_name = option_name
 
197
        self.default = default
 
198
        self.prompt = prompt
 
199
        self.comment = comment
 
200
 
 
201
# Configuration options, defaults and descriptions
 
202
config_options = []
 
203
config_options.append(ConfigOption("root_dir", "/",
 
204
    """Root directory where IVLE is located (in URL space):""",
 
205
    """
 
206
# In URL space, where in the site is IVLE located. (All URLs will be prefixed
 
207
# with this).
 
208
# eg. "/" or "/ivle"."""))
 
209
config_options.append(ConfigOption("ivle_install_dir", "/opt/ivle",
 
210
    'Root directory where IVLE will be installed (on the local file '
 
211
    'system):',
 
212
    """
 
213
# In the local file system, where IVLE is actually installed.
 
214
# This directory should contain the "www" and "bin" directories."""))
 
215
config_options.append(ConfigOption("jail_base", "/home/informatics/jails",
 
216
    """Location of Directories
 
217
=======================
 
218
Root directory where the jails (containing user files) are stored
 
219
(on the local file system):""",
 
220
    """
 
221
# In the local file system, where are the student/user file spaces located.
 
222
# The user jails are expected to be located immediately in subdirectories of
 
223
# this location."""))
 
224
config_options.append(ConfigOption("subjects_base",
 
225
    "/home/informatics/subjects",
 
226
    """Root directory where the subject directories (containing worksheets
 
227
and other per-subject files) are stored (on the local file system):""",
 
228
    """
 
229
# In the local file system, where are the per-subject file spaces located.
 
230
# The individual subject directories are expected to be located immediately
 
231
# in subdirectories of this location."""))
 
232
config_options.append(ConfigOption("exercises_base",
 
233
    "/home/informatics/exercises",
 
234
    """Root directory where the exercise directories (containing
 
235
subject-independent exercise sheets) are stored (on the local file
 
236
system):""",
 
237
    """
 
238
# In the local file system, where are the subject-independent exercise sheet
 
239
# file spaces located."""))
 
240
config_options.append(ConfigOption("public_host", "public.localhost",
 
241
    """Hostname which will cause the server to go into "public mode",
 
242
providing login-free access to student's published work:""",
 
243
    """
 
244
# The server goes into "public mode" if the browser sends a request with this
 
245
# host. This is for security reasons - we only serve public student files on a
 
246
# separate domain to the main IVLE site.
 
247
# Public mode does not use cookies, and serves only public content.
 
248
# Private mode (normal mode) requires login, and only serves files relevant to
 
249
# the logged-in user."""))
 
250
config_options.append(ConfigOption("allowed_uids", "33",
 
251
    """UID of the web server process which will run IVLE.
 
252
Only this user may execute the trampoline. May specify multiple users as
 
253
a comma-separated list.
 
254
    (eg. "1002,78")""",
 
255
    """
 
256
# The User-ID of the web server process which will run IVLE, and any other
 
257
# users who are allowed to run the trampoline. This is stores as a string of
 
258
# comma-separated integers, simply because it is not used within Python, only
 
259
# used by the setup program to write to conf.h (see setup.py config)."""))
 
260
config_options.append(ConfigOption("db_host", "localhost",
 
261
    """PostgreSQL Database config
 
262
==========================
 
263
Hostname of the DB server:""",
 
264
    """
 
265
### PostgreSQL Database config ###
 
266
# Database server hostname"""))
 
267
config_options.append(ConfigOption("db_port", "5432",
 
268
    """Port of the DB server:""",
 
269
    """
 
270
# Database server port"""))
 
271
config_options.append(ConfigOption("db_dbname", "ivle",
 
272
    """Database name:""",
 
273
    """
 
274
# Database name"""))
 
275
config_options.append(ConfigOption("db_forumdbname", "ivle_forum",
 
276
    """Forum Database name:""",
 
277
    """
 
278
# Forum Database name"""))
 
279
config_options.append(ConfigOption("db_user", "postgres",
 
280
    """Username for DB server login:""",
 
281
    """
 
282
# Database username"""))
 
283
config_options.append(ConfigOption("db_password", "",
 
284
    """Password for DB server login:
 
285
    (Caution: This password is stored in plaintext in lib/conf/conf.py)""",
 
286
    """
 
287
# Database password"""))
 
288
config_options.append(ConfigOption("auth_modules", "ldap_auth",
 
289
    """Authentication config
 
290
=====================
 
291
Comma-separated list of authentication modules. Only "ldap" is available
 
292
by default.""",
 
293
    """
 
294
# Comma-separated list of authentication modules.
 
295
# These refer to importable Python modules in the www/auth directory.
 
296
# Modules "ldap" and "guest" are available in the source tree, but
 
297
# other modules may be plugged in to auth against organisation-specific
 
298
# auth backends."""))
 
299
config_options.append(ConfigOption("ldap_url", "ldaps://www.example.com",
 
300
    """(LDAP options are only relevant if "ldap" is included in the list of
 
301
auth modules).
 
302
URL for LDAP authentication server:""",
 
303
    """
 
304
# URL for LDAP authentication server"""))
 
305
config_options.append(ConfigOption("ldap_format_string",
 
306
    "uid=%s,ou=users,o=example",
 
307
    """Format string for LDAP auth request:
 
308
    (Must contain a single "%s" for the user's login name)""",
 
309
    """
 
310
# Format string for LDAP auth request
 
311
# (Must contain a single "%s" for the user's login name)"""))
 
312
config_options.append(ConfigOption("svn_addr", "http://svn.localhost/",
 
313
    """Subversion config
 
314
=================
 
315
The base url for accessing subversion repositories:""",
 
316
    """
 
317
# The base url for accessing subversion repositories."""))
 
318
config_options.append(ConfigOption("svn_conf", "/opt/ivle/svn/svn.conf",
 
319
    """The location of the subversion configuration file used by apache
 
320
to host the user repositories:""",
 
321
    """
 
322
# The location of the subversion configuration file used by
 
323
# apache to host the user repositories."""))
 
324
config_options.append(ConfigOption("svn_repo_path", "/home/informatics/repositories",
 
325
    """The root directory for the subversion repositories:""",
 
326
    """
 
327
# The root directory for the subversion repositories."""))
 
328
config_options.append(ConfigOption("svn_auth_ivle", "/opt/ivle/svn/ivle.auth",
 
329
    """The location of the password file used to authenticate users
 
330
of the subversion repository from the ivle server:""",
 
331
    """
 
332
# The location of the password file used to authenticate users
 
333
# of the subversion repository from the ivle server."""))
 
334
config_options.append(ConfigOption("svn_auth_local", "/opt/ivle/svn/local.auth",
 
335
    """The location of the password file used to authenticate local users
 
336
of the subversion repository:""",
 
337
    """
 
338
# The location of the password file used to authenticate local users
 
339
# of the subversion repository."""))
 
340
config_options.append(ConfigOption("usrmgt_host", "localhost",
 
341
    """User Management Server config
 
342
============================
 
343
The hostname where the usrmgt-server runs:""",
 
344
    """
 
345
# The hostname where the usrmgt-server runs."""))
 
346
config_options.append(ConfigOption("usrmgt_port", "2178",
 
347
    """The port where the usrmgt-server runs:""",
 
348
    """
 
349
# The port where the usrmgt-server runs."""))
 
350
config_options.append(ConfigOption("usrmgt_magic", "",
 
351
    """The password for the usrmgt-server:""",
 
352
    """
 
353
# The password for the usrmgt-server."""))
 
354
 
71
355
# Try importing existing conf, but if we can't just set up defaults
72
356
# The reason for this is that these settings are used by other phases
73
357
# of setup besides conf, so we need to know them.
74
358
# Also this allows you to hit Return to accept the existing value.
75
359
try:
76
 
    confmodule = __import__("www/conf/conf")
77
 
    root_dir = confmodule.root_dir
78
 
    ivle_install_dir = confmodule.ivle_install_dir
79
 
    jail_base = confmodule.jail_base
 
360
    confmodule = __import__("lib/conf/conf")
 
361
    for opt in config_options:
 
362
        try:
 
363
            globals()[opt.option_name] = confmodule.__dict__[opt.option_name]
 
364
        except:
 
365
            globals()[opt.option_name] = opt.default
80
366
except ImportError:
81
367
    # Just set reasonable defaults
82
 
    root_dir = "/ivle"
83
 
    ivle_install_dir = "/opt/ivle"
84
 
    jail_base = "/home/informatics/jails"
85
 
# Always defaults
86
 
allowed_uids = "0"
 
368
    for opt in config_options:
 
369
        globals()[opt.option_name] = opt.default
87
370
 
88
371
# Try importing install_list, but don't fail if we can't, because listmake can
89
372
# function without it.
98
381
# as necessary, and include it in the distribution.
99
382
listmake_mimetypes = ['text/x-python', 'text/html',
100
383
    'application/x-javascript', 'application/javascript',
101
 
    'text/css', 'image/png']
 
384
    'text/css', 'image/png', 'image/gif', 'application/xml']
102
385
 
103
386
# Main function skeleton from Guido van Rossum
104
387
# http://www.artima.com/weblogs/viewpost.jsp?thread=4829
127
410
        return 1
128
411
 
129
412
    # Disallow run as root unless installing
130
 
    if operation != 'install' and os.geteuid() == 0:
 
413
    if (operation != 'install' and operation != 'updatejails'
 
414
        and os.geteuid() == 0):
131
415
        print >>sys.stderr, "I do not want to run this stage as root."
132
416
        print >>sys.stderr, "Please run as a normal user."
133
417
        return 1
135
419
    try:
136
420
        oper_func = {
137
421
            'help' : help,
138
 
            'conf' : conf,
 
422
            'config' : conf,
139
423
            'build' : build,
140
424
            'listmake' : listmake,
141
425
            'install' : install,
 
426
            'updatejails' : updatejails,
142
427
        }[operation]
143
428
    except KeyError:
144
429
        print >>sys.stderr, (
155
440
Operation (and args) can be:
156
441
    help [operation]
157
442
    listmake (developer use only)
158
 
    conf [args]
 
443
    config [args]
159
444
    build
160
 
    install [--nojail] [-n|--dry]
 
445
    install [--nojail] [--nosubjects] [-n|--dry]
161
446
"""
162
447
        return 1
163
448
    elif len(args) != 1:
176
461
be copied upon installation. This should be run by the developer before
177
462
cutting a distribution, and the listfile it generates should be included in
178
463
the distribution, avoiding the administrator having to run it."""
179
 
    elif operation == 'conf':
180
 
        print """python setup.py conf [args]
 
464
    elif operation == 'config':
 
465
        print """python setup.py config [args]
181
466
Configures IVLE with machine-specific details, most notably, various paths.
182
467
Either prompts the administrator for these details or accepts them as
183
468
command-line args. Will be interactive only if there are no arguments given.
187
472
to rebuild/install), just provide ivle_install_dir as the IVLE trunk
188
473
directory, and run build/install one time.
189
474
 
190
 
Creates www/conf/conf.py and trampoline/conf.h.
 
475
Creates lib/conf/conf.py and trampoline/conf.h.
191
476
 
192
 
Args are:
193
 
    --root_dir
194
 
    --ivle_install_dir
195
 
    --jail_base
196
 
    --allowed_uids
197
 
As explained in the interactive prompt or conf.py.
 
477
Args are:"""
 
478
        for opt in config_options:
 
479
            print "    --" + opt.option_name
 
480
        print """As explained in the interactive prompt or conf.py.
198
481
"""
199
482
    elif operation == 'build':
200
483
        print """python -O setup.py build [--dry|-n]
211
494
 
212
495
--dry | -n  Print out the actions but don't do anything."""
213
496
    elif operation == 'install':
214
 
        print """sudo python setup.py install [--nojail] [--dry|-n]
 
497
        print """sudo python setup.py install [--nojail] [--nosubjects][--dry|-n]
215
498
(Requires root)
216
499
Create target install directory ($target).
217
500
Create $target/bin.
219
502
chown and chmod the installed trampoline.
220
503
Copy www/ to $target.
221
504
Copy jail/ to jails template directory (unless --nojail specified).
222
 
 
223
 
--nojail    Do not copy the jail.
 
505
Copy subjects/ to subjects directory (unless --nosubjects specified).
 
506
 
 
507
--nojail        Do not copy the jail.
 
508
--nosubjects    Do not copy the subjects and exercises directories.
 
509
--dry | -n  Print out the actions but don't do anything."""
 
510
    elif operation == 'updatejails':
 
511
        print """sudo python setup.py updatejails [--dry|-n]
 
512
(Requires root)
 
513
Copy jail/ to each subdirectory in jails directory.
 
514
 
224
515
--dry | -n  Print out the actions but don't do anything."""
225
516
    else:
226
517
        print >>sys.stderr, (
231
522
def listmake(args):
232
523
    # We build two separate lists, by walking www and console
233
524
    list_www = build_list_py_files('www')
234
 
    list_console = build_list_py_files('console')
 
525
    list_lib = build_list_py_files('lib')
 
526
    list_subjects = build_list_py_files('subjects', no_top_level=True)
 
527
    list_exercises = build_list_py_files('exercises', no_top_level=True)
 
528
    list_scripts = [
 
529
        "scripts/python-console",
 
530
        "scripts/fileservice",
 
531
        "scripts/serveservice",
 
532
        "scripts/usrmgt-server",
 
533
        "scripts/diffservice",
 
534
    ]
235
535
    # Make sure that the files generated by conf are in the list
236
536
    # (since listmake is typically run before conf)
237
 
    if "www/conf/conf.py" not in list_www:
238
 
        list_www.append("www/conf/conf.py")
239
 
    # Make sure that console/python-console is in the list
240
 
    if "console/python-console" not in list_console:
241
 
        list_console.append("console/python-console")
 
537
    if "lib/conf/conf.py" not in list_lib:
 
538
        list_lib.append("lib/conf/conf.py")
242
539
    # Write these out to a file
243
540
    cwd = os.getcwd()
244
541
    # the files that will be created/overwritten
258
555
list_www = """)
259
556
        writelist_pretty(file, list_www)
260
557
        file.write("""
261
 
# List of all installable files in console directory.
262
 
list_console = """)
263
 
        writelist_pretty(file, list_console)
 
558
# List of all installable files in lib directory.
 
559
list_lib = """)
 
560
        writelist_pretty(file, list_lib)
 
561
        file.write("""
 
562
# List of all installable files in scripts directory.
 
563
list_scripts = """)
 
564
        writelist_pretty(file, list_scripts)
 
565
        file.write("""
 
566
# List of all installable files in subjects directory.
 
567
# This is to install sample subjects and material.
 
568
list_subjects = """)
 
569
        writelist_pretty(file, list_subjects)
 
570
        file.write("""
 
571
# List of all installable files in exercises directory.
 
572
# This is to install sample exercise material.
 
573
list_exercises = """)
 
574
        writelist_pretty(file, list_exercises)
264
575
 
265
576
        file.close()
266
577
    except IOError, (errno, strerror):
277
588
 
278
589
    return 0
279
590
 
280
 
def build_list_py_files(dir):
 
591
def build_list_py_files(dir, no_top_level=False):
281
592
    """Builds a list of all py files found in a directory and its
282
 
    subdirectories. Returns this as a list of strings."""
 
593
    subdirectories. Returns this as a list of strings.
 
594
    no_top_level=True means the file paths will not include the top-level
 
595
    directory.
 
596
    """
283
597
    pylist = []
284
598
    for (dirpath, dirnames, filenames) in os.walk(dir):
285
599
        # Exclude directories beginning with a '.' (such as '.svn')
287
601
        # All *.py files are added to the list
288
602
        pylist += [os.path.join(dirpath, item) for item in filenames
289
603
            if mimetypes.guess_type(item)[0] in listmake_mimetypes]
 
604
    if no_top_level:
 
605
        for i in range(0, len(pylist)):
 
606
            _, pylist[i] = pylist[i].split(os.sep, 1)
290
607
    return pylist
291
608
 
292
609
def writelist_pretty(file, list):
300
617
        file.write(']\n')
301
618
 
302
619
def conf(args):
303
 
    global root_dir, ivle_install_dir, jail_base, allowed_uids
 
620
    global db_port, usrmgt_port
304
621
    # Set up some variables
305
622
 
306
623
    cwd = os.getcwd()
307
624
    # the files that will be created/overwritten
308
 
    conffile = os.path.join(cwd, "www/conf/conf.py")
 
625
    conffile = os.path.join(cwd, "lib/conf/conf.py")
 
626
    jailconffile = os.path.join(cwd, "lib/conf/jailconf.py")
309
627
    conf_hfile = os.path.join(cwd, "trampoline/conf.h")
310
 
 
311
 
    # Fixed config options that we don't ask the admin
312
 
    default_app = "dummy"
 
628
    phpBBconffile = os.path.join(cwd, "www/php/phpBB3/config.php")
313
629
 
314
630
    # Get command-line arguments to avoid asking questions.
315
631
 
316
 
    (opts, args) = getopt.gnu_getopt(args, "", ['root_dir=',
317
 
                    'ivle_install_dir=', 'jail_base=', 'allowed_uids='])
 
632
    optnames = []
 
633
    for opt in config_options:
 
634
        optnames.append(opt.option_name + "=")
 
635
    (opts, args) = getopt.gnu_getopt(args, "", optnames)
318
636
 
319
637
    if args != []:
320
638
        print >>sys.stderr, "Invalid arguments:", string.join(args, ' ')
326
644
        print """This tool will create the following files:
327
645
    %s
328
646
    %s
 
647
    %s
329
648
prompting you for details about your configuration. The file will be
330
649
overwritten if it already exists. It will *not* install or deploy IVLE.
331
650
 
332
651
Please hit Ctrl+C now if you do not wish to do this.
333
 
""" % (conffile, conf_hfile)
 
652
""" % (conffile, jailconffile, conf_hfile)
334
653
 
335
654
        # Get information from the administrator
336
655
        # If EOF is encountered at any time during the questioning, just exit
337
656
        # silently
338
657
 
339
 
        root_dir = query_user(root_dir,
340
 
        """Root directory where IVLE is located (in URL space):""")
341
 
        ivle_install_dir = query_user(ivle_install_dir,
342
 
        'Root directory where IVLE will be installed (on the local file '
343
 
        'system):')
344
 
        jail_base = query_user(jail_base,
345
 
        """Root directory where the jails (containing user files) are stored
346
 
(on the local file system):""")
347
 
        allowed_uids = query_user(allowed_uids,
348
 
        """UID of the web server process which will run IVLE.
349
 
Only this user may execute the trampoline. May specify multiple users as
350
 
a comma-separated list.
351
 
    (eg. "1002,78")""")
352
 
 
 
658
        for opt in config_options:
 
659
            globals()[opt.option_name] = \
 
660
                query_user(globals()[opt.option_name], opt.prompt)
353
661
    else:
354
662
        opts = dict(opts)
355
663
        # Non-interactive mode. Parse the options.
356
 
        if '--root_dir' in opts:
357
 
            root_dir = opts['--root_dir']
358
 
        if '--ivle_install_dir' in opts:
359
 
            ivle_install_dir = opts['--ivle_install_dir']
360
 
        if '--jail_base' in opts:
361
 
            jail_base = opts['--jail_base']
362
 
        if '--allowed_uids' in opts:
363
 
            allowed_uids = opts['--allowed_uids']
 
664
        for opt in config_options:
 
665
            if '--' + opt.option_name in opts:
 
666
                globals()[opt.option_name] = opts['--' + opt.option_name]
364
667
 
365
668
    # Error handling on input values
366
669
    try:
367
 
        allowed_uids = map(int, allowed_uids.split(','))
 
670
        allowed_uids_list = map(int, allowed_uids.split(','))
368
671
    except ValueError:
369
672
        print >>sys.stderr, (
370
673
        "Invalid UID list (%s).\n"
371
674
        "Must be a comma-separated list of integers." % allowed_uids)
372
675
        return 1
 
676
    try:
 
677
        db_port = int(db_port)
 
678
        if db_port < 0 or db_port >= 65536: raise ValueError()
 
679
    except ValueError:
 
680
        print >>sys.stderr, (
 
681
        "Invalid DB port (%s).\n"
 
682
        "Must be an integer between 0 and 65535." % repr(db_port))
 
683
        return 1
 
684
    try:
 
685
        usrmgt_port = int(usrmgt_port)
 
686
        if usrmgt_port < 0 or usrmgt_port >= 65536: raise ValueError()
 
687
    except ValueError:
 
688
        print >>sys.stderr, (
 
689
        "Invalid user management port (%s).\n"
 
690
        "Must be an integer between 0 and 65535." % repr(usrmgt_port))
 
691
        return 1
373
692
 
374
 
    # Write www/conf/conf.py
 
693
    # Write lib/conf/conf.py
375
694
 
376
695
    try:
377
696
        conf = open(conffile, "w")
380
699
# conf.py
381
700
# Miscellaneous application settings
382
701
 
 
702
""")
 
703
        for opt in config_options:
 
704
            conf.write('%s\n%s = %s\n' % (opt.comment, opt.option_name,
 
705
                repr(globals()[opt.option_name])))
 
706
 
 
707
        conf.close()
 
708
    except IOError, (errno, strerror):
 
709
        print "IO error(%s): %s" % (errno, strerror)
 
710
        sys.exit(1)
 
711
 
 
712
    print "Successfully wrote lib/conf/conf.py"
 
713
 
 
714
    # Write conf/jailconf.py
 
715
 
 
716
    try:
 
717
        conf = open(jailconffile, "w")
 
718
 
 
719
        # In the "in-jail" version of conf, we don't need MOST of the details
 
720
        # (it would be a security risk to have them here).
 
721
        # So we just write root_dir, and jail_base is "/".
 
722
        # (jail_base being "/" means "jail-relative" paths are relative to "/"
 
723
        # when inside the jail.)
 
724
        conf.write("""# IVLE Configuration File
 
725
# conf.py
 
726
# Miscellaneous application settings
 
727
# (User jail version)
 
728
 
383
729
 
384
730
# In URL space, where in the site is IVLE located. (All URLs will be prefixed
385
731
# with this).
386
732
# eg. "/" or "/ivle".
387
 
root_dir = "%s"
388
 
 
389
 
# In the local file system, where IVLE is actually installed.
390
 
# This directory should contain the "www" and "bin" directories.
391
 
ivle_install_dir = "%s"
 
733
root_dir = %s
392
734
 
393
735
# In the local file system, where are the student/user file spaces located.
394
736
# The user jails are expected to be located immediately in subdirectories of
395
737
# this location.
396
 
jail_base = "%s"
 
738
jail_base = '/'
397
739
 
398
 
# Which application to load by default (if the user navigates to the top level
399
 
# of the site). This is the app's URL name.
400
 
# Note that if this app requires authentication, the user will first be
401
 
# presented with the login screen.
402
 
default_app = "%s"
403
 
""" % (root_dir, ivle_install_dir, jail_base, default_app))
 
740
# The hostname for serving publicly accessible pages
 
741
public_host = %s
 
742
""" % (repr(root_dir),repr(public_host)))
404
743
 
405
744
        conf.close()
406
745
    except IOError, (errno, strerror):
407
746
        print "IO error(%s): %s" % (errno, strerror)
408
747
        sys.exit(1)
409
748
 
410
 
    print "Successfully wrote www/conf/conf.py"
 
749
    print "Successfully wrote lib/conf/jailconf.py"
411
750
 
412
751
    # Write trampoline/conf.h
413
752
 
432
771
 * (Note that root is an implicit member of this list).
433
772
 */
434
773
static const int allowed_uids[] = { %s };
435
 
""" % (jail_base, repr(allowed_uids)[1:-1]))
 
774
""" % (repr(jail_base)[1:-1], repr(allowed_uids_list)[1:-1]))
 
775
    # Note: The above uses PYTHON reprs, not C reprs
 
776
    # However they should be the same with the exception of the outer
 
777
    # characters, which are stripped off and replaced
436
778
 
437
779
        conf.close()
438
780
    except IOError, (errno, strerror):
441
783
 
442
784
    print "Successfully wrote trampoline/conf.h"
443
785
 
 
786
    # Write www/php/phpBB3/config.php
 
787
 
 
788
    try:
 
789
        conf = open(phpBBconffile, "w")
 
790
        
 
791
        # php-pg work around
 
792
        if db_host == 'localhost':
 
793
            forumdb_host = '127.0.0.1'
 
794
        else:
 
795
            forumdb_host = db_host
 
796
 
 
797
        conf.write( """<?php
 
798
// phpBB 3.0.x auto-generated configuration file
 
799
// Do not change anything in this file!
 
800
$dbms = 'postgres';
 
801
$dbhost = '""" + forumdb_host + """';
 
802
$dbport = '""" + str(db_port) + """';
 
803
$dbname = '""" + db_forumdbname + """';
 
804
$dbuser = '""" + db_user + """';
 
805
$dbpasswd = '""" + db_password + """';
 
806
 
 
807
$table_prefix = 'phpbb_';
 
808
$acm_type = 'file';
 
809
$load_extensions = '';
 
810
@define('PHPBB_INSTALLED', true);
 
811
// @define('DEBUG', true);
 
812
//@define('DEBUG_EXTRA', true);
 
813
?>"""   )
 
814
    
 
815
        conf.close()
 
816
    except IOError, (errno, strerror):
 
817
        print "IO error(%s): %s" % (errno, strerror)
 
818
        sys.exit(1)
 
819
 
 
820
    print "Successfully wrote www/php/phpBB3/config.php"
 
821
 
444
822
    print
445
823
    print "You may modify the configuration at any time by editing"
446
824
    print conffile
 
825
    print jailconffile
447
826
    print conf_hfile
 
827
    print phpBBconffile
448
828
    print
449
829
    return 0
450
830
 
458
838
        print "Dry run (no actions will be executed\n"
459
839
 
460
840
    # Compile the trampoline
461
 
    action_runprog('gcc', ['-Wall', '-o', 'trampoline/trampoline',
462
 
        'trampoline/trampoline.c'], dry)
 
841
    curdir = os.getcwd()
 
842
    os.chdir('trampoline')
 
843
    action_runprog('make', [], dry)
 
844
    os.chdir(curdir)
463
845
 
464
846
    # Create the jail and its subdirectories
465
847
    # Note: Other subdirs will be made by copying files
467
849
    action_mkdir('jail/home', dry)
468
850
    action_mkdir('jail/tmp', dry)
469
851
 
 
852
    # Chmod the tmp directory to world writable
 
853
    action_chmod_w('jail/tmp', dry)
 
854
 
470
855
    # Copy all console and operating system files into the jail
471
 
    action_copylist(install_list.list_console, 'jail/opt/ivle', dry)
 
856
    action_copylist(install_list.list_scripts, 'jail/opt/ivle', dry)
472
857
    copy_os_files_jail(dry)
 
858
    # Chmod the python console
 
859
    action_chmod_x('jail/opt/ivle/scripts/python-console', dry)
 
860
    action_chmod_x('jail/opt/ivle/scripts/fileservice', dry)
 
861
    action_chmod_x('jail/opt/ivle/scripts/serveservice', dry)
 
862
    
 
863
    # Also copy the IVLE lib directory into the jail
 
864
    # This is necessary for running certain scripts
 
865
    action_copylist(install_list.list_lib, 'jail/opt/ivle', dry)
 
866
    # IMPORTANT: The file jail/opt/ivle/lib/conf/conf.py contains details
 
867
    # which could compromise security if left in the jail (such as the DB
 
868
    # password).
 
869
    # The "safe" version is in jailconf.py. Delete conf.py and replace it with
 
870
    # jailconf.py.
 
871
    action_copyfile('lib/conf/jailconf.py',
 
872
        'jail/opt/ivle/lib/conf/conf.py', dry)
473
873
 
474
874
    # Compile .py files into .pyc or .pyo files
475
875
    compileall.compile_dir('www', quiet=True)
476
 
    compileall.compile_dir('console', quiet=True)
 
876
    compileall.compile_dir('lib', quiet=True)
 
877
    compileall.compile_dir('scripts', quiet=True)
 
878
    compileall.compile_dir('jail/opt/ivle/lib', quiet=True)
 
879
 
 
880
    # Set up ivle.pth inside the jail
 
881
    # Need to set /opt/ivle/lib to be on the import path
 
882
    ivle_pth = \
 
883
        "jail/usr/lib/python%s/site-packages/ivle.pth" % PYTHON_VERSION
 
884
    f = open(ivle_pth, 'w')
 
885
    f.write('/opt/ivle/lib\n')
 
886
    f.close()
477
887
 
478
888
    return 0
479
889
 
481
891
    """Copies necessary Operating System files from their usual locations
482
892
    into the jail/ directory of the cwd."""
483
893
    # Currently source paths are configured for Ubuntu.
484
 
    copy_file_to_jail('/lib/ld-linux.so.2', dry)
485
 
    copy_file_to_jail('/lib/tls/i686/cmov/libc.so.6', dry)
486
 
    copy_file_to_jail('/lib/tls/i686/cmov/libdl.so.2', dry)
487
 
    copy_file_to_jail('/lib/tls/i686/cmov/libm.so.6', dry)
488
 
    copy_file_to_jail('/lib/tls/i686/cmov/libpthread.so.0', dry)
489
 
    copy_file_to_jail('/lib/tls/i686/cmov/libutil.so.1', dry)
490
 
    copy_file_to_jail('/usr/bin/python2.5', dry)
491
 
    action_symlink('python2.5', 'jail/usr/bin/python', dry)
492
 
    action_copytree('/usr/lib/python2.5', 'jail/usr/lib/python2.5', dry)
 
894
    for filename in JAIL_FILES:
 
895
        copy_file_to_jail(filename, dry)
 
896
    for src, dst in JAIL_LINKS.items():
 
897
        action_symlink(src, dst, dry)
 
898
    for src, dst in JAIL_COPYTREES.items():
 
899
        action_copytree(src, dst, dry)
493
900
 
494
901
def copy_file_to_jail(src, dry):
495
902
    """Copies a single file from an absolute location into the same location
499
906
 
500
907
def install(args):
501
908
    # Get "dry" and "nojail" variables from command line
502
 
    (opts, args) = getopt.gnu_getopt(args, "n", ['dry', 'nojail'])
 
909
    (opts, args) = getopt.gnu_getopt(args, "n",
 
910
        ['dry', 'nojail', 'nosubjects'])
503
911
    opts = dict(opts)
504
912
    dry = '-n' in opts or '--dry' in opts
505
913
    nojail = '--nojail' in opts
 
914
    nosubjects = '--nosubjects' in opts
506
915
 
507
916
    if dry:
508
917
        print "Dry run (no actions will be executed\n"
522
931
    # chown trampoline to root and set setuid bit
523
932
    action_chown_setuid(tramppath, dry)
524
933
 
525
 
    # Copy the www directory using the list
 
934
    # Create a scripts directory to put the usrmgt-server in.
 
935
    action_mkdir(os.path.join(ivle_install_dir, 'scripts'), dry)
 
936
    usrmgtpath = os.path.join(ivle_install_dir, 'scripts/usrmgt-server')
 
937
    action_copyfile('scripts/usrmgt-server', usrmgtpath, dry)
 
938
    action_chmod_x(usrmgtpath, dry)
 
939
 
 
940
    # Copy the www and lib directories using the list
526
941
    action_copylist(install_list.list_www, ivle_install_dir, dry)
 
942
    action_copylist(install_list.list_lib, ivle_install_dir, dry)
 
943
    
 
944
    # Copy the php directory
 
945
    action_copytree('www/php/phpBB3',os.path.join(ivle_install_dir,'www/php/phpBB3'), 
 
946
    dry)
527
947
 
528
948
    if not nojail:
529
949
        # Copy the local jail directory built by the build action
530
950
        # to the jails template directory (it will be used as a template
531
951
        # for all the students' jails).
532
952
        action_copytree('jail', os.path.join(jail_base, 'template'), dry)
 
953
    if not nosubjects:
 
954
        # Copy the subjects and exercises directories across
 
955
        action_copylist(install_list.list_subjects, subjects_base, dry,
 
956
            srcdir="./subjects")
 
957
        action_copylist(install_list.list_exercises, exercises_base, dry,
 
958
            srcdir="./exercises")
 
959
 
 
960
    # Append IVLE path to ivle.pth in python site packages
 
961
    # (Unless it's already there)
 
962
    ivle_pth = os.path.join(sys.prefix,
 
963
        "lib/python%s/site-packages/ivle.pth" % PYTHON_VERSION)
 
964
    ivle_www = os.path.join(ivle_install_dir, "www")
 
965
    ivle_lib = os.path.join(ivle_install_dir, "lib")
 
966
    write_ivle_pth = True
 
967
    write_ivle_lib_pth = True
 
968
    try:
 
969
        file = open(ivle_pth, 'r')
 
970
        for line in file:
 
971
            if line.strip() == ivle_www:
 
972
                write_ivle_pth = False
 
973
            elif line.strip() == ivle_lib:
 
974
                write_ivle_lib_pth = False
 
975
        file.close()
 
976
    except (IOError, OSError):
 
977
        pass
 
978
    if write_ivle_pth:
 
979
        action_append(ivle_pth, ivle_www)
 
980
    if write_ivle_lib_pth:
 
981
        action_append(ivle_pth, ivle_lib)
 
982
 
 
983
    return 0
 
984
 
 
985
def updatejails(args):
 
986
    # Get "dry" variable from command line
 
987
    (opts, args) = getopt.gnu_getopt(args, "n", ['dry'])
 
988
    opts = dict(opts)
 
989
    dry = '-n' in opts or '--dry' in opts
 
990
 
 
991
    if dry:
 
992
        print "Dry run (no actions will be executed\n"
 
993
 
 
994
    if not dry and os.geteuid() != 0:
 
995
        print >>sys.stderr, "Must be root to run install"
 
996
        print >>sys.stderr, "(I need to chown some files)."
 
997
        return 1
 
998
 
 
999
    # Update the template jail directory in case it hasn't been installed
 
1000
    # recently.
 
1001
    action_copytree('jail', os.path.join(jail_base, 'template'), dry)
 
1002
 
 
1003
    # Re-link all the files in all students jails.
 
1004
    for dir in os.listdir(jail_base):
 
1005
        if dir == 'template': continue
 
1006
        # First back up the student's home directory
 
1007
        temp_home = os.tmpnam()
 
1008
        action_rename(os.path.join(jail_base, dir, 'home'), temp_home, dry)
 
1009
        # Delete the student's jail and relink the jail files
 
1010
        action_linktree(os.path.join(jail_base, 'template'),
 
1011
            os.path.join(jail_base, dir), dry)
 
1012
        # Restore the student's home directory
 
1013
        action_rename(temp_home, os.path.join(jail_base, dir, 'home'), dry)
 
1014
        # Set up the user's home directory just in case they don't have a
 
1015
        # directory for this yet
 
1016
        action_mkdir(os.path.join(jail_base, dir, 'home', dir), dry)
533
1017
 
534
1018
    return 0
535
1019
 
562
1046
    if ret != 0:
563
1047
        raise RunError(prog, ret)
564
1048
 
 
1049
def action_remove(path, dry):
 
1050
    """Calls rmtree, deleting the target file if it exists."""
 
1051
    try:
 
1052
        print "rm -r", path
 
1053
        if not dry:
 
1054
            shutil.rmtree(path, True)
 
1055
    except OSError, (err, msg):
 
1056
        if err != errno.EEXIST:
 
1057
            raise
 
1058
        # Otherwise, didn't exist, so we don't care
 
1059
 
 
1060
def action_rename(src, dst, dry):
 
1061
    """Calls rename. Deletes the target if it already exists."""
 
1062
    action_remove(dst, dry)
 
1063
    print "mv ", src, dst
 
1064
    if dry: return
 
1065
    try:
 
1066
        os.rename(src, dst)
 
1067
    except OSError, (err, msg):
 
1068
        if err != errno.EEXIST:
 
1069
            raise
 
1070
 
565
1071
def action_mkdir(path, dry):
566
1072
    """Calls mkdir. Silently ignored if the directory already exists.
567
1073
    Creates all parent directories as necessary."""
579
1085
    directories as necessary.
580
1086
 
581
1087
    See shutil.copytree."""
582
 
    if os.access(dst, os.F_OK):
583
 
        print "rm -r", dst
584
 
        if not dry:
585
 
            shutil.rmtree(dst, True)
 
1088
    # Allow copying over itself
 
1089
    if (os.path.normpath(os.path.join(os.getcwd(),src)) ==
 
1090
        os.path.normpath(os.path.join(os.getcwd(),dst))):
 
1091
        return
 
1092
    action_remove(dst, dry)
586
1093
    print "cp -r", src, dst
587
1094
    if dry: return
588
1095
    shutil.copytree(src, dst, True)
589
1096
 
590
 
def action_copylist(srclist, dst, dry):
 
1097
def action_linktree(src, dst, dry):
 
1098
    """Hard-links an entire directory tree. Same as copytree but the created
 
1099
    files are hard-links not actual copies. Removes the existing destination.
 
1100
    """
 
1101
    action_remove(dst, dry)
 
1102
    print "<cp with hardlinks> -r", src, dst
 
1103
    if dry: return
 
1104
    common.makeuser.linktree(src, dst)
 
1105
 
 
1106
def action_copylist(srclist, dst, dry, srcdir="."):
591
1107
    """Copies all files in a list to a new location. The files in the list
592
1108
    are read relative to the current directory, and their destinations are the
593
1109
    same paths relative to dst. Creates all parent directories as necessary.
 
1110
    srcdir is "." by default, can be overridden.
594
1111
    """
595
1112
    for srcfile in srclist:
596
1113
        dstfile = os.path.join(dst, srcfile)
 
1114
        srcfile = os.path.join(srcdir, srcfile)
597
1115
        dstdir = os.path.split(dstfile)[0]
598
1116
        if not os.path.isdir(dstdir):
599
1117
            action_mkdir(dstdir, dry)
608
1126
def action_copyfile(src, dst, dry):
609
1127
    """Copies one file to a new location. Creates all parent directories
610
1128
    as necessary.
 
1129
    Warn if file not found.
611
1130
    """
612
1131
    dstdir = os.path.split(dst)[0]
613
1132
    if not os.path.isdir(dstdir):
617
1136
        try:
618
1137
            shutil.copyfile(src, dst)
619
1138
            shutil.copymode(src, dst)
620
 
        except shutil.Error:
621
 
            pass
 
1139
        except (shutil.Error, IOError), e:
 
1140
            print "Warning: " + str(e)
622
1141
 
623
1142
def action_symlink(src, dst, dry):
624
1143
    """Creates a symlink in a given location. Creates all parent directories
634
1153
    if not dry:
635
1154
        os.symlink(src, dst)
636
1155
 
 
1156
def action_append(ivle_pth, ivle_www):
 
1157
    file = open(ivle_pth, 'a+')
 
1158
    file.write(ivle_www + '\n')
 
1159
    file.close()
 
1160
 
637
1161
def action_chown_setuid(file, dry):
638
1162
    """Chowns a file to root, and sets the setuid bit on the file.
639
1163
    Calling this function requires the euid to be root.
648
1172
        os.chmod(file, stat.S_IXUSR | stat.S_IXGRP | stat.S_IXOTH
649
1173
            | stat.S_ISUID | stat.S_IRUSR | stat.S_IWUSR)
650
1174
 
 
1175
def action_chmod_x(file, dry):
 
1176
    """Chmod 755 a file (sets permissions to rwxr-xr-x)."""
 
1177
    print "chmod 755", file
 
1178
    if not dry:
 
1179
        os.chmod(file, stat.S_IXUSR | stat.S_IRUSR | stat.S_IWUSR
 
1180
            | stat.S_IXGRP | stat.S_IRGRP | stat.S_IXOTH | stat.S_IROTH)
 
1181
 
 
1182
 
 
1183
def action_chmod_w(file, dry):
 
1184
    """Chmod 777 a file (sets permissions to rwxrwxrwx)."""
 
1185
    print "chmod 777", file
 
1186
    if not dry:
 
1187
        os.chmod(file, stat.S_IXUSR | stat.S_IRUSR | stat.S_IWUSR
 
1188
            | stat.S_IXGRP | stat.S_IWGRP | stat.S_IRGRP | stat.S_IXOTH
 
1189
            | stat.S_IWOTH | stat.S_IROTH)
 
1190
 
651
1191
def query_user(default, prompt):
652
1192
    """Prompts the user for a string, which is read from a line of stdin.
653
1193
    Exits silently if EOF is encountered. Returns the string, with spaces