← Back to branch summary

~azzar1/unity/add-show-desktop-key

« back to all changes in this revision

Viewing changes to setup.py

  • Committer: drtomc
  • Date: 2008-01-25 00:45:21 UTC
  • Revision ID: svn-v3-trunk0:2b9c9e99-6f39-0410-b283-7f802c844ae2:trunk:296
Almost SQLized the database stuff from yesterday's discussion with sb.
TODO: resolve the loginid/groupid issue; document the design.

Show diffs side-by-side

added added

removed removed

Lines of Context:
setup.py
31
31
# cutting a distribution, and the listfile it generates should be included in
32
32
# the distribution, avoiding the administrator having to run it.
33
33
 
34
 
# setup.py config [args]
 
34
# setup.py conf [args]
35
35
# Configures IVLE with machine-specific details, most notably, various paths.
36
36
# Either prompts the administrator for these details or accepts them as
37
37
# command-line args.
38
 
# Creates lib/conf/conf.py and trampoline/conf.h.
 
38
# Creates www/conf/conf.py and trampoline/conf.h.
39
39
 
40
40
# setup.py build
41
41
# Compiles all files and sets up a jail template in the source directory.
70
70
 
71
71
# Import modules from the website is tricky since they're in the www
72
72
# directory.
73
 
sys.path.append(os.path.join(os.getcwd(), 'lib'))
 
73
sys.path.append(os.path.join(os.getcwd(), 'www'))
74
74
import conf
75
75
import common.makeuser
76
76
 
77
 
# Determine which Python version (2.4 or 2.5, for example) we are running,
78
 
# and use that as the filename to the Python directory.
79
 
# Just get the first 3 characters of sys.version.
80
 
PYTHON_VERSION = sys.version[0:3]
81
 
 
82
77
# Operating system files to copy over into the jail.
83
78
# These will be copied from the given place on the OS file system into the
84
79
# same place within the jail.
99
94
    '/bin/ls',
100
95
    '/bin/echo',
101
96
    # Needed by python
102
 
    '/usr/bin/python%s' % PYTHON_VERSION,
103
 
    # Needed by fileservice
104
 
    '/lib/libcom_err.so.2',
105
 
    '/lib/libcrypt.so.1',
106
 
    '/lib/libkeyutils.so.1',
107
 
    '/lib/libresolv.so.2',
108
 
    '/lib/librt.so.1',
109
 
    '/lib/libuuid.so.1',
110
 
    '/usr/lib/libapr-1.so.0',
111
 
    '/usr/lib/libaprutil-1.so.0',
112
 
    '/usr/lib/libdb-4.4.so',
113
 
    '/usr/lib/libexpat.so.1',
114
 
    '/usr/lib/libgcrypt.so.11',
115
 
    '/usr/lib/libgnutls.so.13',
116
 
    '/usr/lib/libgpg-error.so.0',
117
 
    '/usr/lib/libgssapi_krb5.so.2',
118
 
    '/usr/lib/libk5crypto.so.3',
119
 
    '/usr/lib/libkrb5.so.3',
120
 
    '/usr/lib/libkrb5support.so.0',
121
 
    '/usr/lib/liblber.so.2',
122
 
    '/usr/lib/libldap_r.so.2',
123
 
    '/usr/lib/libneon.so.26',
124
 
    '/usr/lib/libpq.so.5',
125
 
    '/usr/lib/libsasl2.so.2',
126
 
    '/usr/lib/libsqlite3.so.0',
127
 
    '/usr/lib/libsvn_client-1.so.1',
128
 
    '/usr/lib/libsvn_delta-1.so.1',
129
 
    '/usr/lib/libsvn_diff-1.so.1',
130
 
    '/usr/lib/libsvn_fs-1.so.1',
131
 
    '/usr/lib/libsvn_fs_base-1.so.1',
132
 
    '/usr/lib/libsvn_fs_fs-1.so.1',
133
 
    '/usr/lib/libsvn_ra-1.so.1',
134
 
    '/usr/lib/libsvn_ra_dav-1.so.1',
135
 
    '/usr/lib/libsvn_ra_local-1.so.1',
136
 
    '/usr/lib/libsvn_ra_svn-1.so.1',
137
 
    '/usr/lib/libsvn_repos-1.so.1',
138
 
    '/usr/lib/libsvn_subr-1.so.1',
139
 
    '/usr/lib/libsvn_wc-1.so.1',
140
 
    '/usr/lib/libtasn1.so.3',
141
 
    '/usr/lib/libxml2.so.2',
 
97
    '/usr/bin/python2.5',
142
98
    # Needed by matplotlib
143
99
    '/usr/lib/i686/cmov/libssl.so.0.9.8',
144
100
    '/usr/lib/i686/cmov/libcrypto.so.0.9.8',
162
118
]
163
119
# Symlinks to make within the jail. Src mapped to dst.
164
120
JAIL_LINKS = {
165
 
    'python%s' % PYTHON_VERSION: 'jail/usr/bin/python',
 
121
    'python2.5': 'jail/usr/bin/python',
166
122
}
167
123
# Trees to copy. Src mapped to dst (these will be passed to action_copytree).
168
124
JAIL_COPYTREES = {
169
 
    '/usr/lib/python%s' % PYTHON_VERSION:
170
 
        'jail/usr/lib/python%s' % PYTHON_VERSION,
 
125
    '/usr/lib/python2.5': 'jail/usr/lib/python2.5',
171
126
    '/usr/share/matplotlib': 'jail/usr/share/matplotlib',
172
127
    '/etc/ld.so.conf.d': 'jail/etc/ld.so.conf.d',
173
128
}
174
129
 
175
 
class ConfigOption:
176
 
    """A configuration option; one of the things written to conf.py."""
177
 
    def __init__(self, option_name, default, prompt, comment):
178
 
        """Creates a configuration option.
179
 
        option_name: Name of the variable in conf.py. Also name of the
180
 
            command-line argument to setup.py conf.
181
 
        default: Default value for this variable.
182
 
        prompt: (Short) string presented during the interactive prompt in
183
 
            setup.py conf.
184
 
        comment: (Long) comment string stored in conf.py. Each line of this
185
 
            string should begin with a '#'.
186
 
        """
187
 
        self.option_name = option_name
188
 
        self.default = default
189
 
        self.prompt = prompt
190
 
        self.comment = comment
191
 
 
192
 
# Configuration options, defaults and descriptions
193
 
config_options = []
194
 
config_options.append(ConfigOption("root_dir", "/",
195
 
    """Root directory where IVLE is located (in URL space):""",
196
 
    """
197
 
# In URL space, where in the site is IVLE located. (All URLs will be prefixed
198
 
# with this).
199
 
# eg. "/" or "/ivle"."""))
200
 
config_options.append(ConfigOption("ivle_install_dir", "/opt/ivle",
201
 
    'Root directory where IVLE will be installed (on the local file '
202
 
    'system):',
203
 
    """
204
 
# In the local file system, where IVLE is actually installed.
205
 
# This directory should contain the "www" and "bin" directories."""))
206
 
config_options.append(ConfigOption("jail_base", "/home/informatics/jails",
207
 
    """Location of Directories
208
 
=======================
209
 
Root directory where the jails (containing user files) are stored
210
 
(on the local file system):""",
211
 
    """
212
 
# In the local file system, where are the student/user file spaces located.
213
 
# The user jails are expected to be located immediately in subdirectories of
214
 
# this location."""))
215
 
config_options.append(ConfigOption("subjects_base",
216
 
    "/home/informatics/subjects",
217
 
    """Root directory where the subject directories (containing worksheets
218
 
and other per-subject files) are stored (on the local file system):""",
219
 
    """
220
 
# In the local file system, where are the per-subject file spaces located.
221
 
# The individual subject directories are expected to be located immediately
222
 
# in subdirectories of this location."""))
223
 
config_options.append(ConfigOption("exercises_base",
224
 
    "/home/informatics/exercises",
225
 
    """Root directory where the exercise directories (containing
226
 
subject-independent exercise sheets) are stored (on the local file
227
 
system):""",
228
 
    """
229
 
# In the local file system, where are the subject-independent exercise sheet
230
 
# file spaces located."""))
231
 
config_options.append(ConfigOption("public_host", "public.localhost",
232
 
    """Hostname which will cause the server to go into "public mode",
233
 
providing login-free access to student's published work:""",
234
 
    """
235
 
# The server goes into "public mode" if the browser sends a request with this
236
 
# host. This is for security reasons - we only serve public student files on a
237
 
# separate domain to the main IVLE site.
238
 
# Public mode does not use cookies, and serves only public content.
239
 
# Private mode (normal mode) requires login, and only serves files relevant to
240
 
# the logged-in user."""))
241
 
config_options.append(ConfigOption("allowed_uids", "33",
242
 
    """UID of the web server process which will run IVLE.
243
 
Only this user may execute the trampoline. May specify multiple users as
244
 
a comma-separated list.
245
 
    (eg. "1002,78")""",
246
 
    """
247
 
# The User-ID of the web server process which will run IVLE, and any other
248
 
# users who are allowed to run the trampoline. This is stores as a string of
249
 
# comma-separated integers, simply because it is not used within Python, only
250
 
# used by the setup program to write to conf.h (see setup.py config)."""))
251
 
config_options.append(ConfigOption("db_host", "localhost",
252
 
    """PostgreSQL Database config
253
 
==========================
254
 
Hostname of the DB server:""",
255
 
    """
256
 
### PostgreSQL Database config ###
257
 
# Database server hostname"""))
258
 
config_options.append(ConfigOption("db_port", "5432",
259
 
    """Port of the DB server:""",
260
 
    """
261
 
# Database server port"""))
262
 
config_options.append(ConfigOption("db_dbname", "ivle",
263
 
    """Database name:""",
264
 
    """
265
 
# Database name"""))
266
 
config_options.append(ConfigOption("db_user", "postgres",
267
 
    """Username for DB server login:""",
268
 
    """
269
 
# Database username"""))
270
 
config_options.append(ConfigOption("db_password", "",
271
 
    """Password for DB server login:
272
 
    (Caution: This password is stored in plaintext in lib/conf/conf.py)""",
273
 
    """
274
 
# Database password"""))
275
 
config_options.append(ConfigOption("auth_modules", "ldap_auth",
276
 
    """Authentication config
277
 
=====================
278
 
Comma-separated list of authentication modules. Only "ldap" is available
279
 
by default.""",
280
 
    """
281
 
# Comma-separated list of authentication modules.
282
 
# These refer to importable Python modules in the www/auth directory.
283
 
# Modules "ldap" and "guest" are available in the source tree, but
284
 
# other modules may be plugged in to auth against organisation-specific
285
 
# auth backends."""))
286
 
config_options.append(ConfigOption("ldap_url", "ldaps://www.example.com",
287
 
    """(LDAP options are only relevant if "ldap" is included in the list of
288
 
auth modules).
289
 
URL for LDAP authentication server:""",
290
 
    """
291
 
# URL for LDAP authentication server"""))
292
 
config_options.append(ConfigOption("ldap_format_string",
293
 
    "uid=%s,ou=users,o=example",
294
 
    """Format string for LDAP auth request:
295
 
    (Must contain a single "%s" for the user's login name)""",
296
 
    """
297
 
# Format string for LDAP auth request
298
 
# (Must contain a single "%s" for the user's login name)"""))
299
 
config_options.append(ConfigOption("svn_addr", "http://svn.localhost/",
300
 
    """Subversion config
301
 
=================
302
 
The base url for accessing subversion repositories:""",
303
 
    """
304
 
# The base url for accessing subversion repositories."""))
305
 
config_options.append(ConfigOption("svn_conf", "/opt/ivle/svn/svn.conf",
306
 
    """The location of the subversion configuration file used by apache
307
 
to host the user repositories:""",
308
 
    """
309
 
# The location of the subversion configuration file used by
310
 
# apache to host the user repositories."""))
311
 
config_options.append(ConfigOption("svn_repo_path", "/home/informatics/repositories",
312
 
    """The root directory for the subversion repositories:""",
313
 
    """
314
 
# The root directory for the subversion repositories."""))
315
 
config_options.append(ConfigOption("svn_auth_ivle", "/opt/ivle/svn/ivle.auth",
316
 
    """The location of the password file used to authenticate users
317
 
of the subversion repository from the ivle server:""",
318
 
    """
319
 
# The location of the password file used to authenticate users
320
 
# of the subversion repository from the ivle server."""))
321
 
config_options.append(ConfigOption("svn_auth_local", "/opt/ivle/svn/local.auth",
322
 
    """The location of the password file used to authenticate local users
323
 
of the subversion repository:""",
324
 
    """
325
 
# The location of the password file used to authenticate local users
326
 
# of the subversion repository."""))
327
 
config_options.append(ConfigOption("usrmgt_host", "localhost",
328
 
    """User Management Server config
329
 
============================
330
 
The hostname where the usrmgt-server runs:""",
331
 
    """
332
 
# The hostname where the usrmgt-server runs."""))
333
 
config_options.append(ConfigOption("usrmgt_port", "2178",
334
 
    """The port where the usrmgt-server runs:""",
335
 
    """
336
 
# The port where the usrmgt-server runs."""))
337
 
config_options.append(ConfigOption("usrmgt_magic", "",
338
 
    """The password for the usrmgt-server:""",
339
 
    """
340
 
# The password for the usrmgt-server."""))
341
 
 
342
130
# Try importing existing conf, but if we can't just set up defaults
343
131
# The reason for this is that these settings are used by other phases
344
132
# of setup besides conf, so we need to know them.
345
133
# Also this allows you to hit Return to accept the existing value.
346
134
try:
347
 
    confmodule = __import__("lib/conf/conf")
348
 
    for opt in config_options:
349
 
        try:
350
 
            globals()[opt.option_name] = confmodule.__dict__[opt.option_name]
351
 
        except:
352
 
            globals()[opt.option_name] = opt.default
 
135
    confmodule = __import__("www/conf/conf")
 
136
    try:
 
137
        root_dir = confmodule.root_dir
 
138
    except:
 
139
        root_dir = "/ivle"
 
140
    try:
 
141
        ivle_install_dir = confmodule.ivle_install_dir
 
142
    except:
 
143
        ivle_install_dir = "/opt/ivle"
 
144
    try:
 
145
        public_host = confmodule.public_host
 
146
    except:
 
147
        public_host = "public.localhost"
 
148
    try:
 
149
        jail_base = confmodule.jail_base
 
150
    except:
 
151
        jail_base = "/home/informatics/jails"
 
152
    try:
 
153
        subjects_base = confmodule.subjects_base
 
154
    except:
 
155
        subjects_base = "/home/informatics/subjects"
353
156
except ImportError:
354
157
    # Just set reasonable defaults
355
 
    for opt in config_options:
356
 
        globals()[opt.option_name] = opt.default
 
158
    root_dir = "/ivle"
 
159
    ivle_install_dir = "/opt/ivle"
 
160
    public_host = "public.localhost"
 
161
    jail_base = "/home/informatics/jails"
 
162
    subjects_base = "/home/informatics/subjects"
 
163
# Always defaults
 
164
allowed_uids = "0"
357
165
 
358
166
# Try importing install_list, but don't fail if we can't, because listmake can
359
167
# function without it.
368
176
# as necessary, and include it in the distribution.
369
177
listmake_mimetypes = ['text/x-python', 'text/html',
370
178
    'application/x-javascript', 'application/javascript',
371
 
    'text/css', 'image/png', 'application/xml']
 
179
    'text/css', 'image/png']
372
180
 
373
181
# Main function skeleton from Guido van Rossum
374
182
# http://www.artima.com/weblogs/viewpost.jsp?thread=4829
406
214
    try:
407
215
        oper_func = {
408
216
            'help' : help,
409
 
            'config' : conf,
 
217
            'conf' : conf,
410
218
            'build' : build,
411
219
            'listmake' : listmake,
412
220
            'install' : install,
427
235
Operation (and args) can be:
428
236
    help [operation]
429
237
    listmake (developer use only)
430
 
    config [args]
 
238
    conf [args]
431
239
    build
432
 
    install [--nojail] [--nosubjects] [-n|--dry]
 
240
    install [--nojail] [-n|--dry]
433
241
"""
434
242
        return 1
435
243
    elif len(args) != 1:
448
256
be copied upon installation. This should be run by the developer before
449
257
cutting a distribution, and the listfile it generates should be included in
450
258
the distribution, avoiding the administrator having to run it."""
451
 
    elif operation == 'config':
452
 
        print """python setup.py config [args]
 
259
    elif operation == 'conf':
 
260
        print """python setup.py conf [args]
453
261
Configures IVLE with machine-specific details, most notably, various paths.
454
262
Either prompts the administrator for these details or accepts them as
455
263
command-line args. Will be interactive only if there are no arguments given.
459
267
to rebuild/install), just provide ivle_install_dir as the IVLE trunk
460
268
directory, and run build/install one time.
461
269
 
462
 
Creates lib/conf/conf.py and trampoline/conf.h.
 
270
Creates www/conf/conf.py and trampoline/conf.h.
463
271
 
464
 
Args are:"""
465
 
        for opt in config_options:
466
 
            print "    --" + opt.option_name
467
 
        print """As explained in the interactive prompt or conf.py.
 
272
Args are:
 
273
    --root_dir
 
274
    --ivle_install_dir
 
275
    --public_host
 
276
    --jail_base
 
277
    --subjects_base
 
278
    --allowed_uids
 
279
As explained in the interactive prompt or conf.py.
468
280
"""
469
281
    elif operation == 'build':
470
282
        print """python -O setup.py build [--dry|-n]
481
293
 
482
294
--dry | -n  Print out the actions but don't do anything."""
483
295
    elif operation == 'install':
484
 
        print """sudo python setup.py install [--nojail] [--nosubjects][--dry|-n]
 
296
        print """sudo python setup.py install [--nojail] [--dry|-n]
485
297
(Requires root)
486
298
Create target install directory ($target).
487
299
Create $target/bin.
489
301
chown and chmod the installed trampoline.
490
302
Copy www/ to $target.
491
303
Copy jail/ to jails template directory (unless --nojail specified).
492
 
Copy subjects/ to subjects directory (unless --nosubjects specified).
493
304
 
494
 
--nojail        Do not copy the jail.
495
 
--nosubjects    Do not copy the subjects and exercises directories.
 
305
--nojail    Do not copy the jail.
496
306
--dry | -n  Print out the actions but don't do anything."""
497
307
    elif operation == 'updatejails':
498
308
        print """sudo python setup.py updatejails [--dry|-n]
509
319
def listmake(args):
510
320
    # We build two separate lists, by walking www and console
511
321
    list_www = build_list_py_files('www')
512
 
    list_lib = build_list_py_files('lib')
513
 
    list_subjects = build_list_py_files('subjects', no_top_level=True)
514
 
    list_exercises = build_list_py_files('exercises', no_top_level=True)
515
 
    list_scripts = [
516
 
        "scripts/python-console",
517
 
        "scripts/fileservice",
518
 
        "scripts/usrmgt-server",
519
 
    ]
 
322
    list_console = build_list_py_files('console')
520
323
    # Make sure that the files generated by conf are in the list
521
324
    # (since listmake is typically run before conf)
522
 
    if "lib/conf/conf.py" not in list_lib:
523
 
        list_lib.append("lib/conf/conf.py")
 
325
    if "www/conf/conf.py" not in list_www:
 
326
        list_www.append("www/conf/conf.py")
 
327
    # Make sure that console/python-console is in the list
 
328
    if "console/python-console" not in list_console:
 
329
        list_console.append("console/python-console")
524
330
    # Write these out to a file
525
331
    cwd = os.getcwd()
526
332
    # the files that will be created/overwritten
540
346
list_www = """)
541
347
        writelist_pretty(file, list_www)
542
348
        file.write("""
543
 
# List of all installable files in lib directory.
544
 
list_lib = """)
545
 
        writelist_pretty(file, list_lib)
546
 
        file.write("""
547
 
# List of all installable files in scripts directory.
548
 
list_scripts = """)
549
 
        writelist_pretty(file, list_scripts)
550
 
        file.write("""
551
 
# List of all installable files in subjects directory.
552
 
# This is to install sample subjects and material.
553
 
list_subjects = """)
554
 
        writelist_pretty(file, list_subjects)
555
 
        file.write("""
556
 
# List of all installable files in exercises directory.
557
 
# This is to install sample exercise material.
558
 
list_exercises = """)
559
 
        writelist_pretty(file, list_exercises)
 
349
# List of all installable files in console directory.
 
350
list_console = """)
 
351
        writelist_pretty(file, list_console)
560
352
 
561
353
        file.close()
562
354
    except IOError, (errno, strerror):
573
365
 
574
366
    return 0
575
367
 
576
 
def build_list_py_files(dir, no_top_level=False):
 
368
def build_list_py_files(dir):
577
369
    """Builds a list of all py files found in a directory and its
578
 
    subdirectories. Returns this as a list of strings.
579
 
    no_top_level=True means the file paths will not include the top-level
580
 
    directory.
581
 
    """
 
370
    subdirectories. Returns this as a list of strings."""
582
371
    pylist = []
583
372
    for (dirpath, dirnames, filenames) in os.walk(dir):
584
373
        # Exclude directories beginning with a '.' (such as '.svn')
586
375
        # All *.py files are added to the list
587
376
        pylist += [os.path.join(dirpath, item) for item in filenames
588
377
            if mimetypes.guess_type(item)[0] in listmake_mimetypes]
589
 
    if no_top_level:
590
 
        for i in range(0, len(pylist)):
591
 
            _, pylist[i] = pylist[i].split(os.sep, 1)
592
378
    return pylist
593
379
 
594
380
def writelist_pretty(file, list):
602
388
        file.write(']\n')
603
389
 
604
390
def conf(args):
605
 
    global db_port, usrmgt_port
 
391
    global root_dir, ivle_install_dir, jail_base, subjects_base
 
392
    global public_host, allowed_uids
606
393
    # Set up some variables
607
394
 
608
395
    cwd = os.getcwd()
609
396
    # the files that will be created/overwritten
610
 
    conffile = os.path.join(cwd, "lib/conf/conf.py")
611
 
    jailconffile = os.path.join(cwd, "lib/conf/jailconf.py")
 
397
    conffile = os.path.join(cwd, "www/conf/conf.py")
612
398
    conf_hfile = os.path.join(cwd, "trampoline/conf.h")
613
399
 
614
400
    # Get command-line arguments to avoid asking questions.
615
401
 
616
 
    optnames = []
617
 
    for opt in config_options:
618
 
        optnames.append(opt.option_name + "=")
619
 
    (opts, args) = getopt.gnu_getopt(args, "", optnames)
 
402
    (opts, args) = getopt.gnu_getopt(args, "", ['root_dir=',
 
403
                    'ivle_install_dir=', 'jail_base=', 'allowed_uids='])
620
404
 
621
405
    if args != []:
622
406
        print >>sys.stderr, "Invalid arguments:", string.join(args, ' ')
628
412
        print """This tool will create the following files:
629
413
    %s
630
414
    %s
631
 
    %s
632
415
prompting you for details about your configuration. The file will be
633
416
overwritten if it already exists. It will *not* install or deploy IVLE.
634
417
 
635
418
Please hit Ctrl+C now if you do not wish to do this.
636
 
""" % (conffile, jailconffile, conf_hfile)
 
419
""" % (conffile, conf_hfile)
637
420
 
638
421
        # Get information from the administrator
639
422
        # If EOF is encountered at any time during the questioning, just exit
640
423
        # silently
641
424
 
642
 
        for opt in config_options:
643
 
            globals()[opt.option_name] = \
644
 
                query_user(globals()[opt.option_name], opt.prompt)
 
425
        root_dir = query_user(root_dir,
 
426
        """Root directory where IVLE is located (in URL space):""")
 
427
        ivle_install_dir = query_user(ivle_install_dir,
 
428
        'Root directory where IVLE will be installed (on the local file '
 
429
        'system):')
 
430
        jail_base = query_user(jail_base,
 
431
        """Root directory where the jails (containing user files) are stored
 
432
(on the local file system):""")
 
433
        subjects_base = query_user(subjects_base,
 
434
        """Root directory where the subject directories (containing worksheets
 
435
and other per-subject files) are stored (on the local file system):""")
 
436
        public_host = query_user(public_host,
 
437
        """Hostname which will cause the server to go into "public mode",
 
438
providing login-free access to student's published work:""")
 
439
        allowed_uids = query_user(allowed_uids,
 
440
        """UID of the web server process which will run IVLE.
 
441
Only this user may execute the trampoline. May specify multiple users as
 
442
a comma-separated list.
 
443
    (eg. "1002,78")""")
 
444
 
645
445
    else:
646
446
        opts = dict(opts)
647
447
        # Non-interactive mode. Parse the options.
648
 
        for opt in config_options:
649
 
            if '--' + opt.option_name in opts:
650
 
                globals()[opt.option_name] = opts['--' + opt.option_name]
 
448
        if '--root_dir' in opts:
 
449
            root_dir = opts['--root_dir']
 
450
        if '--ivle_install_dir' in opts:
 
451
            ivle_install_dir = opts['--ivle_install_dir']
 
452
        if '--jail_base' in opts:
 
453
            jail_base = opts['--jail_base']
 
454
        if '--subjects_base' in opts:
 
455
            jail_base = opts['--subjects_base']
 
456
        if '--public_host' in opts:
 
457
            public_host = opts['--public_host']
 
458
        if '--allowed_uids' in opts:
 
459
            allowed_uids = opts['--allowed_uids']
651
460
 
652
461
    # Error handling on input values
653
462
    try:
654
 
        allowed_uids_list = map(int, allowed_uids.split(','))
 
463
        allowed_uids = map(int, allowed_uids.split(','))
655
464
    except ValueError:
656
465
        print >>sys.stderr, (
657
466
        "Invalid UID list (%s).\n"
658
467
        "Must be a comma-separated list of integers." % allowed_uids)
659
468
        return 1
660
 
    try:
661
 
        db_port = int(db_port)
662
 
        if db_port < 0 or db_port >= 65536: raise ValueError()
663
 
    except ValueError:
664
 
        print >>sys.stderr, (
665
 
        "Invalid DB port (%s).\n"
666
 
        "Must be an integer between 0 and 65535." % repr(db_port))
667
 
        return 1
668
 
    try:
669
 
        usrmgt_port = int(usrmgt_port)
670
 
        if usrmgt_port < 0 or usrmgt_port >= 65536: raise ValueError()
671
 
    except ValueError:
672
 
        print >>sys.stderr, (
673
 
        "Invalid user management port (%s).\n"
674
 
        "Must be an integer between 0 and 65535." % repr(usrmgt_port))
675
 
        return 1
676
469
 
677
 
    # Write lib/conf/conf.py
 
470
    # Write www/conf/conf.py
678
471
 
679
472
    try:
680
473
        conf = open(conffile, "w")
683
476
# conf.py
684
477
# Miscellaneous application settings
685
478
 
686
 
""")
687
 
        for opt in config_options:
688
 
            conf.write('%s\n%s = %s\n' % (opt.comment, opt.option_name,
689
 
                repr(globals()[opt.option_name])))
690
 
 
691
 
        conf.close()
692
 
    except IOError, (errno, strerror):
693
 
        print "IO error(%s): %s" % (errno, strerror)
694
 
        sys.exit(1)
695
 
 
696
 
    print "Successfully wrote lib/conf/conf.py"
697
 
 
698
 
    # Write conf/jailconf.py
699
 
 
700
 
    try:
701
 
        conf = open(jailconffile, "w")
702
 
 
703
 
        # In the "in-jail" version of conf, we don't need MOST of the details
704
 
        # (it would be a security risk to have them here).
705
 
        # So we just write root_dir, and jail_base is "/".
706
 
        # (jail_base being "/" means "jail-relative" paths are relative to "/"
707
 
        # when inside the jail.)
708
 
        conf.write("""# IVLE Configuration File
709
 
# conf.py
710
 
# Miscellaneous application settings
711
 
# (User jail version)
712
 
 
713
479
 
714
480
# In URL space, where in the site is IVLE located. (All URLs will be prefixed
715
481
# with this).
716
482
# eg. "/" or "/ivle".
717
 
root_dir = %s
 
483
root_dir = "%s"
 
484
 
 
485
# In the local file system, where IVLE is actually installed.
 
486
# This directory should contain the "www" and "bin" directories.
 
487
ivle_install_dir = "%s"
 
488
 
 
489
# The server goes into "public mode" if the browser sends a request with this
 
490
# host. This is for security reasons - we only serve public student files on a
 
491
# separate domain to the main IVLE site.
 
492
# Public mode does not use cookies, and serves only public content.
 
493
# Private mode (normal mode) requires login, and only serves files relevant to
 
494
# the logged-in user.
 
495
public_host = "%s"
718
496
 
719
497
# In the local file system, where are the student/user file spaces located.
720
498
# The user jails are expected to be located immediately in subdirectories of
721
499
# this location.
722
 
jail_base = '/'
 
500
jail_base = "%s"
723
501
 
724
 
# The hostname for serving publicly accessible pages
725
 
public_host = %s
726
 
""" % (repr(root_dir),repr(public_host)))
 
502
# In the local file system, where are the per-subject file spaces located.
 
503
# The individual subject directories are expected to be located immediately
 
504
# in subdirectories of this location.
 
505
subjects_base = "%s"
 
506
""" % (root_dir, ivle_install_dir, public_host, jail_base, subjects_base))
727
507
 
728
508
        conf.close()
729
509
    except IOError, (errno, strerror):
730
510
        print "IO error(%s): %s" % (errno, strerror)
731
511
        sys.exit(1)
732
512
 
733
 
    print "Successfully wrote lib/conf/jailconf.py"
 
513
    print "Successfully wrote www/conf/conf.py"
734
514
 
735
515
    # Write trampoline/conf.h
736
516
 
755
535
 * (Note that root is an implicit member of this list).
756
536
 */
757
537
static const int allowed_uids[] = { %s };
758
 
""" % (repr(jail_base)[1:-1], repr(allowed_uids_list)[1:-1]))
759
 
    # Note: The above uses PYTHON reprs, not C reprs
760
 
    # However they should be the same with the exception of the outer
761
 
    # characters, which are stripped off and replaced
 
538
""" % (jail_base, repr(allowed_uids)[1:-1]))
762
539
 
763
540
        conf.close()
764
541
    except IOError, (errno, strerror):
770
547
    print
771
548
    print "You may modify the configuration at any time by editing"
772
549
    print conffile
773
 
    print jailconffile
774
550
    print conf_hfile
775
551
    print
776
552
    return 0
785
561
        print "Dry run (no actions will be executed\n"
786
562
 
787
563
    # Compile the trampoline
788
 
    curdir = os.getcwd()
789
 
    os.chdir('trampoline')
790
 
    action_runprog('make', [], dry)
791
 
    os.chdir(curdir)
 
564
    action_runprog('gcc', ['-Wall', '-o', 'trampoline/trampoline',
 
565
        'trampoline/trampoline.c'], dry)
792
566
 
793
567
    # Create the jail and its subdirectories
794
568
    # Note: Other subdirs will be made by copying files
797
571
    action_mkdir('jail/tmp', dry)
798
572
 
799
573
    # Copy all console and operating system files into the jail
800
 
    action_copylist(install_list.list_scripts, 'jail/opt/ivle', dry)
 
574
    action_copylist(install_list.list_console, 'jail/opt/ivle', dry)
801
575
    copy_os_files_jail(dry)
802
576
    # Chmod the python console
803
 
    action_chmod_x('jail/opt/ivle/scripts/python-console', dry)
804
 
    action_chmod_x('jail/opt/ivle/scripts/fileservice', dry)
 
577
    action_chmod_x('jail/opt/ivle/console/python-console', dry)
805
578
    
806
 
    # Also copy the IVLE lib directory into the jail
807
 
    # This is necessary for running certain scripts
808
 
    action_copylist(install_list.list_lib, 'jail/opt/ivle', dry)
809
 
    # IMPORTANT: The file jail/opt/ivle/lib/conf/conf.py contains details
810
 
    # which could compromise security if left in the jail (such as the DB
811
 
    # password).
812
 
    # The "safe" version is in jailconf.py. Delete conf.py and replace it with
813
 
    # jailconf.py.
814
 
    action_copyfile('lib/conf/jailconf.py',
815
 
        'jail/opt/ivle/lib/conf/conf.py', dry)
816
579
 
817
580
    # Compile .py files into .pyc or .pyo files
818
581
    compileall.compile_dir('www', quiet=True)
819
 
    compileall.compile_dir('lib', quiet=True)
820
 
    compileall.compile_dir('scripts', quiet=True)
821
 
    compileall.compile_dir('jail/opt/ivle/lib', quiet=True)
822
 
 
823
 
    # Set up ivle.pth inside the jail
824
 
    # Need to set /opt/ivle/lib to be on the import path
825
 
    ivle_pth = \
826
 
        "jail/usr/lib/python%s/site-packages/ivle.pth" % PYTHON_VERSION
827
 
    f = open(ivle_pth, 'w')
828
 
    f.write('/opt/ivle/lib\n')
829
 
    f.close()
 
582
    compileall.compile_dir('console', quiet=True)
830
583
 
831
584
    return 0
832
585
 
849
602
 
850
603
def install(args):
851
604
    # Get "dry" and "nojail" variables from command line
852
 
    (opts, args) = getopt.gnu_getopt(args, "n",
853
 
        ['dry', 'nojail', 'nosubjects'])
 
605
    (opts, args) = getopt.gnu_getopt(args, "n", ['dry', 'nojail'])
854
606
    opts = dict(opts)
855
607
    dry = '-n' in opts or '--dry' in opts
856
608
    nojail = '--nojail' in opts
857
 
    nosubjects = '--nosubjects' in opts
858
609
 
859
610
    if dry:
860
611
        print "Dry run (no actions will be executed\n"
874
625
    # chown trampoline to root and set setuid bit
875
626
    action_chown_setuid(tramppath, dry)
876
627
 
877
 
    # Create a scripts directory to put the usrmgt-server in.
878
 
    action_mkdir(os.path.join(ivle_install_dir, 'scripts'), dry)
879
 
    usrmgtpath = os.path.join(ivle_install_dir, 'scripts/usrmgt-server')
880
 
    action_copyfile('scripts/usrmgt-server', usrmgtpath, dry)
881
 
    action_chmod_x(usrmgtpath, dry)
882
 
 
883
 
    # Copy the www and lib directories using the list
 
628
    # Copy the www directory using the list
884
629
    action_copylist(install_list.list_www, ivle_install_dir, dry)
885
 
    action_copylist(install_list.list_lib, ivle_install_dir, dry)
886
 
    
887
 
    # Copy the php directory
888
 
    action_copytree('www/php/phpBB3',os.path.join(ivle_install_dir,'www/php/phpBB3'), 
889
 
    dry)
890
630
 
891
631
    if not nojail:
892
632
        # Copy the local jail directory built by the build action
893
633
        # to the jails template directory (it will be used as a template
894
634
        # for all the students' jails).
895
635
        action_copytree('jail', os.path.join(jail_base, 'template'), dry)
896
 
    if not nosubjects:
897
 
        # Copy the subjects and exercises directories across
898
 
        action_copylist(install_list.list_subjects, subjects_base, dry,
899
 
            srcdir="./subjects")
900
 
        action_copylist(install_list.list_exercises, exercises_base, dry,
901
 
            srcdir="./exercises")
902
636
 
903
637
    # Append IVLE path to ivle.pth in python site packages
904
638
    # (Unless it's already there)
905
639
    ivle_pth = os.path.join(sys.prefix,
906
 
        "lib/python%s/site-packages/ivle.pth" % PYTHON_VERSION)
 
640
        "lib/python2.5/site-packages/ivle.pth")
907
641
    ivle_www = os.path.join(ivle_install_dir, "www")
908
 
    ivle_lib = os.path.join(ivle_install_dir, "lib")
909
642
    write_ivle_pth = True
910
 
    write_ivle_lib_pth = True
911
643
    try:
912
644
        file = open(ivle_pth, 'r')
913
645
        for line in file:
914
646
            if line.strip() == ivle_www:
915
647
                write_ivle_pth = False
916
 
            elif line.strip() == ivle_lib:
917
 
                write_ivle_lib_pth = False
918
 
        file.close()
 
648
                break
919
649
    except (IOError, OSError):
920
650
        pass
921
651
    if write_ivle_pth:
922
652
        action_append(ivle_pth, ivle_www)
923
 
    if write_ivle_lib_pth:
924
 
        action_append(ivle_pth, ivle_lib)
925
653
 
926
654
    return 0
927
655
 
989
717
    if ret != 0:
990
718
        raise RunError(prog, ret)
991
719
 
992
 
def action_remove(path, dry):
993
 
    """Calls rmtree, deleting the target file if it exists."""
994
 
    try:
995
 
        print "rm -r", path
996
 
        if not dry:
997
 
            shutil.rmtree(path, True)
998
 
    except OSError, (err, msg):
999
 
        if err != errno.EEXIST:
1000
 
            raise
1001
 
        # Otherwise, didn't exist, so we don't care
1002
 
 
1003
720
def action_rename(src, dst, dry):
1004
721
    """Calls rename. Deletes the target if it already exists."""
1005
 
    action_remove(dst, dry)
 
722
    if os.access(dst, os.F_OK):
 
723
        print "rm -r", dst
 
724
        if not dry:
 
725
            shutil.rmtree(dst, True)
1006
726
    print "mv ", src, dst
1007
727
    if dry: return
1008
728
    try:
1028
748
    directories as necessary.
1029
749
 
1030
750
    See shutil.copytree."""
1031
 
    # Allow copying over itself
1032
 
    if (os.path.normpath(os.path.join(os.getcwd(),src)) ==
1033
 
        os.path.normpath(os.path.join(os.getcwd(),dst))):
1034
 
        return
1035
 
    action_remove(dst, dry)
 
751
    if os.access(dst, os.F_OK):
 
752
        print "rm -r", dst
 
753
        if not dry:
 
754
            shutil.rmtree(dst, True)
1036
755
    print "cp -r", src, dst
1037
756
    if dry: return
1038
757
    shutil.copytree(src, dst, True)
1041
760
    """Hard-links an entire directory tree. Same as copytree but the created
1042
761
    files are hard-links not actual copies. Removes the existing destination.
1043
762
    """
1044
 
    action_remove(dst, dry)
 
763
    if os.access(dst, os.F_OK):
 
764
        print "rm -r", dst
 
765
        if not dry:
 
766
            shutil.rmtree(dst, True)
1045
767
    print "<cp with hardlinks> -r", src, dst
1046
768
    if dry: return
1047
769
    common.makeuser.linktree(src, dst)
1048
770
 
1049
 
def action_copylist(srclist, dst, dry, srcdir="."):
 
771
def action_copylist(srclist, dst, dry):
1050
772
    """Copies all files in a list to a new location. The files in the list
1051
773
    are read relative to the current directory, and their destinations are the
1052
774
    same paths relative to dst. Creates all parent directories as necessary.
1053
 
    srcdir is "." by default, can be overridden.
1054
775
    """
1055
776
    for srcfile in srclist:
1056
777
        dstfile = os.path.join(dst, srcfile)
1057
 
        srcfile = os.path.join(srcdir, srcfile)
1058
778
        dstdir = os.path.split(dstfile)[0]
1059
779
        if not os.path.isdir(dstdir):
1060
780
            action_mkdir(dstdir, dry)
1069
789
def action_copyfile(src, dst, dry):
1070
790
    """Copies one file to a new location. Creates all parent directories
1071
791
    as necessary.
1072
 
    Warn if file not found.
1073
792
    """
1074
793
    dstdir = os.path.split(dst)[0]
1075
794
    if not os.path.isdir(dstdir):
1079
798
        try:
1080
799
            shutil.copyfile(src, dst)
1081
800
            shutil.copymode(src, dst)
1082
 
        except (shutil.Error, IOError), e:
1083
 
            print "Warning: " + str(e)
 
801
        except shutil.Error:
 
802
            pass
1084
803
 
1085
804
def action_symlink(src, dst, dry):
1086
805
    """Creates a symlink in a given location. Creates all parent directories
1116
835
            | stat.S_ISUID | stat.S_IRUSR | stat.S_IWUSR)
1117
836
 
1118
837
def action_chmod_x(file, dry):
1119
 
    """Chmod 755 a file (sets permissions to rwxr-xr-x)."""
1120
 
    print "chmod 755", file
 
838
    """Chmod +xs a file (sets execute permission)."""
 
839
    print "chmod u+rwx", file
1121
840
    if not dry:
1122
 
        os.chmod(file, stat.S_IXUSR | stat.S_IRUSR | stat.S_IWUSR
1123
 
            | stat.S_IXGRP | stat.S_IRGRP | stat.S_IXOTH | stat.S_IROTH)
 
841
        os.chmod(file, stat.S_IXUSR | stat.S_IRUSR | stat.S_IWUSR)
1124
842
 
1125
843
def query_user(default, prompt):
1126
844
    """Prompts the user for a string, which is read from a line of stdin.