← Back to branch summary

~azzar1/unity/add-show-desktop-key

« back to all changes in this revision

Viewing changes to setup.py

  • Committer: mattgiuca
  • Date: 2008-01-09 03:23:58 UTC
  • Revision ID: svn-v3-trunk0:2b9c9e99-6f39-0410-b283-7f802c844ae2:trunk:134
Added module: common/makeuser.py. Creates a new user jail by hardlinking the
jail template.
Added script: trunk/makeuser.py. Command-line script to run the above module
and create a user.

Show diffs side-by-side

added added

removed removed

Lines of Context:
setup.py
31
31
# cutting a distribution, and the listfile it generates should be included in
32
32
# the distribution, avoiding the administrator having to run it.
33
33
 
34
 
# setup.py config [args]
 
34
# setup.py conf [args]
35
35
# Configures IVLE with machine-specific details, most notably, various paths.
36
36
# Either prompts the administrator for these details or accepts them as
37
37
# command-line args.
38
 
# Creates lib/conf/conf.py and trampoline/conf.h.
 
38
# Creates www/conf/conf.py and trampoline/conf.h.
39
39
 
40
40
# setup.py build
41
41
# Compiles all files and sets up a jail template in the source directory.
68
68
import compileall
69
69
import getopt
70
70
 
71
 
# Import modules from the website is tricky since they're in the www
72
 
# directory.
73
 
sys.path.append(os.path.join(os.getcwd(), 'lib'))
74
 
import conf
75
 
import common.makeuser
76
 
 
77
 
# Determine which Python version (2.4 or 2.5, for example) we are running,
78
 
# and use that as the filename to the Python directory.
79
 
# Just get the first 3 characters of sys.version.
80
 
PYTHON_VERSION = sys.version[0:3]
81
 
 
82
 
# Operating system files to copy over into the jail.
83
 
# These will be copied from the given place on the OS file system into the
84
 
# same place within the jail.
85
 
JAIL_FILES = [
86
 
    '/lib/ld-linux.so.2',
87
 
    '/lib/tls/i686/cmov/libc.so.6',
88
 
    '/lib/tls/i686/cmov/libdl.so.2',
89
 
    '/lib/tls/i686/cmov/libm.so.6',
90
 
    '/lib/tls/i686/cmov/libpthread.so.0',
91
 
    '/lib/tls/i686/cmov/libutil.so.1',
92
 
    '/etc/ld.so.conf',
93
 
    '/etc/ld.so.cache',
94
 
    # These 2 files do not exist in Ubuntu
95
 
    #'/etc/ld.so.preload',
96
 
    #'/etc/ld.so.nohwcap',
97
 
    # UNIX commands
98
 
    '/usr/bin/strace',
99
 
    '/bin/ls',
100
 
    '/bin/echo',
101
 
    # Needed by python
102
 
    '/usr/bin/python%s' % PYTHON_VERSION,
103
 
    # Needed by fileservice
104
 
    '/lib/libcom_err.so.2',
105
 
    '/lib/libcrypt.so.1',
106
 
    '/lib/libkeyutils.so.1',
107
 
    '/lib/libresolv.so.2',
108
 
    '/lib/librt.so.1',
109
 
    '/lib/libuuid.so.1',
110
 
    '/usr/lib/libapr-1.so.0',
111
 
    '/usr/lib/libaprutil-1.so.0',
112
 
    '/usr/lib/libdb-4.4.so',
113
 
    '/usr/lib/libexpat.so.1',
114
 
    '/usr/lib/libgcrypt.so.11',
115
 
    '/usr/lib/libgnutls.so.13',
116
 
    '/usr/lib/libgpg-error.so.0',
117
 
    '/usr/lib/libgssapi_krb5.so.2',
118
 
    '/usr/lib/libk5crypto.so.3',
119
 
    '/usr/lib/libkrb5.so.3',
120
 
    '/usr/lib/libkrb5support.so.0',
121
 
    '/usr/lib/liblber.so.2',
122
 
    '/usr/lib/libldap_r.so.2',
123
 
    '/usr/lib/libneon.so.26',
124
 
    '/usr/lib/libpq.so.5',
125
 
    '/usr/lib/libsasl2.so.2',
126
 
    '/usr/lib/libsqlite3.so.0',
127
 
    '/usr/lib/libsvn_client-1.so.1',
128
 
    '/usr/lib/libsvn_delta-1.so.1',
129
 
    '/usr/lib/libsvn_diff-1.so.1',
130
 
    '/usr/lib/libsvn_fs-1.so.1',
131
 
    '/usr/lib/libsvn_fs_base-1.so.1',
132
 
    '/usr/lib/libsvn_fs_fs-1.so.1',
133
 
    '/usr/lib/libsvn_ra-1.so.1',
134
 
    '/usr/lib/libsvn_ra_dav-1.so.1',
135
 
    '/usr/lib/libsvn_ra_local-1.so.1',
136
 
    '/usr/lib/libsvn_ra_svn-1.so.1',
137
 
    '/usr/lib/libsvn_repos-1.so.1',
138
 
    '/usr/lib/libsvn_subr-1.so.1',
139
 
    '/usr/lib/libsvn_wc-1.so.1',
140
 
    '/usr/lib/libtasn1.so.3',
141
 
    '/usr/lib/libxml2.so.2',
142
 
    # Needed by matplotlib
143
 
    '/usr/lib/i686/cmov/libssl.so.0.9.8',
144
 
    '/usr/lib/i686/cmov/libcrypto.so.0.9.8',
145
 
    '/lib/tls/i686/cmov/libnsl.so.1',
146
 
    '/usr/lib/libz.so.1',
147
 
    '/usr/lib/atlas/liblapack.so.3',
148
 
    '/usr/lib/atlas/libblas.so.3',
149
 
    '/usr/lib/libg2c.so.0',
150
 
    '/usr/lib/libstdc++.so.6',
151
 
    '/usr/lib/libfreetype.so.6',
152
 
    '/usr/lib/libpng12.so.0',
153
 
    '/usr/lib/libBLT.2.4.so.8.4',
154
 
    '/usr/lib/libtk8.4.so.0',
155
 
    '/usr/lib/libtcl8.4.so.0',
156
 
    '/usr/lib/tcl8.4/init.tcl',
157
 
    '/usr/lib/libX11.so.6',
158
 
    '/usr/lib/libXau.so.6',
159
 
    '/usr/lib/libXdmcp.so.6',
160
 
    '/lib/libgcc_s.so.1',
161
 
    '/etc/matplotlibrc',
162
 
    # Needed for resolv
163
 
    '/lib/libnss_dns.so.2',
164
 
    #'/lib/libnss_mdns4.so',
165
 
    '/etc/hosts',
166
 
    '/etc/resolv.conf',
167
 
    #'/etc/hosts.conf',
168
 
    #'/etc/hostname',
169
 
    '/etc/nsswitch.conf',
170
 
    '/lib/libnss_files.so.2',
171
 
]
172
 
# Symlinks to make within the jail. Src mapped to dst.
173
 
JAIL_LINKS = {
174
 
    'python%s' % PYTHON_VERSION: 'jail/usr/bin/python',
175
 
}
176
 
# Trees to copy. Src mapped to dst (these will be passed to action_copytree).
177
 
JAIL_COPYTREES = {
178
 
    '/usr/lib/python%s' % PYTHON_VERSION:
179
 
        'jail/usr/lib/python%s' % PYTHON_VERSION,
180
 
    '/usr/share/matplotlib': 'jail/usr/share/matplotlib',
181
 
    '/etc/ld.so.conf.d': 'jail/etc/ld.so.conf.d',
182
 
}
183
 
 
184
 
class ConfigOption:
185
 
    """A configuration option; one of the things written to conf.py."""
186
 
    def __init__(self, option_name, default, prompt, comment):
187
 
        """Creates a configuration option.
188
 
        option_name: Name of the variable in conf.py. Also name of the
189
 
            command-line argument to setup.py conf.
190
 
        default: Default value for this variable.
191
 
        prompt: (Short) string presented during the interactive prompt in
192
 
            setup.py conf.
193
 
        comment: (Long) comment string stored in conf.py. Each line of this
194
 
            string should begin with a '#'.
195
 
        """
196
 
        self.option_name = option_name
197
 
        self.default = default
198
 
        self.prompt = prompt
199
 
        self.comment = comment
200
 
 
201
 
# Configuration options, defaults and descriptions
202
 
config_options = []
203
 
config_options.append(ConfigOption("root_dir", "/",
204
 
    """Root directory where IVLE is located (in URL space):""",
205
 
    """
206
 
# In URL space, where in the site is IVLE located. (All URLs will be prefixed
207
 
# with this).
208
 
# eg. "/" or "/ivle"."""))
209
 
config_options.append(ConfigOption("ivle_install_dir", "/opt/ivle",
210
 
    'Root directory where IVLE will be installed (on the local file '
211
 
    'system):',
212
 
    """
213
 
# In the local file system, where IVLE is actually installed.
214
 
# This directory should contain the "www" and "bin" directories."""))
215
 
config_options.append(ConfigOption("jail_base", "/home/informatics/jails",
216
 
    """Location of Directories
217
 
=======================
218
 
Root directory where the jails (containing user files) are stored
219
 
(on the local file system):""",
220
 
    """
221
 
# In the local file system, where are the student/user file spaces located.
222
 
# The user jails are expected to be located immediately in subdirectories of
223
 
# this location."""))
224
 
config_options.append(ConfigOption("subjects_base",
225
 
    "/home/informatics/subjects",
226
 
    """Root directory where the subject directories (containing worksheets
227
 
and other per-subject files) are stored (on the local file system):""",
228
 
    """
229
 
# In the local file system, where are the per-subject file spaces located.
230
 
# The individual subject directories are expected to be located immediately
231
 
# in subdirectories of this location."""))
232
 
config_options.append(ConfigOption("exercises_base",
233
 
    "/home/informatics/exercises",
234
 
    """Root directory where the exercise directories (containing
235
 
subject-independent exercise sheets) are stored (on the local file
236
 
system):""",
237
 
    """
238
 
# In the local file system, where are the subject-independent exercise sheet
239
 
# file spaces located."""))
240
 
config_options.append(ConfigOption("public_host", "public.localhost",
241
 
    """Hostname which will cause the server to go into "public mode",
242
 
providing login-free access to student's published work:""",
243
 
    """
244
 
# The server goes into "public mode" if the browser sends a request with this
245
 
# host. This is for security reasons - we only serve public student files on a
246
 
# separate domain to the main IVLE site.
247
 
# Public mode does not use cookies, and serves only public content.
248
 
# Private mode (normal mode) requires login, and only serves files relevant to
249
 
# the logged-in user."""))
250
 
config_options.append(ConfigOption("allowed_uids", "33",
251
 
    """UID of the web server process which will run IVLE.
252
 
Only this user may execute the trampoline. May specify multiple users as
253
 
a comma-separated list.
254
 
    (eg. "1002,78")""",
255
 
    """
256
 
# The User-ID of the web server process which will run IVLE, and any other
257
 
# users who are allowed to run the trampoline. This is stores as a string of
258
 
# comma-separated integers, simply because it is not used within Python, only
259
 
# used by the setup program to write to conf.h (see setup.py config)."""))
260
 
config_options.append(ConfigOption("db_host", "localhost",
261
 
    """PostgreSQL Database config
262
 
==========================
263
 
Hostname of the DB server:""",
264
 
    """
265
 
### PostgreSQL Database config ###
266
 
# Database server hostname"""))
267
 
config_options.append(ConfigOption("db_port", "5432",
268
 
    """Port of the DB server:""",
269
 
    """
270
 
# Database server port"""))
271
 
config_options.append(ConfigOption("db_dbname", "ivle",
272
 
    """Database name:""",
273
 
    """
274
 
# Database name"""))
275
 
config_options.append(ConfigOption("db_user", "postgres",
276
 
    """Username for DB server login:""",
277
 
    """
278
 
# Database username"""))
279
 
config_options.append(ConfigOption("db_password", "",
280
 
    """Password for DB server login:
281
 
    (Caution: This password is stored in plaintext in lib/conf/conf.py)""",
282
 
    """
283
 
# Database password"""))
284
 
config_options.append(ConfigOption("auth_modules", "ldap_auth",
285
 
    """Authentication config
286
 
=====================
287
 
Comma-separated list of authentication modules. Only "ldap" is available
288
 
by default.""",
289
 
    """
290
 
# Comma-separated list of authentication modules.
291
 
# These refer to importable Python modules in the www/auth directory.
292
 
# Modules "ldap" and "guest" are available in the source tree, but
293
 
# other modules may be plugged in to auth against organisation-specific
294
 
# auth backends."""))
295
 
config_options.append(ConfigOption("ldap_url", "ldaps://www.example.com",
296
 
    """(LDAP options are only relevant if "ldap" is included in the list of
297
 
auth modules).
298
 
URL for LDAP authentication server:""",
299
 
    """
300
 
# URL for LDAP authentication server"""))
301
 
config_options.append(ConfigOption("ldap_format_string",
302
 
    "uid=%s,ou=users,o=example",
303
 
    """Format string for LDAP auth request:
304
 
    (Must contain a single "%s" for the user's login name)""",
305
 
    """
306
 
# Format string for LDAP auth request
307
 
# (Must contain a single "%s" for the user's login name)"""))
308
 
config_options.append(ConfigOption("svn_addr", "http://svn.localhost/",
309
 
    """Subversion config
310
 
=================
311
 
The base url for accessing subversion repositories:""",
312
 
    """
313
 
# The base url for accessing subversion repositories."""))
314
 
config_options.append(ConfigOption("svn_conf", "/opt/ivle/svn/svn.conf",
315
 
    """The location of the subversion configuration file used by apache
316
 
to host the user repositories:""",
317
 
    """
318
 
# The location of the subversion configuration file used by
319
 
# apache to host the user repositories."""))
320
 
config_options.append(ConfigOption("svn_repo_path", "/home/informatics/repositories",
321
 
    """The root directory for the subversion repositories:""",
322
 
    """
323
 
# The root directory for the subversion repositories."""))
324
 
config_options.append(ConfigOption("svn_auth_ivle", "/opt/ivle/svn/ivle.auth",
325
 
    """The location of the password file used to authenticate users
326
 
of the subversion repository from the ivle server:""",
327
 
    """
328
 
# The location of the password file used to authenticate users
329
 
# of the subversion repository from the ivle server."""))
330
 
config_options.append(ConfigOption("svn_auth_local", "/opt/ivle/svn/local.auth",
331
 
    """The location of the password file used to authenticate local users
332
 
of the subversion repository:""",
333
 
    """
334
 
# The location of the password file used to authenticate local users
335
 
# of the subversion repository."""))
336
 
config_options.append(ConfigOption("usrmgt_host", "localhost",
337
 
    """User Management Server config
338
 
============================
339
 
The hostname where the usrmgt-server runs:""",
340
 
    """
341
 
# The hostname where the usrmgt-server runs."""))
342
 
config_options.append(ConfigOption("usrmgt_port", "2178",
343
 
    """The port where the usrmgt-server runs:""",
344
 
    """
345
 
# The port where the usrmgt-server runs."""))
346
 
config_options.append(ConfigOption("usrmgt_magic", "",
347
 
    """The password for the usrmgt-server:""",
348
 
    """
349
 
# The password for the usrmgt-server."""))
350
 
 
351
71
# Try importing existing conf, but if we can't just set up defaults
352
72
# The reason for this is that these settings are used by other phases
353
73
# of setup besides conf, so we need to know them.
354
74
# Also this allows you to hit Return to accept the existing value.
355
75
try:
356
 
    confmodule = __import__("lib/conf/conf")
357
 
    for opt in config_options:
358
 
        try:
359
 
            globals()[opt.option_name] = confmodule.__dict__[opt.option_name]
360
 
        except:
361
 
            globals()[opt.option_name] = opt.default
 
76
    confmodule = __import__("www/conf/conf")
 
77
    root_dir = confmodule.root_dir
 
78
    ivle_install_dir = confmodule.ivle_install_dir
 
79
    jail_base = confmodule.jail_base
362
80
except ImportError:
363
81
    # Just set reasonable defaults
364
 
    for opt in config_options:
365
 
        globals()[opt.option_name] = opt.default
 
82
    root_dir = "/ivle"
 
83
    ivle_install_dir = "/opt/ivle"
 
84
    jail_base = "/home/informatics/jails"
 
85
# Always defaults
 
86
allowed_uids = "0"
366
87
 
367
88
# Try importing install_list, but don't fail if we can't, because listmake can
368
89
# function without it.
377
98
# as necessary, and include it in the distribution.
378
99
listmake_mimetypes = ['text/x-python', 'text/html',
379
100
    'application/x-javascript', 'application/javascript',
380
 
    'text/css', 'image/png', 'application/xml']
 
101
    'text/css', 'image/png']
381
102
 
382
103
# Main function skeleton from Guido van Rossum
383
104
# http://www.artima.com/weblogs/viewpost.jsp?thread=4829
406
127
        return 1
407
128
 
408
129
    # Disallow run as root unless installing
409
 
    if (operation != 'install' and operation != 'updatejails'
410
 
        and os.geteuid() == 0):
 
130
    if operation != 'install' and os.geteuid() == 0:
411
131
        print >>sys.stderr, "I do not want to run this stage as root."
412
132
        print >>sys.stderr, "Please run as a normal user."
413
133
        return 1
415
135
    try:
416
136
        oper_func = {
417
137
            'help' : help,
418
 
            'config' : conf,
 
138
            'conf' : conf,
419
139
            'build' : build,
420
140
            'listmake' : listmake,
421
141
            'install' : install,
422
 
            'updatejails' : updatejails,
423
142
        }[operation]
424
143
    except KeyError:
425
144
        print >>sys.stderr, (
436
155
Operation (and args) can be:
437
156
    help [operation]
438
157
    listmake (developer use only)
439
 
    config [args]
 
158
    conf [args]
440
159
    build
441
 
    install [--nojail] [--nosubjects] [-n|--dry]
 
160
    install [--nojail] [-n|--dry]
442
161
"""
443
162
        return 1
444
163
    elif len(args) != 1:
457
176
be copied upon installation. This should be run by the developer before
458
177
cutting a distribution, and the listfile it generates should be included in
459
178
the distribution, avoiding the administrator having to run it."""
460
 
    elif operation == 'config':
461
 
        print """python setup.py config [args]
 
179
    elif operation == 'conf':
 
180
        print """python setup.py conf [args]
462
181
Configures IVLE with machine-specific details, most notably, various paths.
463
182
Either prompts the administrator for these details or accepts them as
464
183
command-line args. Will be interactive only if there are no arguments given.
468
187
to rebuild/install), just provide ivle_install_dir as the IVLE trunk
469
188
directory, and run build/install one time.
470
189
 
471
 
Creates lib/conf/conf.py and trampoline/conf.h.
 
190
Creates www/conf/conf.py and trampoline/conf.h.
472
191
 
473
 
Args are:"""
474
 
        for opt in config_options:
475
 
            print "    --" + opt.option_name
476
 
        print """As explained in the interactive prompt or conf.py.
 
192
Args are:
 
193
    --root_dir
 
194
    --ivle_install_dir
 
195
    --jail_base
 
196
    --allowed_uids
 
197
As explained in the interactive prompt or conf.py.
477
198
"""
478
199
    elif operation == 'build':
479
200
        print """python -O setup.py build [--dry|-n]
490
211
 
491
212
--dry | -n  Print out the actions but don't do anything."""
492
213
    elif operation == 'install':
493
 
        print """sudo python setup.py install [--nojail] [--nosubjects][--dry|-n]
 
214
        print """sudo python setup.py install [--nojail] [--dry|-n]
494
215
(Requires root)
495
216
Create target install directory ($target).
496
217
Create $target/bin.
498
219
chown and chmod the installed trampoline.
499
220
Copy www/ to $target.
500
221
Copy jail/ to jails template directory (unless --nojail specified).
501
 
Copy subjects/ to subjects directory (unless --nosubjects specified).
502
 
 
503
 
--nojail        Do not copy the jail.
504
 
--nosubjects    Do not copy the subjects and exercises directories.
505
 
--dry | -n  Print out the actions but don't do anything."""
506
 
    elif operation == 'updatejails':
507
 
        print """sudo python setup.py updatejails [--dry|-n]
508
 
(Requires root)
509
 
Copy jail/ to each subdirectory in jails directory.
510
 
 
 
222
 
 
223
--nojail    Do not copy the jail.
511
224
--dry | -n  Print out the actions but don't do anything."""
512
225
    else:
513
226
        print >>sys.stderr, (
518
231
def listmake(args):
519
232
    # We build two separate lists, by walking www and console
520
233
    list_www = build_list_py_files('www')
521
 
    list_lib = build_list_py_files('lib')
522
 
    list_subjects = build_list_py_files('subjects', no_top_level=True)
523
 
    list_exercises = build_list_py_files('exercises', no_top_level=True)
524
 
    list_scripts = [
525
 
        "scripts/python-console",
526
 
        "scripts/fileservice",
527
 
        "scripts/usrmgt-server",
528
 
    ]
 
234
    list_console = build_list_py_files('console')
529
235
    # Make sure that the files generated by conf are in the list
530
236
    # (since listmake is typically run before conf)
531
 
    if "lib/conf/conf.py" not in list_lib:
532
 
        list_lib.append("lib/conf/conf.py")
 
237
    if "www/conf/conf.py" not in list_www:
 
238
        list_www.append("www/conf/conf.py")
 
239
    # Make sure that console/python-console is in the list
 
240
    if "console/python-console" not in list_console:
 
241
        list_console.append("console/python-console")
533
242
    # Write these out to a file
534
243
    cwd = os.getcwd()
535
244
    # the files that will be created/overwritten
549
258
list_www = """)
550
259
        writelist_pretty(file, list_www)
551
260
        file.write("""
552
 
# List of all installable files in lib directory.
553
 
list_lib = """)
554
 
        writelist_pretty(file, list_lib)
555
 
        file.write("""
556
 
# List of all installable files in scripts directory.
557
 
list_scripts = """)
558
 
        writelist_pretty(file, list_scripts)
559
 
        file.write("""
560
 
# List of all installable files in subjects directory.
561
 
# This is to install sample subjects and material.
562
 
list_subjects = """)
563
 
        writelist_pretty(file, list_subjects)
564
 
        file.write("""
565
 
# List of all installable files in exercises directory.
566
 
# This is to install sample exercise material.
567
 
list_exercises = """)
568
 
        writelist_pretty(file, list_exercises)
 
261
# List of all installable files in console directory.
 
262
list_console = """)
 
263
        writelist_pretty(file, list_console)
569
264
 
570
265
        file.close()
571
266
    except IOError, (errno, strerror):
582
277
 
583
278
    return 0
584
279
 
585
 
def build_list_py_files(dir, no_top_level=False):
 
280
def build_list_py_files(dir):
586
281
    """Builds a list of all py files found in a directory and its
587
 
    subdirectories. Returns this as a list of strings.
588
 
    no_top_level=True means the file paths will not include the top-level
589
 
    directory.
590
 
    """
 
282
    subdirectories. Returns this as a list of strings."""
591
283
    pylist = []
592
284
    for (dirpath, dirnames, filenames) in os.walk(dir):
593
285
        # Exclude directories beginning with a '.' (such as '.svn')
595
287
        # All *.py files are added to the list
596
288
        pylist += [os.path.join(dirpath, item) for item in filenames
597
289
            if mimetypes.guess_type(item)[0] in listmake_mimetypes]
598
 
    if no_top_level:
599
 
        for i in range(0, len(pylist)):
600
 
            _, pylist[i] = pylist[i].split(os.sep, 1)
601
290
    return pylist
602
291
 
603
292
def writelist_pretty(file, list):
611
300
        file.write(']\n')
612
301
 
613
302
def conf(args):
614
 
    global db_port, usrmgt_port
 
303
    global root_dir, ivle_install_dir, jail_base, allowed_uids
615
304
    # Set up some variables
616
305
 
617
306
    cwd = os.getcwd()
618
307
    # the files that will be created/overwritten
619
 
    conffile = os.path.join(cwd, "lib/conf/conf.py")
620
 
    jailconffile = os.path.join(cwd, "lib/conf/jailconf.py")
 
308
    conffile = os.path.join(cwd, "www/conf/conf.py")
621
309
    conf_hfile = os.path.join(cwd, "trampoline/conf.h")
622
310
 
 
311
    # Fixed config options that we don't ask the admin
 
312
    default_app = "dummy"
 
313
 
623
314
    # Get command-line arguments to avoid asking questions.
624
315
 
625
 
    optnames = []
626
 
    for opt in config_options:
627
 
        optnames.append(opt.option_name + "=")
628
 
    (opts, args) = getopt.gnu_getopt(args, "", optnames)
 
316
    (opts, args) = getopt.gnu_getopt(args, "", ['root_dir=',
 
317
                    'ivle_install_dir=', 'jail_base=', 'allowed_uids='])
629
318
 
630
319
    if args != []:
631
320
        print >>sys.stderr, "Invalid arguments:", string.join(args, ' ')
637
326
        print """This tool will create the following files:
638
327
    %s
639
328
    %s
640
 
    %s
641
329
prompting you for details about your configuration. The file will be
642
330
overwritten if it already exists. It will *not* install or deploy IVLE.
643
331
 
644
332
Please hit Ctrl+C now if you do not wish to do this.
645
 
""" % (conffile, jailconffile, conf_hfile)
 
333
""" % (conffile, conf_hfile)
646
334
 
647
335
        # Get information from the administrator
648
336
        # If EOF is encountered at any time during the questioning, just exit
649
337
        # silently
650
338
 
651
 
        for opt in config_options:
652
 
            globals()[opt.option_name] = \
653
 
                query_user(globals()[opt.option_name], opt.prompt)
 
339
        root_dir = query_user(root_dir,
 
340
        """Root directory where IVLE is located (in URL space):""")
 
341
        ivle_install_dir = query_user(ivle_install_dir,
 
342
        'Root directory where IVLE will be installed (on the local file '
 
343
        'system):')
 
344
        jail_base = query_user(jail_base,
 
345
        """Root directory where the jails (containing user files) are stored
 
346
(on the local file system):""")
 
347
        allowed_uids = query_user(allowed_uids,
 
348
        """UID of the web server process which will run IVLE.
 
349
Only this user may execute the trampoline. May specify multiple users as
 
350
a comma-separated list.
 
351
    (eg. "1002,78")""")
 
352
 
654
353
    else:
655
354
        opts = dict(opts)
656
355
        # Non-interactive mode. Parse the options.
657
 
        for opt in config_options:
658
 
            if '--' + opt.option_name in opts:
659
 
                globals()[opt.option_name] = opts['--' + opt.option_name]
 
356
        if '--root_dir' in opts:
 
357
            root_dir = opts['--root_dir']
 
358
        if '--ivle_install_dir' in opts:
 
359
            ivle_install_dir = opts['--ivle_install_dir']
 
360
        if '--jail_base' in opts:
 
361
            jail_base = opts['--jail_base']
 
362
        if '--allowed_uids' in opts:
 
363
            allowed_uids = opts['--allowed_uids']
660
364
 
661
365
    # Error handling on input values
662
366
    try:
663
 
        allowed_uids_list = map(int, allowed_uids.split(','))
 
367
        allowed_uids = map(int, allowed_uids.split(','))
664
368
    except ValueError:
665
369
        print >>sys.stderr, (
666
370
        "Invalid UID list (%s).\n"
667
371
        "Must be a comma-separated list of integers." % allowed_uids)
668
372
        return 1
669
 
    try:
670
 
        db_port = int(db_port)
671
 
        if db_port < 0 or db_port >= 65536: raise ValueError()
672
 
    except ValueError:
673
 
        print >>sys.stderr, (
674
 
        "Invalid DB port (%s).\n"
675
 
        "Must be an integer between 0 and 65535." % repr(db_port))
676
 
        return 1
677
 
    try:
678
 
        usrmgt_port = int(usrmgt_port)
679
 
        if usrmgt_port < 0 or usrmgt_port >= 65536: raise ValueError()
680
 
    except ValueError:
681
 
        print >>sys.stderr, (
682
 
        "Invalid user management port (%s).\n"
683
 
        "Must be an integer between 0 and 65535." % repr(usrmgt_port))
684
 
        return 1
685
373
 
686
 
    # Write lib/conf/conf.py
 
374
    # Write www/conf/conf.py
687
375
 
688
376
    try:
689
377
        conf = open(conffile, "w")
692
380
# conf.py
693
381
# Miscellaneous application settings
694
382
 
695
 
""")
696
 
        for opt in config_options:
697
 
            conf.write('%s\n%s = %s\n' % (opt.comment, opt.option_name,
698
 
                repr(globals()[opt.option_name])))
699
 
 
700
 
        conf.close()
701
 
    except IOError, (errno, strerror):
702
 
        print "IO error(%s): %s" % (errno, strerror)
703
 
        sys.exit(1)
704
 
 
705
 
    print "Successfully wrote lib/conf/conf.py"
706
 
 
707
 
    # Write conf/jailconf.py
708
 
 
709
 
    try:
710
 
        conf = open(jailconffile, "w")
711
 
 
712
 
        # In the "in-jail" version of conf, we don't need MOST of the details
713
 
        # (it would be a security risk to have them here).
714
 
        # So we just write root_dir, and jail_base is "/".
715
 
        # (jail_base being "/" means "jail-relative" paths are relative to "/"
716
 
        # when inside the jail.)
717
 
        conf.write("""# IVLE Configuration File
718
 
# conf.py
719
 
# Miscellaneous application settings
720
 
# (User jail version)
721
 
 
722
383
 
723
384
# In URL space, where in the site is IVLE located. (All URLs will be prefixed
724
385
# with this).
725
386
# eg. "/" or "/ivle".
726
 
root_dir = %s
 
387
root_dir = "%s"
 
388
 
 
389
# In the local file system, where IVLE is actually installed.
 
390
# This directory should contain the "www" and "bin" directories.
 
391
ivle_install_dir = "%s"
727
392
 
728
393
# In the local file system, where are the student/user file spaces located.
729
394
# The user jails are expected to be located immediately in subdirectories of
730
395
# this location.
731
 
jail_base = '/'
 
396
jail_base = "%s"
732
397
 
733
 
# The hostname for serving publicly accessible pages
734
 
public_host = %s
735
 
""" % (repr(root_dir),repr(public_host)))
 
398
# Which application to load by default (if the user navigates to the top level
 
399
# of the site). This is the app's URL name.
 
400
# Note that if this app requires authentication, the user will first be
 
401
# presented with the login screen.
 
402
default_app = "%s"
 
403
""" % (root_dir, ivle_install_dir, jail_base, default_app))
736
404
 
737
405
        conf.close()
738
406
    except IOError, (errno, strerror):
739
407
        print "IO error(%s): %s" % (errno, strerror)
740
408
        sys.exit(1)
741
409
 
742
 
    print "Successfully wrote lib/conf/jailconf.py"
 
410
    print "Successfully wrote www/conf/conf.py"
743
411
 
744
412
    # Write trampoline/conf.h
745
413
 
764
432
 * (Note that root is an implicit member of this list).
765
433
 */
766
434
static const int allowed_uids[] = { %s };
767
 
""" % (repr(jail_base)[1:-1], repr(allowed_uids_list)[1:-1]))
768
 
    # Note: The above uses PYTHON reprs, not C reprs
769
 
    # However they should be the same with the exception of the outer
770
 
    # characters, which are stripped off and replaced
 
435
""" % (jail_base, repr(allowed_uids)[1:-1]))
771
436
 
772
437
        conf.close()
773
438
    except IOError, (errno, strerror):
779
444
    print
780
445
    print "You may modify the configuration at any time by editing"
781
446
    print conffile
782
 
    print jailconffile
783
447
    print conf_hfile
784
448
    print
785
449
    return 0
794
458
        print "Dry run (no actions will be executed\n"
795
459
 
796
460
    # Compile the trampoline
797
 
    curdir = os.getcwd()
798
 
    os.chdir('trampoline')
799
 
    action_runprog('make', [], dry)
800
 
    os.chdir(curdir)
 
461
    action_runprog('gcc', ['-Wall', '-o', 'trampoline/trampoline',
 
462
        'trampoline/trampoline.c'], dry)
801
463
 
802
464
    # Create the jail and its subdirectories
803
465
    # Note: Other subdirs will be made by copying files
805
467
    action_mkdir('jail/home', dry)
806
468
    action_mkdir('jail/tmp', dry)
807
469
 
808
 
    # Chmod the tmp directory to world writable
809
 
    action_chmod_w('jail/tmp', dry)
810
 
 
811
470
    # Copy all console and operating system files into the jail
812
 
    action_copylist(install_list.list_scripts, 'jail/opt/ivle', dry)
 
471
    action_copylist(install_list.list_console, 'jail/opt/ivle', dry)
813
472
    copy_os_files_jail(dry)
814
 
    # Chmod the python console
815
 
    action_chmod_x('jail/opt/ivle/scripts/python-console', dry)
816
 
    action_chmod_x('jail/opt/ivle/scripts/fileservice', dry)
817
 
    
818
 
    # Also copy the IVLE lib directory into the jail
819
 
    # This is necessary for running certain scripts
820
 
    action_copylist(install_list.list_lib, 'jail/opt/ivle', dry)
821
 
    # IMPORTANT: The file jail/opt/ivle/lib/conf/conf.py contains details
822
 
    # which could compromise security if left in the jail (such as the DB
823
 
    # password).
824
 
    # The "safe" version is in jailconf.py. Delete conf.py and replace it with
825
 
    # jailconf.py.
826
 
    action_copyfile('lib/conf/jailconf.py',
827
 
        'jail/opt/ivle/lib/conf/conf.py', dry)
828
473
 
829
474
    # Compile .py files into .pyc or .pyo files
830
475
    compileall.compile_dir('www', quiet=True)
831
 
    compileall.compile_dir('lib', quiet=True)
832
 
    compileall.compile_dir('scripts', quiet=True)
833
 
    compileall.compile_dir('jail/opt/ivle/lib', quiet=True)
834
 
 
835
 
    # Set up ivle.pth inside the jail
836
 
    # Need to set /opt/ivle/lib to be on the import path
837
 
    ivle_pth = \
838
 
        "jail/usr/lib/python%s/site-packages/ivle.pth" % PYTHON_VERSION
839
 
    f = open(ivle_pth, 'w')
840
 
    f.write('/opt/ivle/lib\n')
841
 
    f.close()
 
476
    compileall.compile_dir('console', quiet=True)
842
477
 
843
478
    return 0
844
479
 
846
481
    """Copies necessary Operating System files from their usual locations
847
482
    into the jail/ directory of the cwd."""
848
483
    # Currently source paths are configured for Ubuntu.
849
 
    for filename in JAIL_FILES:
850
 
        copy_file_to_jail(filename, dry)
851
 
    for src, dst in JAIL_LINKS.items():
852
 
        action_symlink(src, dst, dry)
853
 
    for src, dst in JAIL_COPYTREES.items():
854
 
        action_copytree(src, dst, dry)
 
484
    copy_file_to_jail('/lib/ld-linux.so.2', dry)
 
485
    copy_file_to_jail('/lib/tls/i686/cmov/libc.so.6', dry)
 
486
    copy_file_to_jail('/lib/tls/i686/cmov/libdl.so.2', dry)
 
487
    copy_file_to_jail('/lib/tls/i686/cmov/libm.so.6', dry)
 
488
    copy_file_to_jail('/lib/tls/i686/cmov/libpthread.so.0', dry)
 
489
    copy_file_to_jail('/lib/tls/i686/cmov/libutil.so.1', dry)
 
490
    copy_file_to_jail('/usr/bin/python2.5', dry)
 
491
    action_symlink('python2.5', 'jail/usr/bin/python', dry)
 
492
    action_copytree('/usr/lib/python2.5', 'jail/usr/lib/python2.5', dry)
855
493
 
856
494
def copy_file_to_jail(src, dry):
857
495
    """Copies a single file from an absolute location into the same location
861
499
 
862
500
def install(args):
863
501
    # Get "dry" and "nojail" variables from command line
864
 
    (opts, args) = getopt.gnu_getopt(args, "n",
865
 
        ['dry', 'nojail', 'nosubjects'])
 
502
    (opts, args) = getopt.gnu_getopt(args, "n", ['dry', 'nojail'])
866
503
    opts = dict(opts)
867
504
    dry = '-n' in opts or '--dry' in opts
868
505
    nojail = '--nojail' in opts
869
 
    nosubjects = '--nosubjects' in opts
870
506
 
871
507
    if dry:
872
508
        print "Dry run (no actions will be executed\n"
886
522
    # chown trampoline to root and set setuid bit
887
523
    action_chown_setuid(tramppath, dry)
888
524
 
889
 
    # Create a scripts directory to put the usrmgt-server in.
890
 
    action_mkdir(os.path.join(ivle_install_dir, 'scripts'), dry)
891
 
    usrmgtpath = os.path.join(ivle_install_dir, 'scripts/usrmgt-server')
892
 
    action_copyfile('scripts/usrmgt-server', usrmgtpath, dry)
893
 
    action_chmod_x(usrmgtpath, dry)
894
 
 
895
 
    # Copy the www and lib directories using the list
 
525
    # Copy the www directory using the list
896
526
    action_copylist(install_list.list_www, ivle_install_dir, dry)
897
 
    action_copylist(install_list.list_lib, ivle_install_dir, dry)
898
 
    
899
 
    # Copy the php directory
900
 
    action_copytree('www/php/phpBB3',os.path.join(ivle_install_dir,'www/php/phpBB3'), 
901
 
    dry)
902
527
 
903
528
    if not nojail:
904
529
        # Copy the local jail directory built by the build action
905
530
        # to the jails template directory (it will be used as a template
906
531
        # for all the students' jails).
907
532
        action_copytree('jail', os.path.join(jail_base, 'template'), dry)
908
 
    if not nosubjects:
909
 
        # Copy the subjects and exercises directories across
910
 
        action_copylist(install_list.list_subjects, subjects_base, dry,
911
 
            srcdir="./subjects")
912
 
        action_copylist(install_list.list_exercises, exercises_base, dry,
913
 
            srcdir="./exercises")
914
 
 
915
 
    # Append IVLE path to ivle.pth in python site packages
916
 
    # (Unless it's already there)
917
 
    ivle_pth = os.path.join(sys.prefix,
918
 
        "lib/python%s/site-packages/ivle.pth" % PYTHON_VERSION)
919
 
    ivle_www = os.path.join(ivle_install_dir, "www")
920
 
    ivle_lib = os.path.join(ivle_install_dir, "lib")
921
 
    write_ivle_pth = True
922
 
    write_ivle_lib_pth = True
923
 
    try:
924
 
        file = open(ivle_pth, 'r')
925
 
        for line in file:
926
 
            if line.strip() == ivle_www:
927
 
                write_ivle_pth = False
928
 
            elif line.strip() == ivle_lib:
929
 
                write_ivle_lib_pth = False
930
 
        file.close()
931
 
    except (IOError, OSError):
932
 
        pass
933
 
    if write_ivle_pth:
934
 
        action_append(ivle_pth, ivle_www)
935
 
    if write_ivle_lib_pth:
936
 
        action_append(ivle_pth, ivle_lib)
937
 
 
938
 
    return 0
939
 
 
940
 
def updatejails(args):
941
 
    # Get "dry" variable from command line
942
 
    (opts, args) = getopt.gnu_getopt(args, "n", ['dry'])
943
 
    opts = dict(opts)
944
 
    dry = '-n' in opts or '--dry' in opts
945
 
 
946
 
    if dry:
947
 
        print "Dry run (no actions will be executed\n"
948
 
 
949
 
    if not dry and os.geteuid() != 0:
950
 
        print >>sys.stderr, "Must be root to run install"
951
 
        print >>sys.stderr, "(I need to chown some files)."
952
 
        return 1
953
 
 
954
 
    # Update the template jail directory in case it hasn't been installed
955
 
    # recently.
956
 
    action_copytree('jail', os.path.join(jail_base, 'template'), dry)
957
 
 
958
 
    # Re-link all the files in all students jails.
959
 
    for dir in os.listdir(jail_base):
960
 
        if dir == 'template': continue
961
 
        # First back up the student's home directory
962
 
        temp_home = os.tmpnam()
963
 
        action_rename(os.path.join(jail_base, dir, 'home'), temp_home, dry)
964
 
        # Delete the student's jail and relink the jail files
965
 
        action_linktree(os.path.join(jail_base, 'template'),
966
 
            os.path.join(jail_base, dir), dry)
967
 
        # Restore the student's home directory
968
 
        action_rename(temp_home, os.path.join(jail_base, dir, 'home'), dry)
969
 
        # Set up the user's home directory just in case they don't have a
970
 
        # directory for this yet
971
 
        action_mkdir(os.path.join(jail_base, dir, 'home', dir), dry)
972
533
 
973
534
    return 0
974
535
 
1001
562
    if ret != 0:
1002
563
        raise RunError(prog, ret)
1003
564
 
1004
 
def action_remove(path, dry):
1005
 
    """Calls rmtree, deleting the target file if it exists."""
1006
 
    try:
1007
 
        print "rm -r", path
1008
 
        if not dry:
1009
 
            shutil.rmtree(path, True)
1010
 
    except OSError, (err, msg):
1011
 
        if err != errno.EEXIST:
1012
 
            raise
1013
 
        # Otherwise, didn't exist, so we don't care
1014
 
 
1015
 
def action_rename(src, dst, dry):
1016
 
    """Calls rename. Deletes the target if it already exists."""
1017
 
    action_remove(dst, dry)
1018
 
    print "mv ", src, dst
1019
 
    if dry: return
1020
 
    try:
1021
 
        os.rename(src, dst)
1022
 
    except OSError, (err, msg):
1023
 
        if err != errno.EEXIST:
1024
 
            raise
1025
 
 
1026
565
def action_mkdir(path, dry):
1027
566
    """Calls mkdir. Silently ignored if the directory already exists.
1028
567
    Creates all parent directories as necessary."""
1040
579
    directories as necessary.
1041
580
 
1042
581
    See shutil.copytree."""
1043
 
    # Allow copying over itself
1044
 
    if (os.path.normpath(os.path.join(os.getcwd(),src)) ==
1045
 
        os.path.normpath(os.path.join(os.getcwd(),dst))):
1046
 
        return
1047
 
    action_remove(dst, dry)
 
582
    if os.access(dst, os.F_OK):
 
583
        print "rm -r", dst
 
584
        if not dry:
 
585
            shutil.rmtree(dst, True)
1048
586
    print "cp -r", src, dst
1049
587
    if dry: return
1050
588
    shutil.copytree(src, dst, True)
1051
589
 
1052
 
def action_linktree(src, dst, dry):
1053
 
    """Hard-links an entire directory tree. Same as copytree but the created
1054
 
    files are hard-links not actual copies. Removes the existing destination.
1055
 
    """
1056
 
    action_remove(dst, dry)
1057
 
    print "<cp with hardlinks> -r", src, dst
1058
 
    if dry: return
1059
 
    common.makeuser.linktree(src, dst)
1060
 
 
1061
 
def action_copylist(srclist, dst, dry, srcdir="."):
 
590
def action_copylist(srclist, dst, dry):
1062
591
    """Copies all files in a list to a new location. The files in the list
1063
592
    are read relative to the current directory, and their destinations are the
1064
593
    same paths relative to dst. Creates all parent directories as necessary.
1065
 
    srcdir is "." by default, can be overridden.
1066
594
    """
1067
595
    for srcfile in srclist:
1068
596
        dstfile = os.path.join(dst, srcfile)
1069
 
        srcfile = os.path.join(srcdir, srcfile)
1070
597
        dstdir = os.path.split(dstfile)[0]
1071
598
        if not os.path.isdir(dstdir):
1072
599
            action_mkdir(dstdir, dry)
1081
608
def action_copyfile(src, dst, dry):
1082
609
    """Copies one file to a new location. Creates all parent directories
1083
610
    as necessary.
1084
 
    Warn if file not found.
1085
611
    """
1086
612
    dstdir = os.path.split(dst)[0]
1087
613
    if not os.path.isdir(dstdir):
1091
617
        try:
1092
618
            shutil.copyfile(src, dst)
1093
619
            shutil.copymode(src, dst)
1094
 
        except (shutil.Error, IOError), e:
1095
 
            print "Warning: " + str(e)
 
620
        except shutil.Error:
 
621
            pass
1096
622
 
1097
623
def action_symlink(src, dst, dry):
1098
624
    """Creates a symlink in a given location. Creates all parent directories
1108
634
    if not dry:
1109
635
        os.symlink(src, dst)
1110
636
 
1111
 
def action_append(ivle_pth, ivle_www):
1112
 
    file = open(ivle_pth, 'a+')
1113
 
    file.write(ivle_www + '\n')
1114
 
    file.close()
1115
 
 
1116
637
def action_chown_setuid(file, dry):
1117
638
    """Chowns a file to root, and sets the setuid bit on the file.
1118
639
    Calling this function requires the euid to be root.
1127
648
        os.chmod(file, stat.S_IXUSR | stat.S_IXGRP | stat.S_IXOTH
1128
649
            | stat.S_ISUID | stat.S_IRUSR | stat.S_IWUSR)
1129
650
 
1130
 
def action_chmod_x(file, dry):
1131
 
    """Chmod 755 a file (sets permissions to rwxr-xr-x)."""
1132
 
    print "chmod 755", file
1133
 
    if not dry:
1134
 
        os.chmod(file, stat.S_IXUSR | stat.S_IRUSR | stat.S_IWUSR
1135
 
            | stat.S_IXGRP | stat.S_IRGRP | stat.S_IXOTH | stat.S_IROTH)
1136
 
 
1137
 
 
1138
 
def action_chmod_w(file, dry):
1139
 
    """Chmod 777 a file (sets permissions to rwxrwxrwx)."""
1140
 
    print "chmod 777", file
1141
 
    if not dry:
1142
 
        os.chmod(file, stat.S_IXUSR | stat.S_IRUSR | stat.S_IWUSR
1143
 
            | stat.S_IXGRP | stat.S_IWGRP | stat.S_IRGRP | stat.S_IXOTH
1144
 
            | stat.S_IWOTH | stat.S_IROTH)
1145
 
 
1146
651
def query_user(default, prompt):
1147
652
    """Prompts the user for a string, which is read from a line of stdin.
1148
653
    Exits silently if EOF is encountered. Returns the string, with spaces