← Back to branch summary

~azzar1/unity/add-show-desktop-key

« back to all changes in this revision

Viewing changes to setup.py

  • Committer: drtomc
  • Date: 2008-02-01 04:13:23 UTC
  • Revision ID: svn-v3-trunk0:2b9c9e99-6f39-0410-b283-7f802c844ae2:trunk:369
Add stuff on installing and configuring pound.

Show diffs side-by-side

added added

removed removed

Lines of Context:
setup.py
35
35
# Configures IVLE with machine-specific details, most notably, various paths.
36
36
# Either prompts the administrator for these details or accepts them as
37
37
# command-line args.
38
 
# Creates lib/conf/conf.py and trampoline/conf.h.
 
38
# Creates www/conf/conf.py and trampoline/conf.h.
39
39
 
40
40
# setup.py build
41
41
# Compiles all files and sets up a jail template in the source directory.
70
70
 
71
71
# Import modules from the website is tricky since they're in the www
72
72
# directory.
73
 
sys.path.append(os.path.join(os.getcwd(), 'lib'))
 
73
sys.path.append(os.path.join(os.getcwd(), 'www'))
74
74
import conf
75
75
import common.makeuser
76
76
 
100
100
    '/bin/echo',
101
101
    # Needed by python
102
102
    '/usr/bin/python%s' % PYTHON_VERSION,
103
 
    # Needed by fileservice
104
 
    '/lib/libcom_err.so.2',
105
 
    '/lib/libcrypt.so.1',
106
 
    '/lib/libkeyutils.so.1',
107
 
    '/lib/libresolv.so.2',
108
 
    '/lib/librt.so.1',
109
 
    '/lib/libuuid.so.1',
110
 
    '/usr/lib/libapr-1.so.0',
111
 
    '/usr/lib/libaprutil-1.so.0',
112
 
    '/usr/lib/libdb-4.4.so',
113
 
    '/usr/lib/libexpat.so.1',
114
 
    '/usr/lib/libgcrypt.so.11',
115
 
    '/usr/lib/libgnutls.so.13',
116
 
    '/usr/lib/libgpg-error.so.0',
117
 
    '/usr/lib/libgssapi_krb5.so.2',
118
 
    '/usr/lib/libk5crypto.so.3',
119
 
    '/usr/lib/libkrb5.so.3',
120
 
    '/usr/lib/libkrb5support.so.0',
121
 
    '/usr/lib/liblber.so.2',
122
 
    '/usr/lib/libldap_r.so.2',
123
 
    '/usr/lib/libneon.so.26',
124
 
    '/usr/lib/libpq.so.5',
125
 
    '/usr/lib/libsasl2.so.2',
126
 
    '/usr/lib/libsqlite3.so.0',
127
 
    '/usr/lib/libsvn_client-1.so.1',
128
 
    '/usr/lib/libsvn_delta-1.so.1',
129
 
    '/usr/lib/libsvn_diff-1.so.1',
130
 
    '/usr/lib/libsvn_fs-1.so.1',
131
 
    '/usr/lib/libsvn_fs_base-1.so.1',
132
 
    '/usr/lib/libsvn_fs_fs-1.so.1',
133
 
    '/usr/lib/libsvn_ra-1.so.1',
134
 
    '/usr/lib/libsvn_ra_dav-1.so.1',
135
 
    '/usr/lib/libsvn_ra_local-1.so.1',
136
 
    '/usr/lib/libsvn_ra_svn-1.so.1',
137
 
    '/usr/lib/libsvn_repos-1.so.1',
138
 
    '/usr/lib/libsvn_subr-1.so.1',
139
 
    '/usr/lib/libsvn_wc-1.so.1',
140
 
    '/usr/lib/libtasn1.so.3',
141
 
    '/usr/lib/libxml2.so.2',
142
103
    # Needed by matplotlib
143
104
    '/usr/lib/i686/cmov/libssl.so.0.9.8',
144
105
    '/usr/lib/i686/cmov/libcrypto.so.0.9.8',
191
152
 
192
153
# Configuration options, defaults and descriptions
193
154
config_options = []
194
 
config_options.append(ConfigOption("root_dir", "/",
 
155
config_options.append(ConfigOption("root_dir", "/ivle",
195
156
    """Root directory where IVLE is located (in URL space):""",
196
157
    """
197
158
# In URL space, where in the site is IVLE located. (All URLs will be prefixed
218
179
# In the local file system, where are the per-subject file spaces located.
219
180
# The individual subject directories are expected to be located immediately
220
181
# in subdirectories of this location."""))
221
 
config_options.append(ConfigOption("problems_base",
222
 
    "/home/informatics/problems",
223
 
    """Root directory where the problem directories (containing
224
 
subject-independent problem sheets) are stored (on the local file
225
 
system):""",
226
 
    """
227
 
# In the local file system, where are the subject-independent problem sheet
228
 
# file spaces located."""))
229
182
config_options.append(ConfigOption("public_host", "public.localhost",
230
183
    """Hostname which will cause the server to go into "public mode",
231
184
providing login-free access to student's published work:""",
267
220
# Database username"""))
268
221
config_options.append(ConfigOption("db_password", "",
269
222
    """Password for DB server login:
270
 
    (Caution: This password is stored in plaintext in lib/conf/conf.py)""",
 
223
    (Caution: This password is stored in plaintext in www/conf/conf.py)""",
271
224
    """
272
225
# Database password"""))
273
 
config_options.append(ConfigOption("svn_conf", "/opt/ivle/svn/svn.conf",
274
 
    """The location of the subversion configuration file used by apache
275
 
to host the user repositories:""",
276
 
    """
277
 
# The location of the subversion configuration file used by
278
 
# apache to host the user repositories."""))
279
 
config_options.append(ConfigOption("svn_repo_path", "/home/informatics/repositories",
280
 
    """The root directory for the subversion repositories:""",
281
 
    """
282
 
# The root directory for the subversion repositories."""))
283
 
config_options.append(ConfigOption("svn_auth_ivle", "/opt/ivle/svn/ivle.auth",
284
 
    """The location of the password file used to authenticate users
285
 
of the subversion repository from the ivle server:""",
286
 
    """
287
 
# The location of the password file used to authenticate users
288
 
# of the subversion repository from the ivle server."""))
289
 
config_options.append(ConfigOption("svn_auth_local", "/opt/ivle/svn/local.auth",
290
 
    """The location of the password file used to authenticate local users
291
 
of the subversion repository:""",
292
 
    """
293
 
# The location of the password file used to authenticate local users
294
 
# of the subversion repository."""))
295
 
config_options.append(ConfigOption("usrmgt_host", "localhost",
296
 
    """The hostname where the usrmgt-server runs:""",
297
 
    """
298
 
# The hostname where the usrmgt-server runs."""))
299
 
config_options.append(ConfigOption("usrmgt_port", "2178",
300
 
    """The port where the usrmgt-server runs:""",
301
 
    """
302
 
# The port where the usrmgt-server runs."""))
303
 
config_options.append(ConfigOption("usrmgt_magic", "",
304
 
    """The password for the usrmgt-server:""",
305
 
    """
306
 
# The password for the usrmgt-server."""))
307
226
 
308
227
# Try importing existing conf, but if we can't just set up defaults
309
228
# The reason for this is that these settings are used by other phases
310
229
# of setup besides conf, so we need to know them.
311
230
# Also this allows you to hit Return to accept the existing value.
312
231
try:
313
 
    confmodule = __import__("lib/conf/conf")
 
232
    confmodule = __import__("www/conf/conf")
314
233
    for opt in config_options:
315
234
        try:
316
235
            globals()[opt.option_name] = confmodule.__dict__[opt.option_name]
425
344
to rebuild/install), just provide ivle_install_dir as the IVLE trunk
426
345
directory, and run build/install one time.
427
346
 
428
 
Creates lib/conf/conf.py and trampoline/conf.h.
 
347
Creates www/conf/conf.py and trampoline/conf.h.
429
348
 
430
349
Args are:"""
431
350
        for opt in config_options:
458
377
Copy subjects/ to subjects directory (unless --nosubjects specified).
459
378
 
460
379
--nojail        Do not copy the jail.
461
 
--nosubjects    Do not copy the subjects and problems directories.
 
380
--nosubjects    Do not copy the subjects.
462
381
--dry | -n  Print out the actions but don't do anything."""
463
382
    elif operation == 'updatejails':
464
383
        print """sudo python setup.py updatejails [--dry|-n]
475
394
def listmake(args):
476
395
    # We build two separate lists, by walking www and console
477
396
    list_www = build_list_py_files('www')
478
 
    list_lib = build_list_py_files('lib')
 
397
    list_console = build_list_py_files('console')
479
398
    list_subjects = build_list_py_files('subjects', no_top_level=True)
480
 
    list_problems = build_list_py_files('problems', no_top_level=True)
481
 
    list_scripts = [
482
 
        "scripts/python-console",
483
 
        "scripts/fileservice",
484
 
        "scripts/usrmgt-server",
485
 
    ]
486
399
    # Make sure that the files generated by conf are in the list
487
400
    # (since listmake is typically run before conf)
488
 
    if "lib/conf/conf.py" not in list_lib:
489
 
        list_lib.append("lib/conf/conf.py")
 
401
    if "www/conf/conf.py" not in list_www:
 
402
        list_www.append("www/conf/conf.py")
 
403
    # Make sure that console/python-console is in the list
 
404
    if "console/python-console" not in list_console:
 
405
        list_console.append("console/python-console")
490
406
    # Write these out to a file
491
407
    cwd = os.getcwd()
492
408
    # the files that will be created/overwritten
506
422
list_www = """)
507
423
        writelist_pretty(file, list_www)
508
424
        file.write("""
509
 
# List of all installable files in lib directory.
510
 
list_lib = """)
511
 
        writelist_pretty(file, list_lib)
512
 
        file.write("""
513
 
# List of all installable files in scripts directory.
514
 
list_scripts = """)
515
 
        writelist_pretty(file, list_scripts)
 
425
# List of all installable files in console directory.
 
426
list_console = """)
 
427
        writelist_pretty(file, list_console)
516
428
        file.write("""
517
429
# List of all installable files in subjects directory.
518
430
# This is to install sample subjects and material.
519
431
list_subjects = """)
520
432
        writelist_pretty(file, list_subjects)
521
 
        file.write("""
522
 
# List of all installable files in problems directory.
523
 
# This is to install sample exercise material.
524
 
list_problems = """)
525
 
        writelist_pretty(file, list_problems)
526
433
 
527
434
        file.close()
528
435
    except IOError, (errno, strerror):
568
475
        file.write(']\n')
569
476
 
570
477
def conf(args):
571
 
    global db_port, usrmgt_port
 
478
    global db_port
572
479
    # Set up some variables
573
480
 
574
481
    cwd = os.getcwd()
575
482
    # the files that will be created/overwritten
576
 
    conffile = os.path.join(cwd, "lib/conf/conf.py")
577
 
    jailconffile = os.path.join(cwd, "lib/conf/jailconf.py")
 
483
    conffile = os.path.join(cwd, "www/conf/conf.py")
578
484
    conf_hfile = os.path.join(cwd, "trampoline/conf.h")
579
485
 
580
486
    # Get command-line arguments to avoid asking questions.
594
500
        print """This tool will create the following files:
595
501
    %s
596
502
    %s
597
 
    %s
598
503
prompting you for details about your configuration. The file will be
599
504
overwritten if it already exists. It will *not* install or deploy IVLE.
600
505
 
601
506
Please hit Ctrl+C now if you do not wish to do this.
602
 
""" % (conffile, jailconffile, conf_hfile)
 
507
""" % (conffile, conf_hfile)
603
508
 
604
509
        # Get information from the administrator
605
510
        # If EOF is encountered at any time during the questioning, just exit
631
536
        "Invalid DB port (%s).\n"
632
537
        "Must be an integer between 0 and 65535." % repr(db_port))
633
538
        return 1
634
 
    try:
635
 
        usrmgt_port = int(usrmgt_port)
636
 
        if usrmgt_port < 0 or usrmgt_port >= 65536: raise ValueError()
637
 
    except ValueError:
638
 
        print >>sys.stderr, (
639
 
        "Invalid user management port (%s).\n"
640
 
        "Must be an integer between 0 and 65535." % repr(usrmgt_port))
641
 
        return 1
642
539
 
643
 
    # Write lib/conf/conf.py
 
540
    # Write www/conf/conf.py
644
541
 
645
542
    try:
646
543
        conf = open(conffile, "w")
659
556
        print "IO error(%s): %s" % (errno, strerror)
660
557
        sys.exit(1)
661
558
 
662
 
    print "Successfully wrote lib/conf/conf.py"
663
 
 
664
 
    # Write conf/jailconf.py
665
 
 
666
 
    try:
667
 
        conf = open(jailconffile, "w")
668
 
 
669
 
        # In the "in-jail" version of conf, we don't need MOST of the details
670
 
        # (it would be a security risk to have them here).
671
 
        # So we just write root_dir, and jail_base is "/".
672
 
        # (jail_base being "/" means "jail-relative" paths are relative to "/"
673
 
        # when inside the jail.)
674
 
        conf.write("""# IVLE Configuration File
675
 
# conf.py
676
 
# Miscellaneous application settings
677
 
# (User jail version)
678
 
 
679
 
 
680
 
# In URL space, where in the site is IVLE located. (All URLs will be prefixed
681
 
# with this).
682
 
# eg. "/" or "/ivle".
683
 
root_dir = %s
684
 
 
685
 
# In the local file system, where are the student/user file spaces located.
686
 
# The user jails are expected to be located immediately in subdirectories of
687
 
# this location.
688
 
jail_base = '/'
689
 
 
690
 
# The hostname for serving publicly accessible pages
691
 
public_host = %s
692
 
""" % (repr(root_dir),repr(public_host)))
693
 
 
694
 
        conf.close()
695
 
    except IOError, (errno, strerror):
696
 
        print "IO error(%s): %s" % (errno, strerror)
697
 
        sys.exit(1)
698
 
 
699
 
    print "Successfully wrote lib/conf/jailconf.py"
 
559
    print "Successfully wrote www/conf/conf.py"
700
560
 
701
561
    # Write trampoline/conf.h
702
562
 
721
581
 * (Note that root is an implicit member of this list).
722
582
 */
723
583
static const int allowed_uids[] = { %s };
724
 
""" % (repr(jail_base)[1:-1], repr(allowed_uids_list)[1:-1]))
725
 
    # Note: The above uses PYTHON reprs, not C reprs
726
 
    # However they should be the same with the exception of the outer
727
 
    # characters, which are stripped off and replaced
 
584
""" % (jail_base, repr(allowed_uids_list)[1:-1]))
728
585
 
729
586
        conf.close()
730
587
    except IOError, (errno, strerror):
736
593
    print
737
594
    print "You may modify the configuration at any time by editing"
738
595
    print conffile
739
 
    print jailconffile
740
596
    print conf_hfile
741
597
    print
742
598
    return 0
763
619
    action_mkdir('jail/tmp', dry)
764
620
 
765
621
    # Copy all console and operating system files into the jail
766
 
    action_copylist(install_list.list_scripts, 'jail/opt/ivle', dry)
 
622
    action_copylist(install_list.list_console, 'jail/opt/ivle', dry)
767
623
    copy_os_files_jail(dry)
768
624
    # Chmod the python console
769
 
    action_chmod_x('jail/opt/ivle/scripts/python-console', dry)
770
 
    action_chmod_x('jail/opt/ivle/scripts/fileservice', dry)
 
625
    action_chmod_x('jail/opt/ivle/console/python-console', dry)
771
626
    
772
 
    # Also copy the IVLE lib directory into the jail
773
 
    # This is necessary for running certain scripts
774
 
    action_copylist(install_list.list_lib, 'jail/opt/ivle', dry)
775
 
    # IMPORTANT: The file jail/opt/ivle/lib/conf/conf.py contains details
776
 
    # which could compromise security if left in the jail (such as the DB
777
 
    # password).
778
 
    # The "safe" version is in jailconf.py. Delete conf.py and replace it with
779
 
    # jailconf.py.
780
 
    action_copyfile('lib/conf/jailconf.py',
781
 
        'jail/opt/ivle/lib/conf/conf.py', dry)
782
627
 
783
628
    # Compile .py files into .pyc or .pyo files
784
629
    compileall.compile_dir('www', quiet=True)
785
 
    compileall.compile_dir('lib', quiet=True)
786
 
    compileall.compile_dir('scripts', quiet=True)
787
 
    compileall.compile_dir('jail/opt/ivle/lib', quiet=True)
788
 
 
789
 
    # Set up ivle.pth inside the jail
790
 
    # Need to set /opt/ivle/lib to be on the import path
791
 
    ivle_pth = \
792
 
        "jail/usr/lib/python%s/site-packages/ivle.pth" % PYTHON_VERSION
793
 
    f = open(ivle_pth, 'w')
794
 
    f.write('/opt/ivle/lib\n')
795
 
    f.close()
 
630
    compileall.compile_dir('console', quiet=True)
796
631
 
797
632
    return 0
798
633
 
840
675
    # chown trampoline to root and set setuid bit
841
676
    action_chown_setuid(tramppath, dry)
842
677
 
843
 
    # Copy the www and lib directories using the list
 
678
    # Copy the www directory using the list
844
679
    action_copylist(install_list.list_www, ivle_install_dir, dry)
845
 
    action_copylist(install_list.list_lib, ivle_install_dir, dry)
846
680
 
847
681
    if not nojail:
848
682
        # Copy the local jail directory built by the build action
850
684
        # for all the students' jails).
851
685
        action_copytree('jail', os.path.join(jail_base, 'template'), dry)
852
686
    if not nosubjects:
853
 
        # Copy the subjects and problems directories across
 
687
        # Copy the subjects directory across
854
688
        action_copylist(install_list.list_subjects, subjects_base, dry,
855
689
            srcdir="./subjects")
856
 
        action_copylist(install_list.list_problems, problems_base, dry,
857
 
            srcdir="./problems")
858
690
 
859
691
    # Append IVLE path to ivle.pth in python site packages
860
692
    # (Unless it's already there)
861
693
    ivle_pth = os.path.join(sys.prefix,
862
694
        "lib/python%s/site-packages/ivle.pth" % PYTHON_VERSION)
863
695
    ivle_www = os.path.join(ivle_install_dir, "www")
864
 
    ivle_lib = os.path.join(ivle_install_dir, "lib")
865
696
    write_ivle_pth = True
866
 
    write_ivle_lib_pth = True
867
697
    try:
868
698
        file = open(ivle_pth, 'r')
869
699
        for line in file:
870
700
            if line.strip() == ivle_www:
871
701
                write_ivle_pth = False
872
 
            elif line.strip() == ivle_lib:
873
 
                write_ivle_lib_pth = False
874
 
        file.close()
 
702
                break
875
703
    except (IOError, OSError):
876
704
        pass
877
705
    if write_ivle_pth:
878
706
        action_append(ivle_pth, ivle_www)
879
 
    if write_ivle_lib_pth:
880
 
        action_append(ivle_pth, ivle_lib)
881
707
 
882
708
    return 0
883
709
 
945
771
    if ret != 0:
946
772
        raise RunError(prog, ret)
947
773
 
948
 
def action_remove(path, dry):
949
 
    """Calls rmtree, deleting the target file if it exists."""
950
 
    try:
951
 
        print "rm -r", path
952
 
        if not dry:
953
 
            shutil.rmtree(path, True)
954
 
    except OSError, (err, msg):
955
 
        if err != errno.EEXIST:
956
 
            raise
957
 
        # Otherwise, didn't exist, so we don't care
958
 
 
959
774
def action_rename(src, dst, dry):
960
775
    """Calls rename. Deletes the target if it already exists."""
961
 
    action_remove(dst, dry)
 
776
    if os.access(dst, os.F_OK):
 
777
        print "rm -r", dst
 
778
        if not dry:
 
779
            shutil.rmtree(dst, True)
962
780
    print "mv ", src, dst
963
781
    if dry: return
964
782
    try:
984
802
    directories as necessary.
985
803
 
986
804
    See shutil.copytree."""
987
 
    action_remove(dst, dry)
 
805
    if os.access(dst, os.F_OK):
 
806
        print "rm -r", dst
 
807
        if not dry:
 
808
            shutil.rmtree(dst, True)
988
809
    print "cp -r", src, dst
989
810
    if dry: return
990
811
    shutil.copytree(src, dst, True)
993
814
    """Hard-links an entire directory tree. Same as copytree but the created
994
815
    files are hard-links not actual copies. Removes the existing destination.
995
816
    """
996
 
    action_remove(dst, dry)
 
817
    if os.access(dst, os.F_OK):
 
818
        print "rm -r", dst
 
819
        if not dry:
 
820
            shutil.rmtree(dst, True)
997
821
    print "<cp with hardlinks> -r", src, dst
998
822
    if dry: return
999
823
    common.makeuser.linktree(src, dst)
1068
892
            | stat.S_ISUID | stat.S_IRUSR | stat.S_IWUSR)
1069
893
 
1070
894
def action_chmod_x(file, dry):
1071
 
    """Chmod 755 a file (sets permissions to rwxr-xr-x)."""
1072
 
    print "chmod 755", file
 
895
    """Chmod +xs a file (sets execute permission)."""
 
896
    print "chmod u+rwx", file
1073
897
    if not dry:
1074
 
        os.chmod(file, stat.S_IXUSR | stat.S_IRUSR | stat.S_IWUSR
1075
 
            | stat.S_IXGRP | stat.S_IRGRP | stat.S_IXOTH | stat.S_IROTH)
 
898
        os.chmod(file, stat.S_IXUSR | stat.S_IRUSR | stat.S_IWUSR)
1076
899
 
1077
900
def query_user(default, prompt):
1078
901
    """Prompts the user for a string, which is read from a line of stdin.