~azzar1/unity/add-show-desktop-key

« back to all changes in this revision

Viewing changes to test/test_framework/README-examples

[Uber-commit of holiday work because I lacked a local copy of the branch.]

 ivle.makeuser: Don't use jailconf.py as a header for the in-jail conf.py;
     generate the whole thing using string formatting operators and include
     the template inline.

 ivle.makeuser.make_conf_py: XXX the inclusion of ivle.conf.jail_base in
     the jail. It is simply there to placate ivle.studpath, and needs
     to go before we can entirely remove the in-jail config.

 ivle-buildjail:
   - Add. Converted from setup.buildjail.
   - Build the jail in __base_build__ and rsync it to __base__ when
     done, rather than operating only in ./jail
   - Rename --rebuildjail/-j to --recreate/-r, as the whole script
     is now for jail rebuilding. Also add a warning to the usage string about
     the large volume likely to be downloaded.
   - Check existence before removing trees.
   - Don't copy jailconf.py over conf.py in the jail. Also make
     sure that we remove conf.pyc.

 setup.configure:
   - Stop generating jailconf.py at all.
   - Add a jail_system_build setting, defaulting to __base_build__ next to
     the existing __base__.
   - Don't use an OptionParser before calling the real function, as that
     adds options dynamically.

 setup.install:
   - Add an option (-R) to avoid writing out svn revision info to
     $PREFIX/share/ivle/revision.txt.
   - Remove jail-copying things.
   - Install all services to the host, rather than just usrmgt-server. We do
     this so we can build the jail from the host without the source tree.
   - Shuffle some things, and don't install phpBB3 twice.
   - Add a --root argument, to take an alternate root directory to install
     into (as given to autotools in $DESTDIR).

 setup.build:
   - Allow running as non-root.
   - Take a --no-compile option to not byte-compile Python files.

 setup.util:
   - Include usrmgt-server in the list of services.
   - Add make_install_path(), a wrapper around os.path.join() that ensures
     the second path is relative.
   - Install ivle-buildjail with the other binaries.

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
These files are several examples that may be run by the test framework.
 
2
 
 
3
------------------
 
4
all_input_text.xml
 
5
all_input.py
 
6
------------------
 
7
An xml spec for a problem which requires reading various input sources and a possible attempt at the problem.
 
8
 
 
9
------------------
 
10
fib_text.xml
 
11
fib.py
 
12
------------------
 
13
An xml spec for a problem which requires writing a function to calculate fibonnaci numbers, and a slightly incorrect implementation.
 
14
 
 
15
--------
 
16
tests.py
 
17
--------
 
18
A python script which runs the all_input and fib examples through the test framework.
 
19
 
 
20
---------
 
21
hack_1.py
 
22
---------
 
23
An example script that can be used to pass any test case which tests the output of a script (not functions).
 
24
 
 
25
-----------------
 
26
filespace_test.py
 
27
file_test.py
 
28
-----------------
 
29
filespace_test contains a script which to test the TestFilespace class. It does this by executing file_test, which performs various file operations inside the class.
 
30
 
 
31
Currently, the output is verified by inspection. I found the idle implementation of various modes is not comppletely robust, making proper verification harder. Probably the best is to actually write a C program and use fopen.
 
32
 
 
33
------------
 
34
tute_doc.tex
 
35
------------
 
36
Some notes on requirements of the tutorial system and test framework and how it should operate. Last revised 9th Jan.
 
37
 
 
38
 
 
39
New functionality not covered in these examples:
 
40
 
 
41
* problem element has a rows attribute for specifying the number of rows in the
 
42
  text area
 
43
* function element has pass and fail attributes containing strings to report
 
44
  test outcome to user
 
45
* new code element permits tests on the code string, not just the program output