← Back to branch summary

~drizzle-trunk/drizzle/development

« back to all changes in this revision

Viewing changes to tests/randgen/runall-new.pl

  • Committer: Mark Atwood
  • Date: 2011-10-08 04:50:51 UTC
  • mfrom: (2430.1.1 rf)
  • Revision ID: me@mark.atwood.name-20111008045051-6ha1qiy7k2a9c3jv
Tags: 2011.10.27
merge lp:~olafvdspek/drizzle/refactor2

Show diffs side-by-side

added added

removed removed

Lines of Context:
tests/randgen/runall-new.pl
1
 
#!/usr/bin/perl
2
 
 
3
 
# Copyright (c) 2010,2011 Oracle and/or its affiliates. All rights reserved.
4
 
# Use is subject to license terms.
5
 
#
6
 
# This program is free software; you can redistribute it and/or modify
7
 
# it under the terms of the GNU General Public License as published by
8
 
# the Free Software Foundation; version 2 of the License.
9
 
#
10
 
# This program is distributed in the hope that it will be useful, but
11
 
# WITHOUT ANY WARRANTY; without even the implied warranty of
12
 
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
13
 
# General Public License for more details.
14
 
#
15
 
# You should have received a copy of the GNU General Public License
16
 
# along with this program; if not, write to the Free Software
17
 
# Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA 02110-1301
18
 
# USA
19
 
 
20
 
#################### FOR THE MOMENT THIS SCRIPT IS FOR TESTING PURPOSES
21
 
 
22
 
use lib 'lib';
23
 
use lib "$ENV{RQG_HOME}/lib";
24
 
use Carp;
25
 
use strict;
26
 
use GenTest;
27
 
use GenTest::Constants;
28
 
use GenTest::Properties;
29
 
use GenTest::App::GenTest;
30
 
use DBServer::DBServer;
31
 
use DBServer::MySQL::MySQLd;
32
 
use DBServer::MySQL::ReplMySQLd;
33
 
 
34
 
$| = 1;
35
 
if (osWindows()) {
36
 
        $SIG{CHLD} = "IGNORE";
37
 
}
38
 
 
39
 
if (defined $ENV{RQG_HOME}) {
40
 
    if (osWindows()) {
41
 
        $ENV{RQG_HOME} = $ENV{RQG_HOME}.'\\';
42
 
    } else {
43
 
        $ENV{RQG_HOME} = $ENV{RQG_HOME}.'/';
44
 
    }
45
 
}
46
 
 
47
 
use Getopt::Long;
48
 
use GenTest::Constants;
49
 
use DBI;
50
 
use Cwd;
51
 
 
52
 
my $database = 'test';
53
 
my @dsns;
54
 
 
55
 
my ($gendata, @basedirs, @mysqld_options, @vardirs, $rpl_mode,
56
 
    $engine, $help, $debug, @validators, @reporters, @transformers, 
57
 
    $grammar_file,
58
 
    $redefine_file, $seed, $mask, $mask_level, $mem, $rows,
59
 
    $varchar_len, $xml_output, $valgrind, @valgrind_options, $views,
60
 
    $start_dirty, $filter, $build_thread, $sqltrace, $testname,
61
 
    $report_xml_tt, $report_xml_tt_type, $report_xml_tt_dest,
62
 
    $notnull, $querytimeout);
63
 
 
64
 
my $gendata=''; ## default simple gendata
65
 
 
66
 
my $threads = my $default_threads = 10;
67
 
my $queries = my $default_queries = 1000;
68
 
my $duration = my $default_duration = 3600;
69
 
 
70
 
my @ARGV_saved = @ARGV;
71
 
 
72
 
my $opt_result = GetOptions(
73
 
        'mysqld=s@' => \$mysqld_options[0],
74
 
        'mysqld1=s@' => \$mysqld_options[0],
75
 
        'mysqld2=s@' => \$mysqld_options[1],
76
 
    'basedir=s' => \$basedirs[0],
77
 
    'basedir1=s' => \$basedirs[0],
78
 
    'basedir2=s' => \$basedirs[1],
79
 
        #'basedir=s@' => \@basedirs,
80
 
        'vardir=s' => \$vardirs[0],
81
 
        'vardir1=s' => \$vardirs[0],
82
 
        'vardir2=s' => \$vardirs[1],
83
 
        #'vardir=s@' => \@vardirs,
84
 
        'rpl_mode=s' => \$rpl_mode,
85
 
        'engine=s' => \$engine,
86
 
        'grammar=s' => \$grammar_file,
87
 
        'redefine=s' => \$redefine_file,
88
 
        'threads=i' => \$threads,
89
 
        'queries=s' => \$queries,
90
 
        'duration=i' => \$duration,
91
 
        'help' => \$help,
92
 
        'debug' => \$debug,
93
 
        'validators=s@' => \@validators,
94
 
        'reporters=s@' => \@reporters,
95
 
        'transformers=s@' => \@transformers,
96
 
        'gendata:s' => \$gendata,
97
 
        'notnull' => \$notnull,
98
 
        'seed=s' => \$seed,
99
 
        'mask=i' => \$mask,
100
 
    'mask-level=i' => \$mask_level,
101
 
        'mem' => \$mem,
102
 
        'rows=i' => \$rows,
103
 
        'varchar-length=i' => \$varchar_len,
104
 
        'xml-output=s'  => \$xml_output,
105
 
        'report-xml-tt' => \$report_xml_tt,
106
 
        'report-xml-tt-type=s' => \$report_xml_tt_type,
107
 
        'report-xml-tt-dest=s' => \$report_xml_tt_dest,
108
 
        'testname=s'            => \$testname,
109
 
        'valgrind!'     => \$valgrind,
110
 
        'valgrind_options=s@'   => \@valgrind_options,
111
 
        'views'         => \$views,
112
 
        'start-dirty'   => \$start_dirty,
113
 
        'filter=s'      => \$filter,
114
 
    'mtr-build-thread=i' => \$build_thread,
115
 
    'sqltrace' => \$sqltrace,
116
 
    'querytimeout=i' => \$querytimeout
117
 
    );
118
 
 
119
 
if (!$opt_result || $help || $basedirs[0] eq '' || not defined $grammar_file) {
120
 
        help();
121
 
        exit($help ? 0 : 1);
122
 
}
123
 
 
124
 
say("Copyright (c) 2010,2011 Oracle and/or its affiliates. All rights reserved. Use is subject to license terms.");
125
 
say("Please see http://forge.mysql.com/wiki/Category:RandomQueryGenerator for more information on this test framework.");
126
 
say("Starting \n# $0 \\ \n# ".join(" \\ \n# ", @ARGV_saved));
127
 
 
128
 
#
129
 
# Calculate master and slave ports based on MTR_BUILD_THREAD (MTR
130
 
# Version 1 behaviour)
131
 
#
132
 
 
133
 
if (not defined $build_thread) {
134
 
    if (defined $ENV{MTR_BUILD_THREAD}) {
135
 
        $build_thread = $ENV{MTR_BUILD_THREAD}
136
 
    } else {
137
 
        $build_thread = DEFAULT_MTR_BUILD_THREAD;
138
 
    }
139
 
}
140
 
 
141
 
if ( $build_thread eq 'auto' ) {
142
 
    say ("Please set the environment variable MTR_BUILD_THREAD to a value <> 'auto' (recommended) or unset it (will take the value ".DEFAULT_MTR_BUILD_THREAD.") ");
143
 
    exit (STATUS_ENVIRONMENT_FAILURE);
144
 
}
145
 
 
146
 
my @ports = (10000 + 10 * $build_thread, 10000 + 10 * $build_thread + 2);
147
 
 
148
 
say("master_port : $ports[0] slave_port : $ports[1] ports : @ports MTR_BUILD_THREAD : $build_thread ");
149
 
 
150
 
#
151
 
# If the user has provided two vardirs and one basedir, start second
152
 
# server using the same basedir
153
 
#
154
 
 
155
 
if (
156
 
        ($vardirs[1] ne '') && 
157
 
        ($basedirs[1] eq '')
158
 
    ) {
159
 
        $basedirs[1] = $basedirs[0];    
160
 
}
161
 
 
162
 
 
163
 
if (
164
 
        ($mysqld_options[1] ne '') && 
165
 
        ($basedirs[1] eq '')
166
 
    ) {
167
 
        $basedirs[1] = $basedirs[0];    
168
 
}
169
 
 
170
 
#
171
 
# If the user has provided identical basedirs and vardirs, warn of a
172
 
# potential overlap.
173
 
#
174
 
 
175
 
if (
176
 
        ($basedirs[0] eq $basedirs[1]) &&
177
 
        ($vardirs[0] eq $vardirs[1]) &&
178
 
        ($rpl_mode eq '')
179
 
    ) {
180
 
        croak("Please specify either different --basedir[12] or different --vardir[12] in order to start two MySQL servers");
181
 
}
182
 
 
183
 
my $client_basedir;
184
 
 
185
 
foreach my $path ("$basedirs[0]/client/RelWithDebInfo", "$basedirs[0]/client/Debug", "$basedirs[0]/client", "$basedirs[0]/bin") {
186
 
        if (-e $path) {
187
 
                $client_basedir = $path;
188
 
                last;
189
 
        }
190
 
}
191
 
 
192
 
#
193
 
# Start servers. Use rpl_alter if replication is needed.
194
 
#
195
 
 
196
 
my @server;
197
 
my $rplsrv;
198
 
 
199
 
if ($rpl_mode ne '') {
200
 
    my @options;
201
 
    push @options, lc("--$engine") if defined $engine && lc($engine) ne lc('myisam');
202
 
    
203
 
    push @options, "--sql-mode=no_engine_substitution" if join(' ', @ARGV_saved) !~ m{sql-mode}io;
204
 
    
205
 
    if (defined $mysqld_options[0]) {
206
 
        push @options, @{$mysqld_options[0]};
207
 
    }
208
 
    
209
 
    $rplsrv = DBServer::MySQL::ReplMySQLd->new(basedir => $basedirs[0],
210
 
                                               master_vardir => $vardirs[0],
211
 
                                               master_port => $ports[0],
212
 
                                               slave_vardir => $vardirs[1],
213
 
                                               slave_port => $ports[1],
214
 
                                               mode => $rpl_mode,
215
 
                                               server_options => \@options,
216
 
                                               valgrind => $valgrind,
217
 
                                               valgrind_options => \@valgrind_options,
218
 
                                               start_dirty => $start_dirty);
219
 
    
220
 
    my $status = $rplsrv->startServer();
221
 
    
222
 
    if ($status > DBSTATUS_OK) {
223
 
        stopServers();
224
 
        if (osWindows()) {
225
 
            say(system("dir ".unix2winPath($rplsrv->master->datadir)));
226
 
            say(system("dir ".unix2winPath($rplsrv->slave->datadir)));
227
 
        } else {
228
 
            say(system("ls -l ".$rplsrv->master->datadir));
229
 
            say(system("ls -l ".$rplsrv->slave->datadir));
230
 
        }
231
 
        croak("Could not start replicating server pair");
232
 
    }
233
 
    
234
 
    $dsns[0] = $rplsrv->master->dsn($database);
235
 
    $dsns[1] = undef; ## passed to gentest. No dsn for slave!
236
 
    $server[0] = $rplsrv->master;
237
 
    $server[1] = $rplsrv->slave;
238
 
    
239
 
} else {
240
 
    if ($#basedirs != $#vardirs) {
241
 
        croak ("The number of basedirs and vardirs must match $#basedirs != $#vardirs")
242
 
    }
243
 
    foreach my $server_id (0..1) {
244
 
        next if $basedirs[$server_id] eq '';
245
 
        
246
 
        my @options;
247
 
        push @options, lc("--$engine") if defined $engine && lc($engine) ne lc('myisam');
248
 
        
249
 
        push @options, "--sql-mode=no_engine_substitution" if join(' ', @ARGV_saved) !~ m{sql-mode}io;
250
 
        
251
 
        if (defined $mysqld_options[$server_id]) {
252
 
            push @options, @{$mysqld_options[$server_id]};
253
 
        }
254
 
        
255
 
        $server[$server_id] = DBServer::MySQL::MySQLd->new(basedir => $basedirs[$server_id],
256
 
                                                           vardir => $vardirs[$server_id],
257
 
                                                           port => $ports[$server_id],
258
 
                                                           start_dirty => $start_dirty,
259
 
                                                           valgrind => $valgrind,
260
 
                                                           valgrind_options => \@valgrind_options,
261
 
                                                           server_options => \@options);
262
 
        
263
 
        my $status = $server[$server_id]->startServer;
264
 
        
265
 
        if ($status > DBSTATUS_OK) {
266
 
            stopServers();
267
 
            if (osWindows()) {
268
 
                say(system("dir ".unix2winPath($server[$server_id]->datadir)));
269
 
            } else {
270
 
                say(system("ls -l ".$server[$server_id]->datadir));
271
 
            }
272
 
            croak("Could not start all servers");
273
 
        }
274
 
        
275
 
        if (
276
 
            ($server_id == 0) ||
277
 
            ($rpl_mode eq '') 
278
 
            ) {
279
 
            $dsns[$server_id] = $server[$server_id]->dsn($database);
280
 
        }
281
 
    
282
 
        if ((defined $dsns[$server_id]) && (defined $engine)) {
283
 
            my $dbh = DBI->connect($dsns[$server_id], undef, undef, { RaiseError => 1 } );
284
 
            $dbh->do("SET GLOBAL storage_engine = '$engine'");
285
 
        }
286
 
    }
287
 
}
288
 
 
289
 
#
290
 
# Run actual queries
291
 
#
292
 
 
293
 
my $gentestProps = GenTest::Properties->new(
294
 
    legal => ['grammar',
295
 
              'dsn',
296
 
              'engine',
297
 
              'gendata',
298
 
              'generator',
299
 
              'redefine',
300
 
              'threads',
301
 
              'queries',
302
 
              'duration',
303
 
              'help',
304
 
              'debug',
305
 
              'rpl_mode',
306
 
              'validators',
307
 
              'reporters',
308
 
              'reporters',
309
 
              'transformers',
310
 
              'seed',
311
 
              'mask',
312
 
              'mask-level',
313
 
              'rows',
314
 
              'varchar-length',
315
 
              'xml-output',
316
 
              'views',
317
 
              'start-dirty',
318
 
              'filter',
319
 
              'notnull',
320
 
              'valgrind',
321
 
              'valgrind-xml',
322
 
              'testname',
323
 
              'sqltrace',
324
 
              'querytimeout',
325
 
              'report-xml-tt',
326
 
              'report-xml-tt-type',
327
 
              'report-xml-tt-dest']
328
 
    );
329
 
 
330
 
my @gentest_options;
331
 
 
332
 
## For backward compatability
333
 
if ($#validators == 0 and $validators[0] =~ m/,/) {
334
 
    @validators = split(/,/,$validators[0]);
335
 
}
336
 
 
337
 
## For backward compatability
338
 
if ($#reporters == 0 and $reporters[0] =~ m/,/) {
339
 
    @reporters = split(/,/,$reporters[0]);
340
 
}
341
 
 
342
 
## For backward compatability
343
 
if ($#transformers == 0 and $transformers[0] =~ m/,/) {
344
 
    @transformers = split(/,/,$transformers[0]);
345
 
}
346
 
 
347
 
$gentestProps->property('generator','FromGrammar') if not defined $gentestProps->property('generator');
348
 
 
349
 
$gentestProps->property('start-dirty',1) if defined $start_dirty;
350
 
$gentestProps->gendata($gendata);
351
 
$gentestProps->engine($engine) if defined $engine;
352
 
$gentestProps->rpl_mode($rpl_mode) if defined $rpl_mode;
353
 
$gentestProps->validators(\@validators) if defined @validators;
354
 
$gentestProps->reporters(\@reporters) if defined @reporters;
355
 
$gentestProps->transformers(\@transformers) if defined @transformers;
356
 
$gentestProps->threads($threads) if defined $threads;
357
 
$gentestProps->queries($queries) if defined $queries;
358
 
$gentestProps->duration($duration) if defined $duration;
359
 
$gentestProps->dsn(\@dsns) if defined @dsns;
360
 
$gentestProps->grammar($grammar_file);
361
 
$gentestProps->redefine($redefine_file) if defined $redefine_file;
362
 
$gentestProps->seed($seed) if defined $seed;
363
 
$gentestProps->mask($mask) if defined $mask;
364
 
$gentestProps->property('mask-level',$mask_level) if defined $mask_level;
365
 
$gentestProps->rows($rows) if defined $rows;
366
 
$gentestProps->views(1) if defined $views;
367
 
$gentestProps->property('varchar-length',$varchar_len) if defined $varchar_len;
368
 
$gentestProps->property('xml-output',$xml_output) if defined $xml_output;
369
 
$gentestProps->debug(1) if defined $debug;
370
 
$gentestProps->filter($filter) if defined $filter;
371
 
$gentestProps->notnull($notnull) if defined $notnull;
372
 
$gentestProps->valgrind(1) if $valgrind;
373
 
$gentestProps->sqltrace(1) if $sqltrace;
374
 
$gentestProps->querytimeout($querytimeout) if defined $querytimeout;
375
 
$gentestProps->testname($testname) if $testname;
376
 
$gentestProps->property('report-xml-tt', 1) if defined $report_xml_tt;
377
 
$gentestProps->property('report-xml-tt-type', $report_xml_tt_type) if defined $report_xml_tt_type;
378
 
$gentestProps->property('report-xml-tt-dest', $report_xml_tt_dest) if defined $report_xml_tt_dest;
379
 
 
380
 
# Push the number of "worker" threads into the environment.
381
 
# lib/GenTest/Generator/FromGrammar.pm will generate a corresponding grammar element.
382
 
$ENV{RQG_THREADS}= $threads;
383
 
 
384
 
my $gentest = GenTest::App::GenTest->new(config => $gentestProps);
385
 
my $gentest_result = $gentest->run();
386
 
say("GenTest exited with exit status ".status2text($gentest_result)." ($gentest_result)");
387
 
exit_test($gentest_result) if $gentest_result > 0;
388
 
 
389
 
#
390
 
# Compare master and slave, or two masters
391
 
#
392
 
 
393
 
if ($rpl_mode || (defined $basedirs[1])) {
394
 
    if ($rpl_mode ne '') {
395
 
        $rplsrv->waitForSlaveSync;
396
 
    }
397
 
 
398
 
    my @dump_files;
399
 
    
400
 
        foreach my $i (0..$#server) {
401
 
                $dump_files[$i] = tmpdir()."server_".$$."_".$i.".dump";
402
 
        
403
 
                my $dump_result = $server[$i]->dumpdb($database,$dump_files[$i]);
404
 
                exit_test($dump_result >> 8) if $dump_result > 0;
405
 
        }
406
 
    
407
 
        say("Comparing SQL dumps...");
408
 
        my $diff_result = system("diff -u $dump_files[0] $dump_files[1]");
409
 
        $diff_result = $diff_result >> 8;
410
 
    
411
 
        if ($diff_result == 0) {
412
 
                say("No differences were found between servers.");
413
 
        }
414
 
    
415
 
        foreach my $dump_file (@dump_files) {
416
 
                unlink($dump_file);
417
 
        }
418
 
    
419
 
        exit_test($diff_result);
420
 
}
421
 
 
422
 
 
423
 
stopServers();
424
 
 
425
 
sub stopServers {
426
 
    if ($rpl_mode ne '') {
427
 
        $rplsrv->stopServer();
428
 
    } else {
429
 
        foreach my $srv (@server) {
430
 
            if ($srv) {
431
 
                $srv->stopServer;
432
 
            }
433
 
        }
434
 
    }
435
 
}
436
 
 
437
 
 
438
 
sub help {
439
 
    
440
 
        print <<EOF
441
 
Copyright (c) 2010,2011 Oracle and/or its affiliates. All rights reserved. Use is subject to license terms.
442
 
 
443
 
$0 - Run a complete random query generation test, including server start with replication and master/slave verification
444
 
    
445
 
    Options related to one standalone MySQL server:
446
 
 
447
 
    --basedir   : Specifies the base directory of the stand-alone MySQL installation;
448
 
    --mysqld    : Options passed to the MySQL server
449
 
    --vardir    : Optional. (default \$basedir/mysql-test/var);
450
 
 
451
 
    Options related to two MySQL servers
452
 
 
453
 
    --basedir1  : Specifies the base directory of the first MySQL installation;
454
 
    --basedir2  : Specifies the base directory of the second MySQL installation;
455
 
    --mysqld1   : Options passed to the first MySQL server
456
 
    --mysqld2   : Options passed to the second MySQL server
457
 
    --vardir1   : Optional. (default \$basedir1/mysql-test/var);
458
 
    --vardir2   : Optional. (default \$basedir2/mysql-test/var);
459
 
 
460
 
    General options
461
 
 
462
 
    --grammar   : Grammar file to use when generating queries (REQUIRED);
463
 
    --redefine  : Grammar file to redefine and/or add rules to the given grammar
464
 
    --rpl_mode  : Replication type to use (statement|row|mixed) (default: no replication);
465
 
    --vardir1   : Optional.
466
 
    --vardir2   : Optional. 
467
 
    --engine    : Table engine to use when creating tables with gendata (default no ENGINE in CREATE TABLE);
468
 
    --threads   : Number of threads to spawn (default $default_threads);
469
 
    --queries   : Number of queries to execute per thread (default $default_queries);
470
 
    --duration  : Duration of the test in seconds (default $default_duration seconds);
471
 
    --validator : The validators to use
472
 
    --reporter  : The reporters to use
473
 
    --transformer: The transformers to use (turns on --validator=transformer). Accepts comma separated list
474
 
    --querytimeout: The timeout to use for the QueryTimeout reporter 
475
 
    --gendata   : Generate data option. Passed to gentest.pl
476
 
    --seed      : PRNG seed. Passed to gentest.pl
477
 
    --mask      : Grammar mask. Passed to gentest.pl
478
 
    --mask-level: Grammar mask level. Passed to gentest.pl
479
 
    --notnull   : Generate all fields with NOT NULL
480
 
    --rows      : No of rows. Passed to gentest.pl
481
 
    --sqltrace  : Print all generated SQL statements
482
 
    --varchar-length: length of strings. passed to gentest.pl
483
 
    --xml-outputs: Passed to gentest.pl
484
 
    --views     : Generate views. Passed to gentest.pl
485
 
    --valgrind  : Passed to gentest.pl
486
 
    --filter    : Passed to gentest.pl
487
 
    --mem       : Passed to mtr
488
 
    --mtr-build-thread:  Value used for MTR_BUILD_THREAD when servers are started and accessed
489
 
    --debug     : Debug mode
490
 
    --help      : This help message
491
 
 
492
 
    If you specify --basedir1 and --basedir2 or --vardir1 and --vardir2, two servers will be started and the results from the queries
493
 
    will be compared between them.
494
 
EOF
495
 
        ;
496
 
        print "$0 arguments were: ".join(' ', @ARGV_saved)."\n";
497
 
        exit_test(STATUS_UNKNOWN_ERROR);
498
 
}
499
 
 
500
 
sub exit_test {
501
 
        my $status = shift;
502
 
    stopServers();
503
 
        say("[$$] $0 will exit with exit status ".status2text($status). " ($status)");
504
 
        safe_exit($status);
505
 
}