← Back to branch summary

~drizzle-trunk/drizzle/development

« back to all changes in this revision

Viewing changes to storage/archive/archive_reader.c

  • Committer: Jay Pipes
  • Date: 2008-07-17 17:54:00 UTC
  • mto: This revision was merged to the branch mainline in revision 182.
  • Revision ID: jay@mysql.com-20080717175400-xm2aazihjra8mdzq
Removal of DBUG from libdrizzle/ - Round 2

Show diffs side-by-side

added added

removed removed

Lines of Context:
storage/archive/archive_reader.c
1
 
/* -*- mode: c++; c-basic-offset: 2; indent-tabs-mode: nil; -*-
2
 
 *  vim:expandtab:shiftwidth=2:tabstop=2:smarttab:
3
 
 *
4
 
 *  Copyright (C) 2006 MySQL AB
5
 
 *  Copyright (C) 2009 Sun Microsystems, Inc.
6
 
 *
7
 
 *  This program is free software; you can redistribute it and/or modify
8
 
 *  it under the terms of the GNU General Public License as published by
9
 
 *  the Free Software Foundation; version 2 of the License.
10
 
 *
11
 
 *  This program is distributed in the hope that it will be useful,
12
 
 *  but WITHOUT ANY WARRANTY; without even the implied warranty of
13
 
 *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14
 
 *  GNU General Public License for more details.
15
 
 *
16
 
 *  You should have received a copy of the GNU General Public License
17
 
 *  along with this program; if not, write to the Free Software
18
 
 *  Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301  USA
19
 
 */
20
 
 
21
 
#include <config.h>
22
 
#include <iostream>
23
 
#include <string>
24
 
#include <fstream>
25
 
#include <drizzled/configmake.h>
26
 
using namespace std;
27
 
#include <boost/program_options.hpp>
28
 
#include <boost/scoped_ptr.hpp>
29
 
namespace po= boost::program_options;
30
1
#include "azio.h"
31
2
#include <string.h>
32
3
#include <assert.h>
33
4
#include <stdio.h>
34
5
#include <stdarg.h>
35
 
#include <fcntl.h>
36
 
#include <memory>
37
 
#include <drizzled/charset_info.h>
38
 
#include <drizzled/internal/m_string.h>
 
6
#include <m_ctype.h>
 
7
#include <m_string.h>
 
8
#include <my_getopt.h>
 
9
#include <drizzle_version.h>
 
10
 
 
11
#define BUFFER_LEN 1024
 
12
#define ARCHIVE_ROW_HEADER_SIZE 4
39
13
 
40
14
#define SHOW_VERSION "0.1"
41
15
 
42
 
using namespace drizzled;
43
 
 
44
 
string opt_tmpdir;
 
16
static void get_options(int *argc,char * * *argv);
 
17
static void print_version(void);
 
18
static void usage(void);
 
19
static const char *opt_tmpdir;
 
20
static const char *new_auto_increment;
45
21
uint64_t new_auto_increment_value;
46
 
bool opt_check, 
47
 
  opt_force,
48
 
  opt_backup, 
49
 
  opt_extract_table_message, 
50
 
  opt_silent,
51
 
  opt_quiet,
52
 
  opt_quick,
53
 
  opt_autoincrement;
 
22
static const char *load_default_groups[]= { "archive_reader", 0 };
 
23
static char **default_argv;
 
24
int opt_check, opt_force, opt_quiet, opt_backup= 0, opt_extract_frm;
 
25
int opt_autoincrement;
54
26
 
55
27
int main(int argc, char *argv[])
56
28
{
57
 
try
58
 
{
59
 
  po::options_description commandline_options("Options used only in command line");
60
 
  commandline_options.add_options()
61
 
  ("force,f",po::value<bool>(&opt_force)->default_value(false)->zero_tokens(),
62
 
  "Restart with -r if there are any errors in the table")
63
 
  ("help,?","Display this help and exit")
64
 
  ("version,V","Print version and exit")
65
 
  ("no-defaults", po::value<bool>()->default_value(false)->zero_tokens(),
66
 
  "Configuration file defaults are not used if no-defaults is set")
67
 
  ;
68
 
 
69
 
  po::options_description archive_reader_options("Options specific to the archive reader");
70
 
  archive_reader_options.add_options()
71
 
  ("tmpdir,t",po::value<string>(&opt_tmpdir)->default_value(""),
72
 
  "Path for temporary files.") 
73
 
  ("set-auto-increment,A",po::value<uint64_t>(&new_auto_increment_value)->default_value(0),
74
 
  "Force auto_increment to start at this or higher value. If no value is given, then sets the next auto_increment value to the highest used value for the auto key + 1.")
75
 
  ("silent,s",po::value<bool>(&opt_silent)->default_value(false)->zero_tokens(),
76
 
  "Only print errors. One can use two -s to make archive_reader very silent.")
77
 
  ("quick,q",po::value<bool>(&opt_quick)->default_value(false)->zero_tokens(),
78
 
  "Faster repair but not modifying the data")
79
 
  ("repair,r",po::value<bool>(&opt_quick)->default_value(false)->zero_tokens(),
80
 
  "Repair a damaged Archive version 3 or above file.")
81
 
  ("back-up,b",po::value<bool>(&opt_backup)->default_value(false)->zero_tokens(),
82
 
  "Make a backup of an archive table.")
83
 
  ("check,c",po::value<bool>(&opt_check)->default_value(false)->zero_tokens(),
84
 
  "Check table for errors")
85
 
  ("extract-table-message,e",po::value<bool>(&opt_extract_table_message)->default_value(false)->zero_tokens(),
86
 
  "Extract the table protobuf message.")
87
 
  ;
88
 
 
89
29
  unsigned int ret;
90
 
  boost::scoped_ptr<azio_stream> reader_handle_ap(new azio_stream);
91
 
  azio_stream &reader_handle= *reader_handle_ap.get();
92
 
 
93
 
  std::string system_config_dir_archive_reader(SYSCONFDIR); 
94
 
  system_config_dir_archive_reader.append("/drizzle/archive_reader.cnf");
95
 
 
96
 
  std::string user_config_dir((getenv("XDG_CONFIG_HOME")? getenv("XDG_CONFIG_HOME"):"~/.config"));
97
 
 
98
 
  if (user_config_dir.compare(0, 2, "~/") == 0)
99
 
  {
100
 
    char *homedir;
101
 
    homedir= getenv("HOME");
102
 
    if (homedir != NULL)
103
 
      user_config_dir.replace(0, 1, homedir);
104
 
  }
105
 
  
106
 
  po::options_description long_options("Allowed Options");
107
 
  long_options.add(commandline_options).add(archive_reader_options);
108
 
 
109
 
  po::variables_map vm;
110
 
  po::store(po::parse_command_line(argc,argv,long_options),vm);
111
 
 
112
 
  if (! vm["no-defaults"].as<bool>())
113
 
  {
114
 
    std::string user_config_dir_archive_reader(user_config_dir);
115
 
    user_config_dir_archive_reader.append("/drizzle/archive_reader.cnf");
116
 
  
117
 
    ifstream user_archive_reader_ifs(user_config_dir_archive_reader.c_str());
118
 
    po::store(parse_config_file(user_archive_reader_ifs, archive_reader_options), vm);
119
 
 
120
 
    ifstream system_archive_reader_ifs(system_config_dir_archive_reader.c_str());
121
 
    store(parse_config_file(system_archive_reader_ifs, archive_reader_options), vm);
122
 
 
123
 
  }
124
 
  po::notify(vm);
125
 
 
126
 
  if (vm.count("force") || vm.count("quiet") || vm.count("tmpdir"))
127
 
    cout << "Not implemented yet";
128
 
 
129
 
  if (vm.count("version"))
130
 
  {
131
 
    printf("%s  Ver %s, for %s-%s (%s)\n", internal::my_progname, SHOW_VERSION,
132
 
        HOST_VENDOR, HOST_OS, HOST_CPU);
133
 
    exit(0);
134
 
  }
135
 
  
136
 
  if (vm.count("set-auto-increment"))
137
 
  {
138
 
    opt_autoincrement= true;
139
 
  }
140
 
 
141
 
  if (vm.count("help") || argc == 0)
142
 
  {
143
 
    printf("%s  Ver %s, for %s-%s (%s)\n", internal::my_progname, SHOW_VERSION,
144
 
        HOST_VENDOR, HOST_OS, HOST_CPU);
145
 
    puts("This software comes with ABSOLUTELY NO WARRANTY. This is free "
146
 
         "software,\n"
147
 
         "and you are welcome to modify and redistribute it under the GPL "
148
 
         "license\n");
149
 
    puts("Read and modify Archive files directly\n");
150
 
    printf("Usage: %s [OPTIONS] file_to_be_looked_at [file_for_backup]\n", internal::my_progname);
151
 
    cout << long_options << endl;    
152
 
    exit(0); 
153
 
  }
154
 
  
 
30
  azio_stream reader_handle;
 
31
 
 
32
  my_init();
 
33
  MY_INIT(argv[0]);
 
34
  get_options(&argc, &argv);
 
35
 
155
36
  if (argc < 1)
156
37
  {
157
38
    printf("No file specified. \n");
158
 
    return -1;
 
39
    return 0;
159
40
  }
160
41
 
161
 
  if (!(ret= azopen(&reader_handle, argv[0], O_RDONLY, AZ_METHOD_BLOCK)))
 
42
  if (!(ret= azopen(&reader_handle, argv[0], O_RDONLY|O_BINARY, AZ_METHOD_BLOCK)))
162
43
  {
163
44
    printf("Could not open Archive file\n");
164
 
    return -1;
 
45
    return 0;
165
46
  }
166
47
 
167
48
  if (opt_autoincrement)
168
49
  {
169
 
    boost::scoped_ptr<azio_stream> writer_handle_ap(new azio_stream);
170
 
    azio_stream &writer_handle= *writer_handle_ap.get();
 
50
    azio_stream writer_handle;
171
51
 
172
52
    if (new_auto_increment_value)
173
53
    {
182
62
      new_auto_increment_value= reader_handle.auto_increment + 1;
183
63
    }
184
64
 
185
 
    if (!(ret= azopen(&writer_handle, argv[0], O_CREAT|O_RDWR,
 
65
    if (!(ret= azopen(&writer_handle, argv[0], O_CREAT|O_RDWR|O_BINARY, 
186
66
                      AZ_METHOD_BLOCK)))
187
67
    {
188
68
      printf("Could not open file for update: %s\n", argv[0]);
208
88
    printf("\tLongest Row %u\n", reader_handle.longest_row);
209
89
    printf("\tShortest Row %u\n", reader_handle.shortest_row);
210
90
    printf("\tState %s\n", ( reader_handle.dirty ? "dirty" : "clean"));
211
 
    printf("\tTable protobuf message stored at %u\n",
212
 
           reader_handle.frm_start_pos);
 
91
    printf("\tFRM stored at %u\n", reader_handle.frm_start_pos);
213
92
    printf("\tComment stored at %u\n", reader_handle.comment_start_pos);
214
93
    printf("\tData starts at %u\n", (unsigned int)reader_handle.start);
215
94
    if (reader_handle.frm_start_pos)
216
 
      printf("\tTable proto message length %u\n", reader_handle.frm_length);
 
95
      printf("\tFRM length %u\n", reader_handle.frm_length);
217
96
    if (reader_handle.comment_start_pos)
218
97
    {
219
98
      char *comment =
220
99
        (char *) malloc(sizeof(char) * reader_handle.comment_length);
221
100
      azread_comment(&reader_handle, comment);
222
 
      printf("\tComment length %u\n\t\t%.*s\n", reader_handle.comment_length,
 
101
      printf("\tComment length %u\n\t\t%.*s\n", reader_handle.comment_length, 
223
102
             reader_handle.comment_length, comment);
224
103
      free(comment);
225
104
    }
234
113
  if (opt_check)
235
114
  {
236
115
    int error;
237
 
    unsigned int row_read;
 
116
    unsigned int read;
238
117
    uint64_t row_count= 0;
239
118
 
240
 
    while ((row_read= azread_row(&reader_handle, &error)))
 
119
    while ((read= azread_row(&reader_handle, &error)))
241
120
    {
242
121
      if (error == Z_STREAM_ERROR)
243
122
      {
247
126
 
248
127
      row_count++;
249
128
 
250
 
      if (row_read > reader_handle.longest_row)
 
129
      if (read > reader_handle.longest_row)
251
130
      {
252
131
        printf("Table is damaged, row %"PRIu64" is invalid\n", row_count);
253
132
        goto end;
260
139
  if (opt_backup)
261
140
  {
262
141
    int error;
263
 
    unsigned int row_read;
 
142
    unsigned int read;
264
143
    uint64_t row_count= 0;
265
144
    char *buffer;
266
145
 
267
 
    boost::scoped_ptr<azio_stream> writer_handle_ap(new azio_stream);
268
 
    azio_stream &writer_handle= *writer_handle_ap.get();
 
146
    azio_stream writer_handle;
269
147
 
270
148
    buffer= (char *)malloc(reader_handle.longest_row);
271
149
    if (buffer == NULL)
275
153
    }
276
154
 
277
155
 
278
 
    if (!(ret= azopen(&writer_handle, argv[1], O_CREAT|O_RDWR,
 
156
    if (!(ret= azopen(&writer_handle, argv[1], O_CREAT|O_RDWR|O_BINARY,
279
157
                      AZ_METHOD_BLOCK)))
280
158
    {
281
159
      printf("Could not open file for backup: %s\n", argv[1]);
286
164
    if (reader_handle.frm_length)
287
165
    {
288
166
      char *ptr;
289
 
      ptr= (char *)malloc(sizeof(char) * reader_handle.frm_length);
290
 
      if (ptr == NULL)
291
 
      {
292
 
        printf("Could not allocate enough memory\n");
293
 
        goto end;
294
 
      }
 
167
      ptr= (char *)my_malloc(sizeof(char) * reader_handle.frm_length, MYF(0));
295
168
      azread_frm(&reader_handle, ptr);
296
169
      azwrite_frm(&writer_handle, ptr, reader_handle.frm_length);
297
 
      free(ptr);
 
170
      my_free(ptr, MYF(0));
298
171
    }
299
172
 
300
173
    if (reader_handle.comment_length)
301
174
    {
302
175
      char *ptr;
303
 
      ptr= (char *)malloc(sizeof(char) * reader_handle.comment_length);
 
176
      ptr= (char *)my_malloc(sizeof(char) * reader_handle.comment_length, MYF(0));
304
177
      azread_comment(&reader_handle, ptr);
305
178
      azwrite_comment(&writer_handle, ptr, reader_handle.comment_length);
306
 
      free(ptr);
 
179
      my_free(ptr, MYF(0));
307
180
    }
308
181
 
309
 
    while ((row_read= azread_row(&reader_handle, &error)))
 
182
    while ((read= azread_row(&reader_handle, &error)))
310
183
    {
311
184
      if (error == Z_STREAM_ERROR || error)
312
185
      {
315
188
      }
316
189
 
317
190
      /* If we read nothing we are at the end of the file */
318
 
      if (row_read == 0)
 
191
      if (read == 0)
319
192
        break;
320
193
 
321
194
      row_count++;
322
195
 
323
 
      azwrite_row(&writer_handle, reader_handle.row_ptr, row_read);
 
196
      azwrite_row(&writer_handle, reader_handle.row_ptr, read);
324
197
 
325
198
      if (reader_handle.rows == writer_handle.rows)
326
199
        break;
331
204
    azclose(&writer_handle);
332
205
  }
333
206
 
334
 
  if (opt_extract_table_message)
 
207
  if (opt_extract_frm)
335
208
  {
336
 
    int frm_file;
 
209
    File frm_file;
337
210
    char *ptr;
338
 
    frm_file= internal::my_open(argv[1], O_CREAT|O_RDWR, MYF(0));
339
 
    ptr= (char *)malloc(sizeof(char) * reader_handle.frm_length);
340
 
    if (ptr == NULL)
341
 
    {
342
 
      printf("Could not allocate enough memory\n");
343
 
      goto end;
344
 
    }
 
211
    frm_file= my_open(argv[1], O_CREAT|O_RDWR|O_BINARY, MYF(0));
 
212
    ptr= (char *)my_malloc(sizeof(char) * reader_handle.frm_length, MYF(0));
345
213
    azread_frm(&reader_handle, ptr);
346
 
    internal::my_write(frm_file, (unsigned char*) ptr, reader_handle.frm_length, MYF(0));
347
 
    internal::my_close(frm_file, MYF(0));
348
 
    free(ptr);
 
214
    my_write(frm_file, (uchar*) ptr, reader_handle.frm_length, MYF(0));
 
215
    my_close(frm_file, MYF(0));
 
216
    my_free(ptr, MYF(0));
349
217
  }
350
218
 
351
219
end:
352
220
  printf("\n");
353
221
  azclose(&reader_handle);
354
222
 
355
 
  internal::my_end();
356
 
 
357
 
}
358
 
  catch(exception &e)
 
223
  my_end(0);
 
224
  return 0;
 
225
}
 
226
 
 
227
static bool
 
228
get_one_option(int optid,
 
229
               const struct my_option *opt __attribute__((unused)),
 
230
               char *argument)
 
231
{
 
232
  switch (optid) {
 
233
  case 'b':
 
234
    opt_backup= 1;
 
235
    break;
 
236
  case 'c':
 
237
    opt_check= 1;
 
238
    break;
 
239
  case 'e':
 
240
    opt_extract_frm= 1;
 
241
    break;
 
242
  case 'f':
 
243
    opt_force= 1;
 
244
    printf("Not implemented yet\n");
 
245
    break;
 
246
  case 'q':
 
247
    opt_quiet= 1;
 
248
    printf("Not implemented yet\n");
 
249
    break;
 
250
  case 'V':
 
251
    print_version();
 
252
    exit(0);
 
253
  case 't':
 
254
    printf("Not implemented yet\n");
 
255
    break;
 
256
  case 'A':
 
257
    opt_autoincrement= 1;
 
258
    if (argument)
 
259
      new_auto_increment_value= strtoull(argument, NULL, 0);
 
260
    else
 
261
      new_auto_increment_value= 0;
 
262
    break;
 
263
  case '?':
 
264
    usage();
 
265
    exit(0);
 
266
  case '#':
 
267
    if (argument == disabled_my_option)
 
268
    {
 
269
      DBUG_POP();
 
270
    }
 
271
    else
 
272
    {
 
273
      DBUG_PUSH(argument ? argument : "d:t:o,/tmp/archive_reader.trace");
 
274
    }
 
275
    break;
 
276
  }
 
277
  return 0;
 
278
}
 
279
 
 
280
static struct my_option my_long_options[] =
 
281
{
 
282
  {"backup", 'b',
 
283
   "Make a backup of an archive table.",
 
284
   0, 0, 0, GET_NO_ARG, NO_ARG, 0, 0, 0, 0, 0, 0},
 
285
  {"check", 'c', "Check table for errors.",
 
286
   0, 0, 0, GET_NO_ARG, NO_ARG, 0, 0, 0, 0, 0, 0},
 
287
#ifndef DBUG_OFF
 
288
  {"debug", '#',
 
289
   "Output debug log. Often this is 'd:t:o,filename'.",
 
290
   0, 0, 0, GET_STR, OPT_ARG, 0, 0, 0, 0, 0, 0},
 
291
#endif
 
292
  {"extract-frm", 'e',
 
293
   "Extract the frm file.",
 
294
   0, 0, 0, GET_NO_ARG, NO_ARG, 0, 0, 0, 0, 0, 0},
 
295
  {"force", 'f',
 
296
   "Restart with -r if there are any errors in the table.",
 
297
   0, 0, 0, GET_NO_ARG, NO_ARG, 0, 0, 0, 0, 0, 0},
 
298
  {"help", '?',
 
299
   "Display this help and exit.",
 
300
   0, 0, 0, GET_NO_ARG, NO_ARG, 0, 0, 0, 0, 0, 0},
 
301
  {"quick", 'q', "Faster repair by not modifying the data file.",
 
302
   0, 0, 0, GET_NO_ARG, NO_ARG, 0, 0, 0, 0, 0, 0},
 
303
  {"repair", 'r', "Repair a damaged Archive version 3 or above file.",
 
304
   0, 0, 0, GET_NO_ARG, NO_ARG, 0, 0, 0, 0, 0, 0},
 
305
  {"set-auto-increment", 'A',
 
306
   "Force auto_increment to start at this or higher value. If no value is given, then sets the next auto_increment value to the highest used value for the auto key + 1.",
 
307
   (char**) &new_auto_increment,
 
308
   (char**) &new_auto_increment,
 
309
   0, GET_ULL, OPT_ARG, 0, 0, 0, 0, 0, 0},
 
310
  {"silent", 's',
 
311
   "Only print errors. One can use two -s to make archive_reader very silent.",
 
312
   0, 0, 0, GET_NO_ARG, NO_ARG, 0, 0, 0, 0, 0, 0},
 
313
  {"tmpdir", 't',
 
314
   "Path for temporary files.",
 
315
   (char**) &opt_tmpdir,
 
316
   0, 0, GET_STR, REQUIRED_ARG, 0, 0, 0, 0, 0, 0},
 
317
  {"version", 'V',
 
318
   "Print version and exit.",
 
319
   0, 0, 0, GET_NO_ARG, NO_ARG, 0, 0, 0, 0, 0, 0},
 
320
  { 0, 0, 0, 0, 0, 0, GET_NO_ARG, NO_ARG, 0, 0, 0, 0, 0, 0}
 
321
};
 
322
 
 
323
static void usage(void)
 
324
{
 
325
  print_version();
 
326
  puts("Copyright (C) 2007 MySQL AB");
 
327
  puts("This software comes with ABSOLUTELY NO WARRANTY. This is free software,\
 
328
       \nand you are welcome to modify and redistribute it under the GPL \
 
329
       license\n");
 
330
  puts("Read and modify Archive files directly\n");
 
331
  printf("Usage: %s [OPTIONS] file_to_be_looked_at [file_for_backup]\n", my_progname);
 
332
  print_defaults("my", load_default_groups);
 
333
  my_print_help(my_long_options);
 
334
}
 
335
 
 
336
static void print_version(void)
 
337
{
 
338
  printf("%s  Ver %s Distrib %s, for %s (%s)\n", my_progname, SHOW_VERSION,
 
339
         MYSQL_SERVER_VERSION, SYSTEM_TYPE, MACHINE_TYPE);
 
340
}
 
341
 
 
342
static void get_options(int *argc, char ***argv)
 
343
{
 
344
  load_defaults("my", load_default_groups, argc, argv);
 
345
  default_argv= *argv;
 
346
 
 
347
  handle_options(argc, argv, my_long_options, get_one_option);
 
348
 
 
349
  if (*argc == 0)
359
350
  {
360
 
    cerr<<"Error"<<e.what()<<endl;
 
351
    usage();
 
352
    exit(-1);
361
353
  }
362
 
  return 0;
363
 
}
364
354
 
 
355
  return;
 
356
} /* get options */