← Back to branch summary

~drizzle-trunk/drizzle/development

« back to all changes in this revision

Viewing changes to drizzled/message/transaction_reader.cc

  • Committer: Monty Taylor
  • Date: 2009-04-14 19:16:51 UTC
  • mto: (997.2.5 mordred)
  • mto: This revision was merged to the branch mainline in revision 994.
  • Revision ID: mordred@inaugust.com-20090414191651-ltbww6hpqks8k7qk
Clarified instructions in README.

Show diffs side-by-side

added added

removed removed

Lines of Context:
drizzled/message/transaction_reader.cc
1
 
/* -*- mode: c++; c-basic-offset: 2; indent-tabs-mode: nil; -*-
2
 
 *  vim:expandtab:shiftwidth=2:tabstop=2:smarttab:
3
 
 *
4
 
 *  Copyright (C) 2009 Sun Microsystems
5
 
 *
6
 
 *  Authors:
7
 
 *
8
 
 *    Jay Pipes <joinfu@sun.com>
9
 
 *
10
 
 *  This program is free software; you can redistribute it and/or modify
11
 
 *  it under the terms of the GNU General Public License as published by
12
 
 *  the Free Software Foundation; version 2 of the License.
13
 
 *
14
 
 *  This program is distributed in the hope that it will be useful,
15
 
 *  but WITHOUT ANY WARRANTY; without even the implied warranty of
16
 
 *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
17
 
 *  GNU General Public License for more details.
18
 
 *
19
 
 *  You should have received a copy of the GNU General Public License
20
 
 *  along with this program; if not, write to the Free Software
21
 
 *  Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301  USA
22
 
 */
23
 
 
24
 
#include "config.h"
25
 
#include <drizzled/gettext.h>
26
 
#include <drizzled/replication_services.h>
27
 
#include <drizzled/algorithm/crc32.h>
 
1
#include <drizzled/global.h>
28
2
#include <sys/types.h>
29
3
#include <sys/stat.h>
30
4
#include <fcntl.h>
31
 
#include <limits.h>
32
 
#include <cerrno>
33
5
#include <iostream>
 
6
#include <fstream>
34
7
#include <string>
35
 
#include <algorithm>
36
 
#include <vector>
37
8
#include <unistd.h>
38
9
#include <drizzled/message/transaction.pb.h>
39
 
#include <drizzled/message/statement_transform.h>
40
 
#include <drizzled/util/convert.h>
41
 
 
42
 
#include <google/protobuf/io/coded_stream.h>
43
 
#include <google/protobuf/io/zero_copy_stream_impl.h>
44
10
 
45
11
using namespace std;
46
 
using namespace google;
47
 
using namespace drizzled;
48
 
 
49
 
static const char *replace_with_spaces= "\n\r";
50
 
 
51
 
static void printStatement(const message::Statement &statement)
52
 
{
53
 
  vector<string> sql_strings;
54
 
 
55
 
  message::transformStatementToSql(statement,
56
 
                                   sql_strings,
57
 
                                   message::DRIZZLE,
58
 
                                   true /* already in transaction */);
59
 
 
60
 
  for (vector<string>::iterator sql_string_iter= sql_strings.begin();
61
 
       sql_string_iter != sql_strings.end();
62
 
       ++sql_string_iter)
63
 
  {
64
 
    string &sql= *sql_string_iter;
65
 
 
66
 
    /* 
67
 
     * Replace \n and \r with spaces so that SQL statements 
68
 
     * are always on a single line 
69
 
     */
70
 
    {
71
 
      string::size_type found= sql.find_first_of(replace_with_spaces);
72
 
      while (found != string::npos)
73
 
      {
74
 
        sql[found]= ' ';
75
 
        found= sql.find_first_of(replace_with_spaces, found);
76
 
      }
77
 
    }
78
 
 
79
 
    /*
80
 
     * Embedded NUL characters are a pain in the ass.
81
 
     */
82
 
    {
83
 
      string::size_type found= sql.find_first_of('\0');
84
 
      while (found != string::npos)
85
 
      {
86
 
        sql[found]= '\\';
87
 
        sql.insert(found + 1, 1, '0');
88
 
        found= sql.find_first_of('\0', found);
89
 
      }
90
 
    }
91
 
 
92
 
    cout << sql << ';' << endl;
93
 
  }
94
 
}
95
 
 
96
 
static void printTransaction(const message::Transaction &transaction)
97
 
{
98
 
  const message::TransactionContext trx= transaction.transaction_context();
99
 
 
100
 
  size_t num_statements= transaction.statement_size();
101
 
  size_t x;
102
 
 
103
 
  cout << "START TRANSACTION;" << endl;
104
 
  for (x= 0; x < num_statements; ++x)
105
 
  {
106
 
    const message::Statement &statement= transaction.statement(x);
107
 
    printStatement(statement);
108
 
  }
109
 
  cout << "COMMIT;" << endl;
 
12
using namespace drizzled::message;
 
13
 
 
14
/**
 
15
 * @file Example application for reading change records and transactions
 
16
 */
 
17
 
 
18
void printInsert(const drizzled::message::Command &container, const drizzled::message::InsertRecord &record)
 
19
{
 
20
 
 
21
  cout << "INSERT INTO `" << container.schema() << "`.`" << container.table() << "` (";
 
22
 
 
23
  int32_t num_fields= record.insert_field_size();
 
24
 
 
25
  int32_t x;
 
26
  for (x= 0; x < num_fields; x++)
 
27
  {
 
28
    if (x != 0)
 
29
      cout << ", ";
 
30
 
 
31
    const Table::Field f= record.insert_field(x);
 
32
 
 
33
    cout << "`" << f.name() << "`";
 
34
  }
 
35
 
 
36
  cout << ") VALUES ";
 
37
 
 
38
  /* 
 
39
   * There may be an INSERT VALUES (),() type statement.  We know the
 
40
   * number of records is equal to the field_values array size divided
 
41
   * by the number of fields.
 
42
   *
 
43
   * So, we do an inner and an outer loop.  Outer loop is on the number
 
44
   * of records and the inner loop on the number of fields.  In this way, 
 
45
   * we know that record.field_values(outer_loop * num_fields) + inner_loop))
 
46
   * always gives us our correct field value.
 
47
   */
 
48
  int32_t num_records= (record.insert_value_size() / num_fields);
 
49
  int32_t y;
 
50
  for (x= 0; x < num_records; x++)
 
51
  {
 
52
    if (x != 0)
 
53
      cout << ", ";
 
54
 
 
55
    cout << "(";
 
56
    for (y= 0; y < num_fields; y++)
 
57
    {
 
58
      if (y != 0)
 
59
        cout << ", ";
 
60
 
 
61
      cout << "\"" << record.insert_value((x * num_fields) + y) << "\"";
 
62
    }
 
63
    cout << ")";
 
64
  }
 
65
 
 
66
  cout << ";";
 
67
}
 
68
 
 
69
void printDeleteWithPK(const drizzled::message::Command &container, const drizzled::message::DeleteRecord &record)
 
70
{
 
71
  cout << "DELETE FROM `" << container.schema() << "`.`" << container.table() << "`";
 
72
 
 
73
  int32_t num_where_fields= record.where_field_size();
 
74
  /* 
 
75
   * Make sure we catch anywhere we're not aligning the fields with
 
76
   * the field_values arrays...
 
77
   */
 
78
  assert(num_where_fields == record.where_value_size());
 
79
 
 
80
  cout << " WHERE ";
 
81
  int32_t x;
 
82
  for (x= 0; x < num_where_fields; x++)
 
83
  {
 
84
    if (x != 0)
 
85
      cout << " AND "; /* Always AND condition with a multi-column PK */
 
86
 
 
87
    const Table::Field f= record.where_field(x);
 
88
 
 
89
    /* Always equality conditions */
 
90
    cout << "`" << f.name() << "` = \"" << record.where_value(x) << "\"";
 
91
  }
 
92
}
 
93
 
 
94
void printUpdateWithPK(const drizzled::message::Command &container, const drizzled::message::UpdateRecord &record)
 
95
{
 
96
  int32_t num_update_fields= record.update_field_size();
 
97
  int32_t x;
 
98
 
 
99
  cout << "UPDATE `" << container.schema() << "`.`" << container.table() << "` SET ";
 
100
 
 
101
  for (x= 0;x < num_update_fields; x++)
 
102
  {
 
103
    Table::Field f= record.update_field(x);
 
104
    
 
105
    if (x != 0)
 
106
      cout << ", ";
 
107
 
 
108
    cout << "`" << f.name() << "` = \"" << record.after_value(x) << "\"";
 
109
  }
 
110
 
 
111
  int32_t num_where_fields= record.where_field_size();
 
112
  /* 
 
113
   * Make sure we catch anywhere we're not aligning the fields with
 
114
   * the field_values arrays...
 
115
   */
 
116
  assert(num_where_fields == record.where_value_size());
 
117
 
 
118
  cout << " WHERE ";
 
119
  for (x= 0;x < num_where_fields; x++)
 
120
  {
 
121
    if (x != 0)
 
122
      cout << " AND "; /* Always AND condition with a multi-column PK */
 
123
 
 
124
    const Table::Field f= record.where_field(x);
 
125
 
 
126
    /* Always equality conditions */
 
127
    cout << "`" << f.name() << "` = \"" << record.where_value(x) << "\"";
 
128
  }
 
129
}
 
130
 
 
131
void printTransaction(const drizzled::message::Transaction &transaction)
 
132
{
 
133
  int32_t e_size;
 
134
 
 
135
  cout << "/* Start Time: " << transaction.start_timestamp() << " */ START TRANSACTION;"<< endl;
 
136
 
 
137
  for (e_size= 0; e_size < transaction.command_size(); e_size++)
 
138
  {
 
139
    const drizzled::message::Command command= transaction.command(e_size);
 
140
 
 
141
    drizzled::message::TransactionContext trx= command.transaction_context();
 
142
 
 
143
    cout << "/* SID: " << trx.server_id() << " XID: " << trx.transaction_id() << " */ ";
 
144
 
 
145
    switch (command.type())
 
146
    {
 
147
      case Command::START_TRANSACTION:
 
148
        cout << "START TRANSACTION;";
 
149
        break;
 
150
      case Command::COMMIT:
 
151
        cout << "COMMIT;";
 
152
        break;
 
153
      case Command::ROLLBACK:
 
154
        cout << "ROLLBACK;";
 
155
        break;
 
156
      case Command::INSERT:
 
157
      {
 
158
        printInsert(command, command.insert_record());
 
159
        break;
 
160
      }
 
161
      case Command::DELETE:
 
162
      {
 
163
        printDeleteWithPK(command, command.delete_record());
 
164
        break;
 
165
      }
 
166
      case Command::UPDATE:
 
167
      {
 
168
        printUpdateWithPK(command, command.update_record());
 
169
        break;
 
170
      }
 
171
      default:
 
172
      assert(0);
 
173
    }
 
174
    cout << endl;
 
175
  }
 
176
  cout << "/* Commit Time: " << transaction.end_timestamp() << " */ COMMIT;" << endl;
110
177
}
111
178
 
112
179
int main(int argc, char* argv[])
114
181
  GOOGLE_PROTOBUF_VERIFY_VERSION;
115
182
  int file;
116
183
 
117
 
  if (argc < 2 || argc > 3)
118
 
  {
119
 
    fprintf(stderr, _("Usage: %s TRANSACTION_LOG [--checksum] \n"), argv[0]);
120
 
    return -1;
121
 
  }
122
 
 
123
 
  message::Transaction transaction;
124
 
 
125
 
  file= open(argv[1], O_RDONLY);
126
 
  if (file == -1)
127
 
  {
128
 
    fprintf(stderr, _("Cannot open file: %s\n"), argv[1]);
129
 
    return -1;
130
 
  }
131
 
 
132
 
  bool do_checksum= false;
133
 
 
134
 
  if (argc == 3)
135
 
  {
136
 
    string checksum_arg(argv[2]);
137
 
    transform(checksum_arg.begin(), checksum_arg.end(), checksum_arg.begin(), ::tolower);
138
 
 
139
 
    if ("--checksum" == checksum_arg)
140
 
      do_checksum= true;
141
 
  }
142
 
 
143
 
  protobuf::io::ZeroCopyInputStream *raw_input= new protobuf::io::FileInputStream(file);
144
 
  protobuf::io::CodedInputStream *coded_input= new protobuf::io::CodedInputStream(raw_input);
 
184
  if (argc != 2)
 
185
  {
 
186
    cerr << "Usage:  " << argv[0] << " TRANSACTION_LOG" << endl;
 
187
    return -1;
 
188
  }
 
189
 
 
190
  Transaction transaction;
 
191
 
 
192
  if ((file= open(argv[1], O_RDONLY)) == -1)
 
193
  {
 
194
    cerr << "Can not open file: " << argv[1] << endl;
 
195
  }
145
196
 
146
197
  char *buffer= NULL;
147
 
  char *temp_buffer= NULL;
148
 
  uint32_t length= 0;
149
 
  uint32_t previous_length= 0;
150
 
  uint32_t checksum= 0;
151
 
  bool result= true;
152
 
  uint32_t message_type= 0;
 
198
  char *temp_buffer;
153
199
 
154
 
  /* Read in the length of the command */
155
 
  while (result == true && 
156
 
         coded_input->ReadLittleEndian32(&message_type) == true &&
157
 
         coded_input->ReadLittleEndian32(&length) == true)
 
200
  while (1)
158
201
  {
159
 
    if (message_type != ReplicationServices::TRANSACTION)
160
 
    {
161
 
      fprintf(stderr, _("Found a non-transaction message in log.  Currently, not supported.\n"));
162
 
      exit(1);
163
 
    }
164
 
 
165
 
    if (length > INT_MAX)
166
 
    {
167
 
      fprintf(stderr, _("Attempted to read record bigger than INT_MAX\n"));
168
 
      exit(1);
169
 
    }
170
 
 
171
 
    if (buffer == NULL)
172
 
    {
173
 
      /* 
174
 
       * First time around...just malloc the length.  This block gets rid
175
 
       * of a GCC warning about uninitialized temp_buffer.
176
 
       */
177
 
      temp_buffer= (char *) malloc(static_cast<size_t>(length));
178
 
    }
179
 
    /* No need to allocate if we have a buffer big enough... */
180
 
    else if (length > previous_length)
181
 
    {
182
 
      temp_buffer= (char *) realloc(buffer, static_cast<size_t>(length));
183
 
    }
184
 
 
 
202
    uint64_t length;
 
203
 
 
204
    /* Read the size */
 
205
    if (read(file, &length, sizeof(uint64_t)) != sizeof(uint64_t))
 
206
      break;
 
207
 
 
208
    if (length > SIZE_MAX)
 
209
    {
 
210
      cerr << "Attempted to read record bigger than SIZE_MAX" << endl;
 
211
      exit(1);
 
212
    }
 
213
 
 
214
    temp_buffer= (char *)realloc(buffer, (size_t)length);
185
215
    if (temp_buffer == NULL)
186
216
    {
187
 
      fprintf(stderr, _("Memory allocation failure trying to allocate %" PRIu64 " bytes.\n"),
188
 
              static_cast<uint64_t>(length));
189
 
      break;
190
 
    }
191
 
    else
192
 
      buffer= temp_buffer;
193
 
 
194
 
    /* Read the Command */
195
 
    result= coded_input->ReadRaw(buffer, (int) length);
196
 
    if (result == false)
197
 
    {
198
 
      fprintf(stderr, _("Could not read transaction message.\n"));
199
 
      fprintf(stderr, _("GPB ERROR: %s.\n"), strerror(errno));
200
 
      string hexdump;
201
 
      hexdump.reserve(length * 4);
202
 
      bytesToHexdumpFormat(hexdump, reinterpret_cast<const unsigned char *>(buffer), length);
203
 
      fprintf(stderr, _("HEXDUMP:\n\n%s\n"), hexdump.c_str());
204
 
      break;
205
 
    }
206
 
 
207
 
    result= transaction.ParseFromArray(buffer, static_cast<int32_t>(length));
208
 
    if (result == false)
209
 
    {
210
 
      fprintf(stderr, _("Unable to parse command. Got error: %s.\n"), transaction.InitializationErrorString().c_str());
211
 
      if (buffer != NULL)
212
 
      {
213
 
        string hexdump;
214
 
        hexdump.reserve(length * 4);
215
 
        bytesToHexdumpFormat(hexdump, reinterpret_cast<const unsigned char *>(buffer), length);
216
 
        fprintf(stderr, _("HEXDUMP:\n\n%s\n"), hexdump.c_str());
217
 
      }
218
 
      break;
219
 
    }
 
217
      cerr << "Memory allocation failure trying to allocate " << length << " bytes."  << endl;
 
218
      exit(1);
 
219
    }
 
220
    memset(temp_buffer, 0, length);
 
221
    buffer= temp_buffer;
 
222
    size_t read_bytes= 0;
 
223
 
 
224
    /* Read the transaction */
 
225
    if ((read_bytes= read(file, buffer, (uint64_t)length)) != (uint64_t)length)
 
226
    {
 
227
      cerr << "Could not read entire transaction. Read " << read_bytes << " bytes instead of " << length << " bytes." << endl;
 
228
      exit(1);
 
229
    }
 
230
    transaction.ParseFromArray(buffer, (int) length);
220
231
 
221
232
    /* Print the transaction */
222
233
    printTransaction(transaction);
223
 
 
224
 
    /* Skip 4 byte checksum */
225
 
    coded_input->ReadLittleEndian32(&checksum);
226
 
 
227
 
    if (do_checksum)
228
 
    {
229
 
      if (checksum != drizzled::algorithm::crc32(buffer, static_cast<size_t>(length)))
230
 
      {
231
 
        fprintf(stderr, _("Checksum failed. Wanted %" PRIu32 " got %" PRIu32 "\n"), checksum, drizzled::algorithm::crc32(buffer, static_cast<size_t>(length)));
232
 
      }
233
 
    }
234
 
 
235
 
    previous_length= length;
236
234
  }
237
 
  if (buffer)
238
 
    free(buffer);
239
 
  
240
 
  delete coded_input;
241
 
  delete raw_input;
242
 
 
243
 
  return (result == true ? 0 : 1);
 
235
  return 0;
244
236
}
245