← Back to branch summary

~drizzle-trunk/drizzle/development

« back to all changes in this revision

Viewing changes to client/drizzledump_data.cc

  • Committer: lbieber
  • Date: 2010-09-24 22:32:14 UTC
  • mfrom: (1792.1.3 build)
  • Revision ID: lbieber@orisndriz08-20100924223214-fy0e0bfu7yy5zeup
Merge Paul - fix bug 641033 - fix basic_create_select test
Merge Paul - fix bug 641035 - basic_index_lookup and basic_pkey_index_reverse_scan don't always use index
Merge Brian - Adding have_linux to disabled pbxt tests.
Merge Andrew - drizzledump mysql migration tool

Show diffs side-by-side

added added

removed removed

Lines of Context:
client/drizzledump_data.cc
 
1
/* -*- mode: c++; c-basic-offset: 2; indent-tabs-mode: nil; -*-
 
2
 *  vim:expandtab:shiftwidth=2:tabstop=2:smarttab:
 
3
 *
 
4
 *  Copyright (C) 2010 Andrew Hutchings
 
5
 *
 
6
 *  This program is free software; you can redistribute it and/or modify
 
7
 *  it under the terms of the GNU General Public License as published by
 
8
 *  the Free Software Foundation; version 2 of the License.
 
9
 *
 
10
 *  This program is distributed in the hope that it will be useful,
 
11
 *  but WITHOUT ANY WARRANTY; without even the implied warranty of
 
12
 *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
13
 *  GNU General Public License for more details.
 
14
 *
 
15
 *  You should have received a copy of the GNU General Public License
 
16
 *  along with this program; if not, write to the Free Software
 
17
 *  Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301  USA
 
18
 */
 
19
 
 
20
#include "drizzledump_data.h"
 
21
#include "client_priv.h"
 
22
#include <drizzled/gettext.h>
 
23
#include <string>
 
24
#include <iostream>
 
25
#include <boost/regex.hpp>
 
26
#include <boost/unordered_set.hpp>
 
27
 
 
28
#define EX_DRIZZLEERR 2
 
29
 
 
30
extern bool opt_no_create_info;
 
31
extern bool opt_no_data;
 
32
extern bool opt_create_db;
 
33
extern bool opt_disable_keys;
 
34
extern bool extended_insert;
 
35
extern bool opt_replace_into;
 
36
extern bool opt_drop;
 
37
extern bool verbose;
 
38
extern bool opt_databases;
 
39
extern bool opt_alldbs;
 
40
extern uint32_t show_progress_size;
 
41
extern bool opt_ignore;
 
42
 
 
43
extern boost::unordered_set<std::string> ignore_table;
 
44
extern void maybe_exit(int error);
 
45
 
 
46
enum destinations {
 
47
  DESTINATION_DB,
 
48
  DESTINATION_FILES,
 
49
  DESTINATION_STDOUT
 
50
};
 
51
 
 
52
extern int opt_destination;
 
53
 
 
54
/* returns true on keep, false on ignore */
 
55
bool DrizzleDumpDatabase::ignoreTable(std::string tableName)
 
56
{
 
57
  std::string dbTable(databaseName);
 
58
  dbTable.append(".");
 
59
  dbTable.append(tableName);
 
60
 
 
61
  boost::unordered_set<std::string>::iterator iter= ignore_table.find(dbTable);
 
62
  return (iter == ignore_table.end());
 
63
}
 
64
 
 
65
void DrizzleDumpDatabase::cleanTableName(std::string &tableName)
 
66
{
 
67
  std::string replace("``");
 
68
  std::string find("`");
 
69
  size_t j = 0;
 
70
  for (;(j = tableName.find(find, j)) != std::string::npos;)
 
71
  {
 
72
    tableName.replace(j, find.length(), replace);
 
73
    j+= replace.length();
 
74
  }
 
75
 
 
76
}
 
77
 
 
78
std::ostream& operator <<(std::ostream &os, const DrizzleDumpIndex &obj)
 
79
{
 
80
  if (obj.isPrimary)
 
81
  {
 
82
    os << "  PRIMARY KEY ";
 
83
  }
 
84
  else if (obj.isUnique)
 
85
  {
 
86
    os << "  UNIQUE KEY `" << obj.indexName << "` ";
 
87
  }
 
88
  else
 
89
  {
 
90
    os << "  KEY `" << obj.indexName << "` ";
 
91
  }
 
92
 
 
93
  os << "(";
 
94
  
 
95
  std::vector<std::string>::iterator i;
 
96
  std::vector<std::string> fields = obj.columns;
 
97
  for (i= fields.begin(); i != fields.end(); ++i)
 
98
  {
 
99
    if (i != fields.begin())
 
100
      os << ",";
 
101
    std::string field= *i;
 
102
    os << "`" << field << "`";
 
103
  }
 
104
 
 
105
  os << ")";
 
106
 
 
107
  return os;
 
108
}
 
109
 
 
110
std::ostream& operator <<(std::ostream &os, const DrizzleDumpField &obj)
 
111
{
 
112
  os << "  `" << obj.fieldName << "` ";
 
113
  os << obj.type;
 
114
  if (((obj.type.compare("VARCHAR") == 0) or
 
115
   (obj.type.compare("VARBINARY") == 0)) and
 
116
   (obj.length > 0))
 
117
  {
 
118
    os << "(" << obj.length << ")";
 
119
  }
 
120
  else if (((obj.type.compare("DECIMAL") == 0) or
 
121
    (obj.type.compare("DOUBLE") == 0)) and
 
122
    ((obj.decimalPrecision + obj.decimalScale) > 0))
 
123
  {
 
124
    os << "(" << obj.decimalPrecision << "," << obj.decimalScale << ")";
 
125
  }
 
126
  else if (obj.type.compare("ENUM") == 0)
 
127
  {
 
128
    os << "(" << obj.enumValues << ")";
 
129
  }
 
130
 
 
131
  if (not obj.isNull)
 
132
  {
 
133
    os << " NOT NULL";
 
134
  }
 
135
 
 
136
  if ((not obj.collation.empty()) and (obj.collation.compare("binary") != 0))
 
137
  {
 
138
    os << " COLLATE " << obj.collation;
 
139
  }
 
140
 
 
141
  if (obj.isAutoIncrement)
 
142
    os << " AUTO_INCREMENT";
 
143
 
 
144
  if (not obj.defaultValue.empty())
 
145
  {
 
146
    if (obj.defaultValue.compare("CURRENT_TIMESTAMP") != 0)
 
147
     os << " DEFAULT '" << obj.defaultValue << "'";
 
148
    else
 
149
     os << " DEFAULT CURRENT_TIMESTAMP";
 
150
  }
 
151
  else if ((obj.defaultIsNull))
 
152
  {
 
153
    os << " DEFAULT NULL";
 
154
  }
 
155
 
 
156
  return os;
 
157
}
 
158
 
 
159
std::ostream& operator <<(std::ostream &os, const DrizzleDumpDatabase &obj)
 
160
{
 
161
  if ((opt_destination == DESTINATION_DB) or opt_databases or opt_alldbs)
 
162
  {
 
163
    if (verbose)
 
164
    {
 
165
      std::cerr << "--" << std::endl
 
166
        << "-- Current Database: `" << obj.databaseName << "`" << std::endl
 
167
        << "--" << std::endl << std::endl;
 
168
    }
 
169
 
 
170
    /* Love that this variable is the opposite of its name */
 
171
    if (not opt_create_db)
 
172
    {
 
173
      os << "CREATE DATABASE IF NOT EXISTS `" << obj.databaseName << "`";
 
174
      if (not obj.collate.empty())
 
175
       os << " COLLATE = " << obj.collate;
 
176
 
 
177
      os << ";" << std::endl << std::endl;
 
178
    }
 
179
 
 
180
    os << "USE `" << obj.databaseName << "`;" << std::endl << std::endl;
 
181
  }
 
182
 
 
183
  std::vector<DrizzleDumpTable*>::iterator i;
 
184
  std::vector<DrizzleDumpTable*> output_tables = obj.tables;
 
185
  for (i= output_tables.begin(); i != output_tables.end(); ++i)
 
186
  {
 
187
    DrizzleDumpTable *table= *i;
 
188
    if (not opt_no_create_info)
 
189
      os << *table;
 
190
    if (not opt_no_data)
 
191
    {
 
192
      obj.dcon->setDB(obj.databaseName);
 
193
      DrizzleDumpData *data= table->getData();
 
194
      if (data == NULL)
 
195
      {
 
196
        std::cerr << "Error: Could not get data for table " << table->displayName << std::endl;
 
197
        maybe_exit(EX_DRIZZLEERR);
 
198
      }
 
199
      os << *data;
 
200
      delete data;
 
201
    }
 
202
  }
 
203
 
 
204
  return os;
 
205
}
 
206
 
 
207
 
 
208
std::ostream& operator <<(std::ostream &os, const DrizzleDumpData &obj)
 
209
{
 
210
  bool new_insert= true;
 
211
  bool first= true;
 
212
  uint64_t rownr= 0;
 
213
 
 
214
  drizzle_row_t row;
 
215
 
 
216
  if (verbose)
 
217
    std::cerr << _("-- Retrieving data for ") << obj.table->displayName << "..." << std::endl;
 
218
 
 
219
  if (drizzle_result_row_count(obj.result) < 1)
 
220
  {
 
221
    if (verbose)
 
222
    {
 
223
      std::cerr << "--" << std::endl
 
224
        << "-- No data to dump for table `" << obj.table->displayName << "`"
 
225
        << std::endl << "--" << std::endl << std::endl;
 
226
    }
 
227
    return os;
 
228
  }
 
229
  else if (verbose)
 
230
  {
 
231
    std::cerr << "--" << std::endl
 
232
      << "-- Dumping data for table `" << obj.table->displayName << "`"
 
233
      << std::endl << "--" << std::endl << std::endl;
 
234
  }
 
235
  if (opt_disable_keys)
 
236
    os << "ALTER TABLE `" << obj.table->displayName << "` DISABLE KEYS;" << std::endl;
 
237
 
 
238
  std::streampos out_position= os.tellp();
 
239
 
 
240
  while((row= drizzle_row_next(obj.result)))
 
241
  {
 
242
    rownr++;
 
243
    if ((rownr % show_progress_size) == 0)
 
244
    {
 
245
      std::cerr << "-- %" << rownr << _(" rows dumped for table ") << obj.table->displayName << std::endl;
 
246
    }
 
247
 
 
248
    size_t* row_sizes= drizzle_row_field_sizes(obj.result);
 
249
    if (not first)
 
250
    {
 
251
      if (extended_insert)
 
252
        os << "),(";
 
253
      else
 
254
        os << ");" << std::endl;
 
255
    }
 
256
    else
 
257
      first= false;
 
258
 
 
259
    if (new_insert)
 
260
    {
 
261
      if (opt_replace_into)
 
262
        os << "REPLACE ";
 
263
      else
 
264
      {
 
265
        os << "INSERT ";
 
266
        if (opt_ignore)
 
267
          os << "IGNORE ";
 
268
      }
 
269
      os << "INTO `" << obj.table->displayName << "` VALUES (";
 
270
      if (extended_insert)
 
271
        new_insert= false;
 
272
    }
 
273
    for (uint32_t i= 0; i < drizzle_result_column_count(obj.result); i++)
 
274
    {
 
275
      if (not row[i])
 
276
      {
 
277
        os << "NULL";
 
278
      }
 
279
      /* time/date conversion for MySQL connections */
 
280
      else if (obj.table->fields[i]->convertDateTime)
 
281
      {
 
282
        os << obj.checkDateTime(os, row[i], i);
 
283
      }
 
284
      else
 
285
      {
 
286
        if (obj.table->fields[i]->type.compare("INT") != 0)
 
287
        {
 
288
          /* Hex blob processing or escape text */
 
289
          if (((obj.table->fields[i]->type.compare("BLOB") == 0) or
 
290
            (obj.table->fields[i]->type.compare("VARBINARY") == 0)))
 
291
            os << obj.convertHex((unsigned char*)row[i], row_sizes[i]);
 
292
          else
 
293
            os << "'" << obj.escape(row[i], row_sizes[i]) << "'";
 
294
        }
 
295
        else
 
296
          os << row[i];
 
297
      }
 
298
      if (i != obj.table->fields.size() - 1)
 
299
        os << ",";
 
300
    }
 
301
    /* Break insert up if it is too long */
 
302
    if (extended_insert and
 
303
      ((os.tellp() - out_position) >= DRIZZLE_MAX_LINE_LENGTH))
 
304
    {
 
305
      os << ");" << std::endl;
 
306
      new_insert= true;
 
307
      out_position= os.tellp();
 
308
    }
 
309
  }
 
310
  os << ");" << std::endl;
 
311
 
 
312
  if (opt_disable_keys)
 
313
    os << "ALTER TABLE `" << obj.table->tableName << "` ENABLE KEYS;" << std::endl;
 
314
 
 
315
  os << std::endl;
 
316
 
 
317
  return os;
 
318
}
 
319
 
 
320
std::string DrizzleDumpData::convertHex(const unsigned char* from, size_t from_size) const
 
321
{
 
322
  std::ostringstream output;
 
323
  if (from_size > 0)
 
324
    output << "0x";
 
325
  while (from_size > 0)
 
326
  {
 
327
    /* Would be nice if std::hex liked uint8_t, ah well */
 
328
    output << std::uppercase << std::hex << std::setw(2) << std::setfill('0') << (unsigned short)(*from);
 
329
    *from++;
 
330
    from_size--;
 
331
  }
 
332
 
 
333
  return output.str();
 
334
}
 
335
 
 
336
/* Ripped out of libdrizzle, hopefully a little safer */
 
337
std::string DrizzleDumpData::escape(const char* from, size_t from_size) const
 
338
{
 
339
  std::string output;
 
340
 
 
341
  while (from_size > 0)
 
342
  {
 
343
    if (!(*from & 0x80))
 
344
    {
 
345
      switch (*from)
 
346
      {
 
347
         case 0:
 
348
         case '\n':
 
349
         case '\r':
 
350
         case '\\':
 
351
         case '\'':
 
352
         case '"':
 
353
         case '\032':
 
354
           output.push_back('\\');
 
355
         default:
 
356
           break;
 
357
       }
 
358
    }
 
359
    output.push_back(*from);
 
360
    *from++;
 
361
    from_size--;
 
362
  }
 
363
 
 
364
  return output;
 
365
}
 
366
 
 
367
std::ostream& operator <<(std::ostream &os, const DrizzleDumpTable &obj)
 
368
{
 
369
  if (verbose)
 
370
  {
 
371
    std::cerr << "--" << std::endl
 
372
      << "-- Table structure for table `" << obj.displayName << "`" << std::endl
 
373
      << "--" << std::endl << std::endl;
 
374
  }
 
375
 
 
376
  if (opt_drop)
 
377
    os << "DROP TABLE IF EXISTS `" << obj.displayName <<  "`;" << std::endl;
 
378
 
 
379
  os << "CREATE TABLE `" << obj.displayName << "` (" << std::endl;
 
380
  std::vector<DrizzleDumpField*>::iterator i;
 
381
  std::vector<DrizzleDumpField*> output_fields = obj.fields;
 
382
  for (i= output_fields.begin(); i != output_fields.end(); ++i)
 
383
  {
 
384
    if (i != output_fields.begin())
 
385
      os << "," << std::endl;
 
386
    DrizzleDumpField *field= *i;
 
387
    os << *field;
 
388
  }
 
389
 
 
390
  std::vector<DrizzleDumpIndex*>::iterator j;
 
391
  std::vector<DrizzleDumpIndex*> output_indexes = obj.indexes;
 
392
  for (j= output_indexes.begin(); j != output_indexes.end(); ++j)
 
393
  {
 
394
    os << "," << std::endl;;
 
395
    DrizzleDumpIndex *index= *j;
 
396
    os << *index;
 
397
  }
 
398
  os << std::endl;
 
399
  os << ") ENGINE=" << obj.engineName << " ";
 
400
  if ((obj.dcon->getServerType() == DrizzleDumpConnection::SERVER_MYSQL_FOUND)
 
401
    and (obj.autoIncrement > 0))
 
402
  {
 
403
    os << "AUTO_INCREMENT=" << obj.autoIncrement << " ";
 
404
  }
 
405
 
 
406
  os << "COLLATE = " << obj.collate << ";" << std::endl << std::endl;
 
407
 
 
408
  return os;
 
409
}
 
410
 
 
411
DrizzleDumpConnection::DrizzleDumpConnection(std::string &host, uint16_t port, 
 
412
  std::string &username, std::string &password, bool drizzle_protocol) :
 
413
  hostName(host),
 
414
  drizzleProtocol(drizzle_protocol)
 
415
{
 
416
  drizzle_return_t ret;
 
417
 
 
418
  if (host.empty())
 
419
    host= "localhost";
 
420
 
 
421
  std::string protocol= (drizzle_protocol) ? "Drizzle" : "MySQL";
 
422
  if (verbose)
 
423
  {
 
424
    std::cerr << _("-- Connecting to ") << host  << _(" using protocol ")
 
425
      << protocol << "..." << std::endl;
 
426
  }
 
427
  drizzle_create(&drizzle);
 
428
  drizzle_con_create(&drizzle, &connection);
 
429
  drizzle_con_set_tcp(&connection, (char *)host.c_str(), port);
 
430
  drizzle_con_set_auth(&connection, (char *)username.c_str(),
 
431
    (char *)password.c_str());
 
432
  drizzle_con_add_options(&connection, 
 
433
    drizzle_protocol ? DRIZZLE_CON_EXPERIMENTAL : DRIZZLE_CON_MYSQL);
 
434
  ret= drizzle_con_connect(&connection);
 
435
  if (ret != DRIZZLE_RETURN_OK)
 
436
  {
 
437
    errorHandler(NULL, ret, "when trying to connect");
 
438
    throw;
 
439
  }
 
440
 
 
441
  boost::match_flag_type flags = boost::match_default; 
 
442
 
 
443
  boost::regex mysql_regex("(5\\.[0-9]+\\.[0-9]+)");
 
444
  boost::regex drizzle_regex("(20[0-9]{2}\\.(0[1-9]|1[012])\\.[0-9]+)");
 
445
 
 
446
  std::string version(getServerVersion());
 
447
 
 
448
  if (regex_search(version, mysql_regex, flags))
 
449
    serverType= SERVER_MYSQL_FOUND;
 
450
  else if (regex_search(version, drizzle_regex, flags))
 
451
    serverType= SERVER_DRIZZLE_FOUND;
 
452
  else
 
453
    serverType= SERVER_UNKNOWN_FOUND;
 
454
}
 
455
 
 
456
drizzle_result_st* DrizzleDumpConnection::query(std::string &str_query)
 
457
{
 
458
  drizzle_return_t ret;
 
459
  drizzle_result_st* result= new drizzle_result_st;
 
460
  if (drizzle_query_str(&connection, result, str_query.c_str(), &ret) == NULL ||
 
461
      ret != DRIZZLE_RETURN_OK)
 
462
  {
 
463
    if (ret == DRIZZLE_RETURN_ERROR_CODE)
 
464
    {
 
465
      std::cerr << _("Error executing query: ") <<
 
466
        drizzle_result_error(result) << std::endl;
 
467
      drizzle_result_free(result);
 
468
    }
 
469
    else
 
470
    {
 
471
      std::cerr << _("Error executing query: ") <<
 
472
        drizzle_con_error(&connection) << std::endl;
 
473
    }
 
474
    return NULL;
 
475
  }
 
476
 
 
477
  if (drizzle_result_buffer(result) != DRIZZLE_RETURN_OK)
 
478
  {
 
479
    std::cerr << _("Could not buffer result: ") <<
 
480
        drizzle_con_error(&connection) << std::endl;
 
481
    return NULL;
 
482
  }
 
483
  return result;
 
484
}
 
485
 
 
486
void DrizzleDumpConnection::freeResult(drizzle_result_st* result)
 
487
{
 
488
  drizzle_result_free(result);
 
489
  delete result;
 
490
}
 
491
 
 
492
bool DrizzleDumpConnection::queryNoResult(std::string &str_query)
 
493
{
 
494
  drizzle_return_t ret;
 
495
  drizzle_result_st result;
 
496
 
 
497
  if (drizzle_query_str(&connection, &result, str_query.c_str(), &ret) == NULL ||
 
498
      ret != DRIZZLE_RETURN_OK)
 
499
  {
 
500
    if (ret == DRIZZLE_RETURN_ERROR_CODE)
 
501
    {
 
502
      std::cerr << _("Error executing query: ") <<
 
503
        drizzle_result_error(&result) << std::endl;
 
504
      drizzle_result_free(&result);
 
505
    }
 
506
    else
 
507
    {
 
508
      std::cerr << _("Error executing query: ") <<
 
509
        drizzle_con_error(&connection) << std::endl;
 
510
    }
 
511
    return false;
 
512
  }
 
513
 
 
514
  drizzle_result_free(&result);
 
515
  return true;
 
516
}
 
517
 
 
518
bool DrizzleDumpConnection::setDB(std::string databaseName)
 
519
{
 
520
  drizzle_return_t ret;
 
521
  drizzle_result_st result;
 
522
  if (drizzle_select_db(&connection, &result, databaseName.c_str(), &ret) == 
 
523
    NULL || ret != DRIZZLE_RETURN_OK)
 
524
  {
 
525
    std::cerr << _("Error: Could not set db '") << databaseName << "'" << std::endl;
 
526
    if (ret == DRIZZLE_RETURN_ERROR_CODE)
 
527
      drizzle_result_free(&result);
 
528
    return false;
 
529
  }
 
530
  drizzle_result_free(&result);
 
531
  return true;
 
532
}
 
533
 
 
534
void DrizzleDumpConnection::errorHandler(drizzle_result_st *res, drizzle_return_t ret,
 
535
                     const char *when)
 
536
{
 
537
  if (ret == DRIZZLE_RETURN_ERROR_CODE)
 
538
  {
 
539
    std::cerr << _("Got error: ") << drizzle_result_error(res)
 
540
      << " (" << drizzle_result_error_code(res) << ") " << when << std::endl;
 
541
    drizzle_result_free(res);
 
542
  }
 
543
  else
 
544
  {
 
545
    std::cerr << _("Got error: ") << ret << " " << when << std::endl;
 
546
  }
 
547
 
 
548
  return;
 
549
}
 
550
 
 
551
DrizzleDumpConnection::~DrizzleDumpConnection()
 
552
{
 
553
  if (verbose)
 
554
    std::cerr << _("-- Disconnecting from ") << hostName << "..." << std::endl;
 
555
  drizzle_con_free(&connection);
 
556
  drizzle_free(&drizzle);
 
557
}