← Back to branch summary

~drizzle-trunk/drizzle/development

« back to all changes in this revision

Viewing changes to plugin/logging_query/logging_query.cc

  • Committer: Monty Taylor
  • Date: 2008-09-16 00:00:48 UTC
  • mto: This revision was merged to the branch mainline in revision 391.
  • Revision ID: monty@inaugust.com-20080916000048-3rvrv3gv9l0ad3gs
Fixed copyright headers in drizzled/

Show diffs side-by-side

added added

removed removed

Lines of Context:
plugin/logging_query/logging_query.cc
1
 
/* -*- mode: c++; c-basic-offset: 2; indent-tabs-mode: nil; -*-
2
 
 *  vim:expandtab:shiftwidth=2:tabstop=2:smarttab:
3
 
 *
4
 
 *  Copyright (C) 2008, 2009 Sun Microsystems, Inc.
5
 
 *
6
 
 *  This program is free software; you can redistribute it and/or modify
7
 
 *  it under the terms of the GNU General Public License as published by
8
 
 *  the Free Software Foundation; version 2 of the License.
9
 
 *
10
 
 *  This program is distributed in the hope that it will be useful,
11
 
 *  but WITHOUT ANY WARRANTY; without even the implied warranty of
12
 
 *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13
 
 *  GNU General Public License for more details.
14
 
 *
15
 
 *  You should have received a copy of the GNU General Public License
16
 
 *  along with this program; if not, write to the Free Software
17
 
 *  Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301  USA
18
 
 */
19
 
 
20
 
#include "config.h"
21
 
#include <drizzled/plugin/logging.h>
22
 
#include <drizzled/gettext.h>
23
 
#include <drizzled/session.h>
24
 
#include PCRE_HEADER
25
 
#include <limits.h>
26
 
#include <sys/time.h>
27
 
#include <sys/types.h>
28
 
#include <sys/stat.h>
29
 
#include <fcntl.h>
30
 
#include <string>
31
 
#include <boost/format.hpp>
32
 
#include <boost/program_options.hpp>
33
 
#include <drizzled/module/option_map.h>
34
 
#include <cstdio>
35
 
#include <cerrno>
36
 
 
37
 
namespace po= boost::program_options;
38
 
using namespace drizzled;
39
 
using namespace std;
40
 
 
41
 
#define ESCAPE_CHAR      '\\'
42
 
#define SEPARATOR_CHAR   ','
43
 
 
44
 
namespace drizzle_plugin
45
 
{
46
 
 
47
 
static bool sysvar_logging_query_enable= false;
48
 
/* TODO fix these to not be unsigned long once we have sensible sys_var system */
49
 
static uint32_constraint sysvar_logging_query_threshold_slow;
50
 
static uint32_constraint sysvar_logging_query_threshold_big_resultset;
51
 
static uint32_constraint sysvar_logging_query_threshold_big_examined;
52
 
 
53
 
/* quote a string to be safe to include in a CSV line
54
 
   that means backslash quoting all commas, doublequotes, backslashes,
55
 
   and all the ASCII unprintable characters
56
 
   as long as we pass the high-bit bytes unchanged
57
 
   this is safe to do to a UTF8 string
58
 
   we dont allow overrunning the targetbuffer
59
 
   to avoid having a very long query overwrite memory
60
 
 
61
 
   TODO consider remapping the unprintables instead to "Printable
62
 
   Representation", the Unicode characters from the area U+2400 to
63
 
   U+2421 reserved for representing control characters when it is
64
 
   necessary to print or display them rather than have them perform
65
 
   their intended function.
66
 
 
67
 
*/
68
 
 
69
 
static void quotify(const string &src, string &dst)
70
 
{
71
 
  static const char hexit[]= { '0', '1', '2', '3', '4', '5', '6', '7',
72
 
                          '8', '9', 'a', 'b', 'c', 'd', 'e', 'f' };
73
 
  string::const_iterator src_iter;
74
 
  
75
 
  for (src_iter= src.begin(); src_iter < src.end(); ++src_iter)
76
 
  {
77
 
    if (static_cast<unsigned char>(*src_iter) > 0x7f)
78
 
    {
79
 
      dst.push_back(*src_iter);
80
 
    }
81
 
    else if (*src_iter == 0x00)  // null
82
 
    {
83
 
      dst.push_back(ESCAPE_CHAR); dst.push_back('0');
84
 
    }
85
 
    else if (*src_iter == 0x07)  // bell
86
 
    {
87
 
      dst.push_back(ESCAPE_CHAR); dst.push_back('a');
88
 
    }
89
 
    else if (*src_iter == 0x08)  // backspace
90
 
    {
91
 
      dst.push_back(ESCAPE_CHAR); dst.push_back('b');
92
 
    }
93
 
    else if (*src_iter == 0x09)  // horiz tab
94
 
    {
95
 
      dst.push_back(ESCAPE_CHAR); dst.push_back('t');
96
 
    }
97
 
    else if (*src_iter == 0x0a)  // line feed
98
 
    {
99
 
      dst.push_back(ESCAPE_CHAR); dst.push_back('n');
100
 
    }
101
 
    else if (*src_iter == 0x0b)  // vert tab
102
 
    {
103
 
      dst.push_back(ESCAPE_CHAR); dst.push_back('v');
104
 
    }
105
 
    else if (*src_iter == 0x0c)  // formfeed
106
 
    {
107
 
      dst.push_back(ESCAPE_CHAR); dst.push_back('f');
108
 
    }
109
 
    else if (*src_iter == 0x0d)  // carrage return
110
 
    {
111
 
      dst.push_back(ESCAPE_CHAR); dst.push_back('r');
112
 
    }
113
 
    else if (*src_iter == 0x1b)  // escape
114
 
    {
115
 
      dst.push_back(ESCAPE_CHAR); dst.push_back('e');
116
 
    }
117
 
    else if (*src_iter == 0x22)  // quotation mark
118
 
    {
119
 
      dst.push_back(ESCAPE_CHAR); dst.push_back(0x22);
120
 
    }
121
 
    else if (*src_iter == SEPARATOR_CHAR)
122
 
    {
123
 
      dst.push_back(ESCAPE_CHAR); dst.push_back(SEPARATOR_CHAR);
124
 
    }
125
 
    else if (*src_iter == ESCAPE_CHAR)
126
 
    {
127
 
      dst.push_back(ESCAPE_CHAR); dst.push_back(ESCAPE_CHAR);
128
 
    }
129
 
    else if ((*src_iter < 0x20) || (*src_iter == 0x7F))  // other unprintable ASCII
130
 
    {
131
 
      dst.push_back(ESCAPE_CHAR);
132
 
      dst.push_back('x');
133
 
      dst.push_back(hexit[(*src_iter >> 4) & 0x0f]);
134
 
      dst.push_back(hexit[*src_iter & 0x0f]);
135
 
    }
136
 
    else  // everything else
137
 
    {
138
 
      dst.push_back(*src_iter);
139
 
    }
140
 
  }
141
 
}
142
 
 
143
 
 
144
 
class Logging_query: public drizzled::plugin::Logging
145
 
{
146
 
  const std::string _filename;
147
 
  const std::string _query_pcre;
148
 
  int fd;
149
 
  pcre *re;
150
 
  pcre_extra *pe;
151
 
 
152
 
  /** Format of the output string */
153
 
  boost::format formatter;
154
 
 
155
 
public:
156
 
 
157
 
  Logging_query(const std::string &filename,
158
 
                const std::string &query_pcre) :
159
 
    drizzled::plugin::Logging("Logging_query"),
160
 
    _filename(filename),
161
 
    _query_pcre(query_pcre),
162
 
    fd(-1), re(NULL), pe(NULL),
163
 
    formatter("%1%,%2%,%3%,\"%4%\",\"%5%\",\"%6%\",%7%,%8%,"
164
 
              "%9%,%10%,%11%,%12%,%13%,%14%,\"%15%\"\n")
165
 
  {
166
 
 
167
 
    /* if there is no destination filename, dont bother doing anything */
168
 
    if (_filename.empty())
169
 
      return;
170
 
 
171
 
    fd= open(_filename.c_str(),
172
 
             O_WRONLY | O_APPEND | O_CREAT,
173
 
             S_IRUSR|S_IWUSR);
174
 
 
175
 
    if (fd < 0)
176
 
    {
177
 
      sql_perror( _("fail open()"), _filename);
178
 
      return;
179
 
    }
180
 
 
181
 
    if (not _query_pcre.empty())
182
 
    {
183
 
      const char *this_pcre_error;
184
 
      int this_pcre_erroffset;
185
 
      re= pcre_compile(_query_pcre.c_str(), 0, &this_pcre_error,
186
 
                       &this_pcre_erroffset, NULL);
187
 
      pe= pcre_study(re, 0, &this_pcre_error);
188
 
      /* TODO emit error messages if there is a problem */
189
 
    }
190
 
  }
191
 
 
192
 
  ~Logging_query()
193
 
  {
194
 
    if (fd >= 0)
195
 
    {
196
 
      close(fd);
197
 
    }
198
 
 
199
 
    if (pe != NULL)
200
 
    {
201
 
      pcre_free(pe);
202
 
    }
203
 
 
204
 
    if (re != NULL)
205
 
    {
206
 
      pcre_free(re);
207
 
    }
208
 
  }
209
 
 
210
 
  virtual bool post (Session *session)
211
 
  {
212
 
    size_t wrv;
213
 
 
214
 
    assert(session != NULL);
215
 
 
216
 
    if (fd < 0)
217
 
      return false;
218
 
 
219
 
    /* Yes, we know that checking sysvar_logging_query_enable,
220
 
       sysvar_logging_query_threshold_big_resultset, and
221
 
       sysvar_logging_query_threshold_big_examined is not threadsafe,
222
 
       because some other thread might change these sysvars.  But we
223
 
       don't care.  We might start logging a little late as it spreads
224
 
       to other threads.  Big deal. */
225
 
 
226
 
    // return if not enabled or query was too fast or resultset was too small
227
 
    if (sysvar_logging_query_enable == false)
228
 
      return false;
229
 
    if (session->sent_row_count < sysvar_logging_query_threshold_big_resultset.get())
230
 
      return false;
231
 
    if (session->examined_row_count < sysvar_logging_query_threshold_big_examined.get())
232
 
      return false;
233
 
 
234
 
    /*
235
 
      TODO, the session object should have a "utime command completed"
236
 
      inside itself, so be more accurate, and so this doesnt have to
237
 
      keep calling current_utime, which can be slow.
238
 
    */
239
 
    uint64_t t_mark= session->getCurrentTimestamp(false);
240
 
 
241
 
    if (session->getElapsedTime() < (sysvar_logging_query_threshold_slow.get()))
242
 
      return false;
243
 
 
244
 
    Session::QueryString query_string(session->getQueryString());
245
 
    if (re)
246
 
    {
247
 
      int this_pcre_rc;
248
 
      this_pcre_rc= pcre_exec(re, pe, query_string->c_str(), query_string->length(), 0, 0, NULL, 0);
249
 
      if (this_pcre_rc < 0)
250
 
        return false;
251
 
    }
252
 
 
253
 
    // buffer to quotify the query
254
 
    string qs;
255
 
    
256
 
    // Since quotify() builds the quoted string incrementally, we can
257
 
    // avoid some reallocating if we reserve some space up front.
258
 
    qs.reserve(query_string->length());
259
 
    
260
 
    quotify(*query_string, qs);
261
 
    
262
 
    // to avoid trying to printf %s something that is potentially NULL
263
 
    util::string::const_shared_ptr schema(session->schema());
264
 
    const char *dbs= (schema and not schema->empty()) ? schema->c_str() : "";
265
 
 
266
 
    formatter % t_mark
267
 
              % session->thread_id
268
 
              % session->getQueryId()
269
 
              % dbs
270
 
              % qs
271
 
              % getCommandName(session->command)
272
 
              % (t_mark - session->getConnectMicroseconds())
273
 
              % session->getElapsedTime()
274
 
              % (t_mark - session->utime_after_lock)
275
 
              % session->sent_row_count
276
 
              % session->examined_row_count
277
 
              % session->tmp_table
278
 
              % session->total_warn_count
279
 
              % session->getServerId()
280
 
              % glob_hostname;
281
 
 
282
 
    string msgbuf= formatter.str();
283
 
 
284
 
    // a single write has a kernel thread lock, thus no need mutex guard this
285
 
    wrv= write(fd, msgbuf.c_str(), msgbuf.length());
286
 
    assert(wrv == msgbuf.length());
287
 
 
288
 
    return false;
289
 
  }
290
 
};
291
 
 
292
 
static int logging_query_plugin_init(drizzled::module::Context &context)
293
 
{
294
 
 
295
 
  const module::option_map &vm= context.getOptions();
296
 
 
297
 
  if (vm.count("filename") > 0)
298
 
  {
299
 
    context.add(new Logging_query(vm["filename"].as<string>(),
300
 
                                  vm["pcre"].as<string>()));
301
 
    context.registerVariable(new sys_var_bool_ptr("enable", &sysvar_logging_query_enable));
302
 
    context.registerVariable(new sys_var_const_string_val("filename", vm["filename"].as<string>()));
303
 
    context.registerVariable(new sys_var_const_string_val("pcre", vm["pcre"].as<string>()));
304
 
    context.registerVariable(new sys_var_constrained_value<uint32_t>("threshold_slow", sysvar_logging_query_threshold_slow));
305
 
    context.registerVariable(new sys_var_constrained_value<uint32_t>("threshold_big_resultset", sysvar_logging_query_threshold_big_resultset));
306
 
    context.registerVariable(new sys_var_constrained_value<uint32_t>("threshold_big_examined", sysvar_logging_query_threshold_big_examined));
307
 
  }
308
 
 
309
 
  return 0;
310
 
}
311
 
 
312
 
static void init_options(drizzled::module::option_context &context)
313
 
{
314
 
  context("enable",
315
 
          po::value<bool>(&sysvar_logging_query_enable)->default_value(false)->zero_tokens(),
316
 
          _("Enable logging to CSV file"));
317
 
  context("filename",
318
 
          po::value<string>(),
319
 
          _("File to log to"));
320
 
  context("pcre",
321
 
          po::value<string>()->default_value(""),
322
 
          _("PCRE to match the query against"));
323
 
  context("threshold-slow",
324
 
          po::value<uint32_constraint>(&sysvar_logging_query_threshold_slow)->default_value(0),
325
 
          _("Threshold for logging slow queries, in microseconds"));
326
 
  context("threshold-big-resultset",
327
 
          po::value<uint32_constraint>(&sysvar_logging_query_threshold_big_resultset)->default_value(0),
328
 
          _("Threshold for logging big queries, for rows returned"));
329
 
  context("threshold-big-examined",
330
 
          po::value<uint32_constraint>(&sysvar_logging_query_threshold_big_examined)->default_value(0),
331
 
          _("Threshold for logging big queries, for rows examined"));
332
 
}
333
 
 
334
 
} /* namespace drizzle_plugin */
335
 
 
336
 
DRIZZLE_DECLARE_PLUGIN
337
 
{
338
 
  DRIZZLE_VERSION_ID,
339
 
  "logging-query",
340
 
  "0.2",
341
 
  "Mark Atwood <mark@fallenpegasus.com>",
342
 
  N_("Log queries to a CSV file"),
343
 
  PLUGIN_LICENSE_GPL,
344
 
  drizzle_plugin::logging_query_plugin_init,
345
 
  NULL,
346
 
  drizzle_plugin::init_options
347
 
}
348
 
DRIZZLE_DECLARE_PLUGIN_END;