← Back to branch summary

~drizzle-trunk/drizzle/development

« back to all changes in this revision

Viewing changes to plugin/logging_gearman/logging_gearman.cc

  • Committer: Monty Taylor
  • Date: 2008-09-14 21:16:59 UTC
  • mto: This revision was merged to the branch mainline in revision 388.
  • Revision ID: monty@inaugust.com-20080914211659-nhjt4mobp3uazgt0
libdrizzle.h cleanup. Removed some unused things. Started splitting header into
file-per-struct like libmemcached is.

Show diffs side-by-side

added added

removed removed

Lines of Context:
plugin/logging_gearman/logging_gearman.cc
1
 
/* -*- mode: c++; c-basic-offset: 2; indent-tabs-mode: nil; -*-
2
 
 *  vim:expandtab:shiftwidth=2:tabstop=2:smarttab:
3
 
 *
4
 
 *  Copyright (C) 2008, 2009 Sun Microsystems, Inc.
5
 
 *
6
 
 *  This program is free software; you can redistribute it and/or modify
7
 
 *  it under the terms of the GNU General Public License as published by
8
 
 *  the Free Software Foundation; version 2 of the License.
9
 
 *
10
 
 *  This program is distributed in the hope that it will be useful,
11
 
 *  but WITHOUT ANY WARRANTY; without even the implied warranty of
12
 
 *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13
 
 *  GNU General Public License for more details.
14
 
 *
15
 
 *  You should have received a copy of the GNU General Public License
16
 
 *  along with this program; if not, write to the Free Software
17
 
 *  Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301  USA
18
 
 */
19
 
 
20
 
#include "config.h"
21
 
 
22
 
#include <boost/scoped_array.hpp>
23
 
 
24
 
#include <drizzled/plugin/logging.h>
25
 
#include <drizzled/gettext.h>
26
 
#include <drizzled/session.h>
27
 
#include <drizzled/errmsg_print.h>
28
 
#include <boost/date_time.hpp>
29
 
#include <boost/program_options.hpp>
30
 
#include <drizzled/module/option_map.h>
31
 
#include <libgearman/gearman.h>
32
 
#include <limits.h>
33
 
#include <sys/types.h>
34
 
#include <sys/stat.h>
35
 
#include <fcntl.h>
36
 
#include <cstdio>
37
 
#include <cerrno>
38
 
#include <memory>
39
 
 
40
 
 
41
 
namespace drizzle_plugin
42
 
{
43
 
 
44
 
namespace po= boost::program_options;
45
 
 
46
 
/* TODO make this dynamic as needed */
47
 
static const int MAX_MSG_LEN= 32*1024;
48
 
 
49
 
/* quote a string to be safe to include in a CSV line
50
 
   that means backslash quoting all commas, doublequotes, backslashes,
51
 
   and all the ASCII unprintable characters
52
 
   as long as we pass the high-bit bytes unchanged
53
 
   this is safe to do to a UTF8 string
54
 
   we dont allow overrunning the targetbuffer
55
 
   to avoid having a very long query overwrite memory
56
 
 
57
 
   TODO consider remapping the unprintables instead to "Printable
58
 
   Representation", the Unicode characters from the area U+2400 to
59
 
   U+2421 reserved for representing control characters when it is
60
 
   necessary to print or display them rather than have them perform
61
 
   their intended function.
62
 
 
63
 
*/
64
 
static unsigned char *quotify (const unsigned char *src, size_t srclen,
65
 
                               unsigned char *dst, size_t dstlen)
66
 
{
67
 
  static const char hexit[]= { '0', '1', '2', '3', '4', '5', '6', '7',
68
 
                               '8', '9', 'a', 'b', 'c', 'd', 'e', 'f' };
69
 
  size_t dst_ndx;  /* ndx down the dst */
70
 
  size_t src_ndx;  /* ndx down the src */
71
 
 
72
 
  assert(dst);
73
 
  assert(dstlen > 0);
74
 
 
75
 
  for (dst_ndx= 0,src_ndx= 0; src_ndx < srclen; src_ndx++)
76
 
    {
77
 
 
78
 
      /* Worst case, need 5 dst bytes for the next src byte.
79
 
         backslash x hexit hexit null
80
 
         so if not enough room, just terminate the string and return
81
 
      */
82
 
      if ((dstlen - dst_ndx) < 5)
83
 
        {
84
 
          dst[dst_ndx]= (unsigned char)0x00;
85
 
          return dst;
86
 
        }
87
 
 
88
 
      if (src[src_ndx] > 0x7f)
89
 
        {
90
 
          // pass thru high bit characters, they are non-ASCII UTF8 Unicode
91
 
          dst[dst_ndx++]= src[src_ndx];
92
 
        }
93
 
      else if (src[src_ndx] == 0x00)  // null
94
 
        {
95
 
          dst[dst_ndx++]= 0x5C; dst[dst_ndx++]= (unsigned char) '0';
96
 
        }
97
 
      else if (src[src_ndx] == 0x07)  // bell
98
 
        {
99
 
          dst[dst_ndx++]= 0x5C; dst[dst_ndx++]= (unsigned char) 'a';
100
 
        }
101
 
      else if (src[src_ndx] == 0x08)  // backspace
102
 
        {
103
 
          dst[dst_ndx++]= 0x5C; dst[dst_ndx++]= (unsigned char) 'b';
104
 
        }
105
 
      else if (src[src_ndx] == 0x09)  // horiz tab
106
 
        {
107
 
          dst[dst_ndx++]= 0x5C; dst[dst_ndx++]= (unsigned char) 't';
108
 
        }
109
 
      else if (src[src_ndx] == 0x0a)  // line feed
110
 
        {
111
 
          dst[dst_ndx++]= 0x5C; dst[dst_ndx++]= (unsigned char) 'n';
112
 
        }
113
 
      else if (src[src_ndx] == 0x0b)  // vert tab
114
 
        {
115
 
          dst[dst_ndx++]= 0x5C; dst[dst_ndx++]= (unsigned char) 'v';
116
 
        }
117
 
      else if (src[src_ndx] == 0x0c)  // formfeed
118
 
        {
119
 
          dst[dst_ndx++]= 0x5C; dst[dst_ndx++]= (unsigned char) 'f';
120
 
        }
121
 
      else if (src[src_ndx] == 0x0d)  // carrage return
122
 
        {
123
 
          dst[dst_ndx++]= 0x5C; dst[dst_ndx++]= (unsigned char) 'r';
124
 
        }
125
 
      else if (src[src_ndx] == 0x1b)  // escape
126
 
        {
127
 
          dst[dst_ndx++]= 0x5C; dst[dst_ndx++]= (unsigned char) 'e';
128
 
        }
129
 
      else if (src[src_ndx] == 0x22)  // quotation mark
130
 
        {
131
 
          dst[dst_ndx++]= 0x5C; dst[dst_ndx++]= 0x22;
132
 
        }
133
 
      else if (src[src_ndx] == 0x2C)  // comma
134
 
        {
135
 
          dst[dst_ndx++]= 0x5C; dst[dst_ndx++]= 0x2C;
136
 
        }
137
 
      else if (src[src_ndx] == 0x5C)  // backslash
138
 
        {
139
 
          dst[dst_ndx++]= 0x5C; dst[dst_ndx++]= 0x5C;
140
 
        }
141
 
      else if ((src[src_ndx] < 0x20) || (src[src_ndx] == 0x7F))  // other unprintable ASCII
142
 
        {
143
 
          dst[dst_ndx++]= 0x5C;
144
 
          dst[dst_ndx++]= (unsigned char) 'x';
145
 
          dst[dst_ndx++]= hexit[(src[src_ndx] >> 4) & 0x0f];
146
 
          dst[dst_ndx++]= hexit[src[src_ndx] & 0x0f];
147
 
        }
148
 
      else  // everything else
149
 
        {
150
 
          dst[dst_ndx++]= src[src_ndx];
151
 
        }
152
 
      dst[dst_ndx]= '\0';
153
 
    }
154
 
  return dst;
155
 
}
156
 
 
157
 
class LoggingGearman :
158
 
  public drizzled::plugin::Logging
159
 
{
160
 
 
161
 
  const std::string _host;
162
 
  const std::string _function;
163
 
 
164
 
  int _gearman_client_ok;
165
 
  gearman_client_st _gearman_client;
166
 
 
167
 
  LoggingGearman();
168
 
  LoggingGearman(const LoggingGearman&);
169
 
 
170
 
public:
171
 
 
172
 
  LoggingGearman(const std::string &host,
173
 
                 const std::string &function) :
174
 
    drizzled::plugin::Logging("LoggingGearman"),
175
 
    _host(host),
176
 
    _function(function),
177
 
    _gearman_client_ok(0),
178
 
    _gearman_client()
179
 
  {
180
 
    gearman_return_t ret;
181
 
 
182
 
 
183
 
    if (gearman_client_create(&_gearman_client) == NULL)
184
 
    {
185
 
      drizzled::sql_perror(_("fail gearman_client_create()"));
186
 
      return;
187
 
    }
188
 
 
189
 
    /* TODO, be able to override the port */
190
 
    /* TODO, be able send to multiple servers */
191
 
    ret= gearman_client_add_server(&_gearman_client,
192
 
                                   host.c_str(), 0);
193
 
    if (ret != GEARMAN_SUCCESS)
194
 
    {
195
 
      drizzled::errmsg_printf(drizzled::error::ERROR, _("fail gearman_client_add_server(): %s"),
196
 
                              gearman_client_error(&_gearman_client));
197
 
      return;
198
 
    }
199
 
 
200
 
    _gearman_client_ok= 1;
201
 
 
202
 
  }
203
 
 
204
 
  ~LoggingGearman()
205
 
  {
206
 
    if (_gearman_client_ok)
207
 
    {
208
 
      gearman_client_free(&_gearman_client);
209
 
    }
210
 
  }
211
 
 
212
 
  virtual bool post(drizzled::Session *session)
213
 
  {
214
 
    boost::scoped_array<char> msgbuf(new char[MAX_MSG_LEN]);
215
 
    int msgbuf_len= 0;
216
 
  
217
 
    assert(session != NULL);
218
 
 
219
 
    /* in theory, we should return "true", meaning that the plugin isn't happy,
220
 
       but that crashes the server, so for now, we just lie a little bit
221
 
    */
222
 
 
223
 
    if (not _gearman_client_ok)
224
 
        return false;
225
 
  
226
 
    /* 
227
 
      TODO, the session object should have a "utime command completed"
228
 
      inside itself, so be more accurate, and so this doesnt have to
229
 
      keep calling current_utime, which can be slow.
230
 
    */
231
 
    uint64_t t_mark= session->getCurrentTimestamp(false);
232
 
  
233
 
 
234
 
    // buffer to quotify the query
235
 
    unsigned char qs[255];
236
 
  
237
 
    // to avoid trying to printf %s something that is potentially NULL
238
 
    drizzled::util::string::const_shared_ptr dbs(session->schema());
239
 
  
240
 
    msgbuf_len=
241
 
      snprintf(msgbuf.get(), MAX_MSG_LEN,
242
 
               "%"PRIu64",%"PRIu64",%"PRIu64",\"%.*s\",\"%s\",\"%.*s\","
243
 
               "%"PRIu64",%"PRIu64",%"PRIu64",%"PRIu64",%"PRIu64","
244
 
               "%"PRIu32",%"PRIu32",%"PRIu32",\"%s\"",
245
 
               t_mark,
246
 
               session->thread_id,
247
 
               session->getQueryId(),
248
 
               // dont need to quote the db name, always CSV safe
249
 
               (int)dbs->size(), dbs->c_str(),
250
 
               // do need to quote the query
251
 
               quotify((const unsigned char *)session->getQueryString()->c_str(), session->getQueryString()->length(), qs, sizeof(qs)),
252
 
               // getCommandName is defined in drizzled/sql_parse.h dont
253
 
               // need to quote the command name, always CSV safe
254
 
               (int)drizzled::getCommandName(session->command).size(),
255
 
               drizzled::getCommandName(session->command).c_str(),
256
 
               // counters are at end, to make it easier to add more
257
 
               (t_mark - session->getConnectMicroseconds()),
258
 
               (session->getElapsedTime()),
259
 
               (t_mark - session->utime_after_lock),
260
 
               session->sent_row_count,
261
 
               session->examined_row_count,
262
 
               session->tmp_table,
263
 
               session->total_warn_count,
264
 
               session->getServerId(),
265
 
               drizzled::glob_hostname
266
 
               );
267
 
  
268
 
    char job_handle[GEARMAN_JOB_HANDLE_SIZE];
269
 
  
270
 
    (void) gearman_client_do_background(&_gearman_client,
271
 
                                        _function.c_str(),
272
 
                                        NULL,
273
 
                                        (void *) msgbuf.get(),
274
 
                                        (size_t) msgbuf_len,
275
 
                                        job_handle);
276
 
  
277
 
    return false;
278
 
  }
279
 
};
280
 
 
281
 
static LoggingGearman *handler= NULL;
282
 
 
283
 
static int logging_gearman_plugin_init(drizzled::module::Context &context)
284
 
{
285
 
  const drizzled::module::option_map &vm= context.getOptions();
286
 
 
287
 
  handler= new LoggingGearman(vm["host"].as<std::string>(),
288
 
                              vm["function"].as<std::string>());
289
 
  context.add(handler);
290
 
  context.registerVariable(new drizzled::sys_var_const_string_val("host", vm["host"].as<std::string>()));
291
 
  context.registerVariable(new drizzled::sys_var_const_string_val("function", vm["function"].as<std::string>()));
292
 
 
293
 
  return 0;
294
 
}
295
 
 
296
 
static void init_options(drizzled::module::option_context &context)
297
 
{
298
 
  context("host",
299
 
          po::value<std::string>()->default_value("localhost"),
300
 
          _("Hostname for logging to a Gearman server"));
301
 
  context("function",
302
 
          po::value<std::string>()->default_value("drizzlelog"),
303
 
          _("Gearman Function to send logging to"));
304
 
}
305
 
 
306
 
} /* namespace drizzle_plugin */
307
 
 
308
 
DRIZZLE_DECLARE_PLUGIN
309
 
{
310
 
  DRIZZLE_VERSION_ID,
311
 
    "logging-gearman",
312
 
    "0.1",
313
 
    "Mark Atwood <mark@fallenpegasus.com>",
314
 
    N_("Log queries to a Gearman server"),
315
 
    drizzled::PLUGIN_LICENSE_GPL,
316
 
    drizzle_plugin::logging_gearman_plugin_init,
317
 
    NULL,
318
 
    drizzle_plugin::init_options
319
 
}
320
 
DRIZZLE_DECLARE_PLUGIN_END;