← Back to branch summary

~drizzle-trunk/drizzle/development

« back to all changes in this revision

Viewing changes to plugin/logging_gearman/logging_gearman.cc

Merge in Stewart's FK work

Show diffs side-by-side

added added

removed removed

Lines of Context:
plugin/logging_gearman/logging_gearman.cc
1
1
/* -*- mode: c++; c-basic-offset: 2; indent-tabs-mode: nil; -*-
2
2
 *  vim:expandtab:shiftwidth=2:tabstop=2:smarttab:
3
3
 *
4
 
 *  Copyright (C) 2008, 2009 Sun Microsystems, Inc.
 
4
 *  Copyright (C) 2008,2009 Sun Microsystems
5
5
 *
6
6
 *  This program is free software; you can redistribute it and/or modify
7
7
 *  it under the terms of the GNU General Public License as published by
17
17
 *  Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301  USA
18
18
 */
19
19
 
20
 
#include <config.h>
21
 
 
22
 
#include <boost/scoped_array.hpp>
23
 
 
 
20
#include "config.h"
24
21
#include <drizzled/plugin/logging.h>
25
22
#include <drizzled/gettext.h>
26
23
#include <drizzled/session.h>
27
 
#include <drizzled/errmsg_print.h>
28
 
#include <boost/date_time.hpp>
29
24
#include <boost/program_options.hpp>
30
25
#include <drizzled/module/option_map.h>
31
26
#include <libgearman/gearman.h>
32
27
#include <limits.h>
 
28
#include <sys/time.h>
33
29
#include <sys/types.h>
34
30
#include <sys/stat.h>
35
31
#include <fcntl.h>
36
32
#include <cstdio>
37
 
#include <cerrno>
38
 
#include <memory>
39
 
 
40
 
 
41
 
namespace drizzle_plugin
42
 
{
43
 
 
 
33
 
 
34
using namespace drizzled;
44
35
namespace po= boost::program_options;
45
36
 
46
37
/* TODO make this dynamic as needed */
47
38
static const int MAX_MSG_LEN= 32*1024;
48
39
 
 
40
static bool sysvar_logging_gearman_enable;
 
41
static char* sysvar_logging_gearman_host= NULL;
 
42
static char* sysvar_logging_gearman_function= NULL;
 
43
 
 
44
 
 
45
/* stolen from mysys/my_getsystime
 
46
   until the Session has a good utime "now" we can use
 
47
   will have to use this instead */
 
48
 
 
49
static uint64_t get_microtime()
 
50
{
 
51
#if defined(HAVE_GETHRTIME)
 
52
  return gethrtime()/1000;
 
53
#else
 
54
  uint64_t newtime;
 
55
  struct timeval t;
 
56
  /*
 
57
    The following loop is here because gettimeofday may fail on some systems
 
58
  */
 
59
  while (gettimeofday(&t, NULL) != 0) {}
 
60
  newtime= (uint64_t)t.tv_sec * 1000000 + t.tv_usec;
 
61
  return newtime;
 
62
#endif  /* defined(HAVE_GETHRTIME) */
 
63
}
 
64
 
49
65
/* quote a string to be safe to include in a CSV line
50
66
   that means backslash quoting all commas, doublequotes, backslashes,
51
67
   and all the ASCII unprintable characters
154
170
  return dst;
155
171
}
156
172
 
157
 
class LoggingGearman :
158
 
  public drizzled::plugin::Logging
 
173
class LoggingGearman : public plugin::Logging
159
174
{
160
175
 
161
 
  const std::string _host;
162
 
  const std::string _function;
163
 
 
164
 
  int _gearman_client_ok;
165
 
  gearman_client_st _gearman_client;
166
 
 
167
 
  LoggingGearman();
168
 
  LoggingGearman(const LoggingGearman&);
 
176
  int gearman_client_ok;
 
177
  gearman_client_st gearman_client;
169
178
 
170
179
public:
171
180
 
172
 
  LoggingGearman(const std::string &host,
173
 
                 const std::string &function) :
174
 
    drizzled::plugin::Logging("LoggingGearman"),
175
 
    _host(host),
176
 
    _function(function),
177
 
    _gearman_client_ok(0),
178
 
    _gearman_client()
 
181
  LoggingGearman()
 
182
    : plugin::Logging("LoggingGearman"),
 
183
      gearman_client_ok(0)
179
184
  {
180
185
    gearman_return_t ret;
181
186
 
182
 
 
183
 
    if (gearman_client_create(&_gearman_client) == NULL)
 
187
    if (sysvar_logging_gearman_enable == false)
 
188
      return;
 
189
 
 
190
    if (sysvar_logging_gearman_host == NULL)
 
191
      return;
 
192
 
 
193
 
 
194
    if (gearman_client_create(&gearman_client) == NULL)
184
195
    {
185
 
      drizzled::sql_perror(_("fail gearman_client_create()"));
 
196
      errmsg_printf(ERRMSG_LVL_ERROR, _("fail gearman_client_create(): %s"),
 
197
                    strerror(errno));
186
198
      return;
187
199
    }
188
200
 
189
201
    /* TODO, be able to override the port */
190
202
    /* TODO, be able send to multiple servers */
191
 
    ret= gearman_client_add_server(&_gearman_client,
192
 
                                   host.c_str(), 0);
 
203
    ret= gearman_client_add_server(&gearman_client,
 
204
                                   sysvar_logging_gearman_host, 0);
193
205
    if (ret != GEARMAN_SUCCESS)
194
206
    {
195
 
      drizzled::errmsg_printf(drizzled::error::ERROR, _("fail gearman_client_add_server(): %s"),
196
 
                              gearman_client_error(&_gearman_client));
 
207
      errmsg_printf(ERRMSG_LVL_ERROR, _("fail gearman_client_add_server(): %s"),
 
208
                    gearman_client_error(&gearman_client));
197
209
      return;
198
210
    }
199
211
 
200
 
    _gearman_client_ok= 1;
 
212
    gearman_client_ok= 1;
201
213
 
202
214
  }
203
215
 
204
216
  ~LoggingGearman()
205
217
  {
206
 
    if (_gearman_client_ok)
 
218
    if (gearman_client_ok)
207
219
    {
208
 
      gearman_client_free(&_gearman_client);
 
220
      gearman_client_free(&gearman_client);
209
221
    }
210
222
  }
211
223
 
212
 
  virtual bool post(drizzled::Session *session)
 
224
  virtual bool post(Session *session)
213
225
  {
214
 
    boost::scoped_array<char> msgbuf(new char[MAX_MSG_LEN]);
 
226
    char msgbuf[MAX_MSG_LEN];
215
227
    int msgbuf_len= 0;
216
228
  
217
229
    assert(session != NULL);
220
232
       but that crashes the server, so for now, we just lie a little bit
221
233
    */
222
234
 
223
 
    if (not _gearman_client_ok)
 
235
    if (!gearman_client_ok)
224
236
        return false;
225
237
  
226
 
    /* 
227
 
      TODO, the session object should have a "utime command completed"
228
 
      inside itself, so be more accurate, and so this doesnt have to
229
 
      keep calling current_utime, which can be slow.
230
 
    */
231
 
    uint64_t t_mark= session->getCurrentTimestamp(false);
232
 
  
233
 
 
 
238
    /* TODO, the session object should have a "utime command completed"
 
239
       inside itself, so be more accurate, and so this doesnt have to
 
240
       keep calling current_utime, which can be slow */
 
241
  
 
242
    uint64_t t_mark= get_microtime();
 
243
  
234
244
    // buffer to quotify the query
235
245
    unsigned char qs[255];
236
246
  
237
247
    // to avoid trying to printf %s something that is potentially NULL
238
 
    drizzled::util::string::const_shared_ptr dbs(session->schema());
 
248
    const char *dbs= session->db.empty() ? "" : session->db.c_str();
239
249
  
240
250
    msgbuf_len=
241
 
      snprintf(msgbuf.get(), MAX_MSG_LEN,
 
251
      snprintf(msgbuf, MAX_MSG_LEN,
242
252
               "%"PRIu64",%"PRIu64",%"PRIu64",\"%.*s\",\"%s\",\"%.*s\","
243
253
               "%"PRIu64",%"PRIu64",%"PRIu64",%"PRIu64",%"PRIu64","
244
254
               "%"PRIu32",%"PRIu32",%"PRIu32",\"%s\"",
246
256
               session->thread_id,
247
257
               session->getQueryId(),
248
258
               // dont need to quote the db name, always CSV safe
249
 
               (int)dbs->size(), dbs->c_str(),
 
259
               (int)session->db.length(), dbs,
250
260
               // do need to quote the query
251
 
               quotify((const unsigned char *)session->getQueryString()->c_str(), session->getQueryString()->length(), qs, sizeof(qs)),
252
 
               // getCommandName is defined in drizzled/sql_parse.h dont
253
 
               // need to quote the command name, always CSV safe
254
 
               (int)drizzled::getCommandName(session->command).size(),
255
 
               drizzled::getCommandName(session->command).c_str(),
 
261
               quotify((const unsigned char *)session->getQueryString().c_str(),
 
262
                       session->getQueryLength(), qs, sizeof(qs)),
 
263
               // command_name is defined in drizzled/sql_parse.cc
 
264
               // dont need to quote the command name, always CSV safe
 
265
               (int)command_name[session->command].length,
 
266
               command_name[session->command].str,
256
267
               // counters are at end, to make it easier to add more
257
268
               (t_mark - session->getConnectMicroseconds()),
258
 
               (session->getElapsedTime()),
 
269
               (t_mark - session->start_utime),
259
270
               (t_mark - session->utime_after_lock),
260
271
               session->sent_row_count,
261
272
               session->examined_row_count,
262
273
               session->tmp_table,
263
274
               session->total_warn_count,
264
275
               session->getServerId(),
265
 
               drizzled::getServerHostname().c_str()
 
276
               glob_hostname
266
277
               );
267
278
  
268
279
    char job_handle[GEARMAN_JOB_HANDLE_SIZE];
269
280
  
270
 
    (void) gearman_client_do_background(&_gearman_client,
271
 
                                        _function.c_str(),
 
281
    (void) gearman_client_do_background(&gearman_client,
 
282
                                        sysvar_logging_gearman_function,
272
283
                                        NULL,
273
 
                                        (void *) msgbuf.get(),
 
284
                                        (void *) msgbuf,
274
285
                                        (size_t) msgbuf_len,
275
286
                                        job_handle);
276
287
  
280
291
 
281
292
static LoggingGearman *handler= NULL;
282
293
 
283
 
static int logging_gearman_plugin_init(drizzled::module::Context &context)
 
294
static int logging_gearman_plugin_init(module::Context &context)
284
295
{
285
 
  const drizzled::module::option_map &vm= context.getOptions();
286
 
 
287
 
  handler= new LoggingGearman(vm["host"].as<std::string>(),
288
 
                              vm["function"].as<std::string>());
 
296
  handler= new LoggingGearman();
289
297
  context.add(handler);
290
 
  context.registerVariable(new drizzled::sys_var_const_string_val("host", vm["host"].as<std::string>()));
291
 
  context.registerVariable(new drizzled::sys_var_const_string_val("function", vm["function"].as<std::string>()));
292
298
 
293
299
  return 0;
294
300
}
295
301
 
296
302
static void init_options(drizzled::module::option_context &context)
297
303
{
298
 
  context("host",
299
 
          po::value<std::string>()->default_value("localhost"),
300
 
          _("Hostname for logging to a Gearman server"));
301
 
  context("function",
302
 
          po::value<std::string>()->default_value("drizzlelog"),
303
 
          _("Gearman Function to send logging to"));
 
304
  context("enable",
 
305
          po::value<bool>(&sysvar_logging_gearman_enable)->default_value(false)->zero_tokens(),
 
306
          N_("Enable logging to a gearman server"));
304
307
}
305
308
 
306
 
} /* namespace drizzle_plugin */
 
309
static DRIZZLE_SYSVAR_BOOL(
 
310
                           enable,
 
311
                           sysvar_logging_gearman_enable,
 
312
                           PLUGIN_VAR_NOCMDARG,
 
313
                           N_("Enable logging to a gearman server"),
 
314
                           NULL, /* check func */
 
315
                           NULL, /* update func */
 
316
                           false /* default */);
 
317
 
 
318
static DRIZZLE_SYSVAR_STR(
 
319
                          host,
 
320
                          sysvar_logging_gearman_host,
 
321
                          PLUGIN_VAR_READONLY,
 
322
                          N_("Hostname for logging to a Gearman server"),
 
323
                          NULL, /* check func */
 
324
                          NULL, /* update func*/
 
325
                          "localhost" /* default */);
 
326
 
 
327
static DRIZZLE_SYSVAR_STR(
 
328
                          function,
 
329
                          sysvar_logging_gearman_function,
 
330
                          PLUGIN_VAR_READONLY,
 
331
                          N_("Gearman Function to send logging to"),
 
332
                          NULL, /* check func */
 
333
                          NULL, /* update func*/
 
334
                          "drizzlelog" /* default */);
 
335
 
 
336
static drizzle_sys_var* logging_gearman_system_variables[]= {
 
337
  DRIZZLE_SYSVAR(enable),
 
338
  DRIZZLE_SYSVAR(host),
 
339
  DRIZZLE_SYSVAR(function),
 
340
  NULL
 
341
};
307
342
 
308
343
DRIZZLE_DECLARE_PLUGIN
309
344
{
312
347
    "0.1",
313
348
    "Mark Atwood <mark@fallenpegasus.com>",
314
349
    N_("Log queries to a Gearman server"),
315
 
    drizzled::PLUGIN_LICENSE_GPL,
316
 
    drizzle_plugin::logging_gearman_plugin_init,
317
 
    NULL,
318
 
    drizzle_plugin::init_options
 
350
    PLUGIN_LICENSE_GPL,
 
351
    logging_gearman_plugin_init,
 
352
    logging_gearman_system_variables,
 
353
    init_options
319
354
}
320
355
DRIZZLE_DECLARE_PLUGIN_END;