← Back to branch summary

~unity-2d-team/unity-2d/Shell-MultiMonitor

« back to all changes in this revision

Viewing changes to grackle/model.py

  • Committer: William Grant
  • Date: 2012-01-23 00:16:32 UTC
  • Revision ID: william.grant@canonical.com-20120123001632-z6dig91md7qu91f6
Date filtering.

Show diffs side-by-side

added added

removed removed

Lines of Context:
grackle/model.py
19
19
import email.parser
20
20
from email.utils import parsedate_tz
21
21
import logging
 
22
import time
22
23
import uuid
23
24
 
24
25
import pycassa
27
28
    SystemManager,
28
29
    TIME_UUID_TYPE,
29
30
    )
 
31
from pycassa.util import convert_time_to_uuid
30
32
 
31
33
from grackle.cassandra import workaround_1779
32
34
 
78
80
    return date, message_dict
79
81
 
80
82
 
 
83
def _utc_datetime(dt):
 
84
    return dt.astimezone(dateutil.tz.tzutc())
 
85
 
 
86
 
 
87
def _utc_timestamp(dt):
 
88
    return time.mktime(_utc_datetime(dt).timetuple()) - time.timezone
 
89
 
 
90
 
 
91
def _utc_timeuuid(dt, lowest_val=True):
 
92
    return convert_time_to_uuid(_utc_timestamp(dt), lowest_val)
 
93
 
 
94
 
 
95
def _cmp_timeuuid(a, b):
 
96
    if a.time != b.time:
 
97
        return cmp(a.time, b.time)
 
98
    return cmp(a, b)
 
99
 
 
100
 
 
101
def _bound_timeuuid(a, b, max=False):
 
102
    if a == '' or _cmp_timeuuid(b, a) == (1 if max else -1):
 
103
        return b
 
104
    return a
 
105
 
 
106
 
81
107
class CassandraConnection(object):
82
108
 
83
109
    def __init__(self, keyspace, host):
102
128
        self.messages.insert(message_uuid, message_dict)
103
129
        self.archive_messages.insert(
104
130
            archive_uuid,
105
 
            {message_date.astimezone(dateutil.tz.tzutc()): message_uuid})
 
131
            {_utc_timestamp(message_date): message_uuid})
106
132
        logging.debug(
107
133
            'Imported %s into %s'
108
134
            % (message_dict.get('message-id', None), archive_uuid))
117
143
            }
118
144
 
119
145
    def _trim(self, sequence, end):
 
146
        """Return the sequence with one of the ends trimmed.
 
147
 
 
148
        :param end: if true, remove the last element. otherwise remove
 
149
            the first.
 
150
        """
120
151
        if end:
121
152
            return sequence[:-1]
122
153
        else:
123
154
            return sequence[1:]
124
155
 
125
 
    def get_messages(self, archive_uuid, order, count, memo, backward=False):
 
156
    def get_messages(self, archive_uuid, order, count, memo, backward=False,
 
157
                     start_date=None, finish_date=None):
126
158
        if order in ("date", "-date"):
127
159
            reversed = order[0] == '-'
128
160
        else:
129
161
            raise AssertionError("Unsupported order.")
130
162
        if memo != '':
131
163
            memo = uuid.UUID(memo)
132
 
        # Get up to n+1 messages from the memo: the last item of the
133
 
        # previous batch (because that's where the memo starts) + this
134
 
        # batch.
135
164
        if backward:
136
165
            start = ''
137
166
            finish = memo
138
167
        else:
139
168
            start = memo
140
169
            finish = ''
 
170
        if start_date is not None:
 
171
            start = _bound_timeuuid(
 
172
                start, _utc_timeuuid(start_date, lowest_val=False), max=True)
 
173
        if finish_date is not None:
 
174
            finish = _bound_timeuuid(
 
175
                finish, _utc_timeuuid(finish_date, lowest_val=False))
 
176
 
 
177
        # Get up to n+1 messages from the memo: the last item of the
 
178
        # previous batch (because that's where the memo starts) + this
 
179
        # batch.
141
180
        pairs = self.archive_messages.get(
142
181
            archive_uuid, column_count=count + 1, column_start=start,
143
182
            column_finish=finish, column_reversed=reversed).items()
144
 
        if memo and len(pairs) and pairs[0][0] <= memo:
 
183
 
 
184
        if len(pairs) and memo and pairs[0][0] <= memo:
 
185
            # The memo (from the previous batch) was included in the result.
 
186
            # Trim it.
145
187
            pairs = self._trim(pairs, False ^ backward)
146
188
        elif len(pairs) > count:
 
189
            # There was no memo in the result, so the n+1th element is
 
190
            # unnecessary. Kill it.
147
191
            pairs = self._trim(pairs, True ^ backward)
148
192
 
149
193
        if len(pairs) == 0:
151
195
 
152
196
        assert 0 < len(pairs) <= count
153
197
 
 
198
        # We've narrowed down the message references. Fetch the messages.
154
199
        ids = [v for k, v in pairs]
155
200
        messages = self.messages.multiget(
156
201
            ids, columns=['date', 'from', 'subject', 'message-id'])