← Back to branch summary

~loggerhead-team/loggerhead/trunk-rich

« back to all changes in this revision

Viewing changes to loggerhead/changecache.py

  • Committer: Michael Hudson
  • Date: 2009-03-01 17:47:52 UTC
  • mfrom: (283.1.1 bug-329668)
  • Revision ID: michael.hudson@canonical.com-20090301174752-vpp55v8c3fwyjwmc
fix bug #329668 ("Inventory page uses "//" in links")

Show diffs side-by-side

added added

removed removed

Lines of Context:
loggerhead/changecache.py
 
1
#
 
2
# Copyright (C) 2006  Robey Pointer <robey@lag.net>
 
3
#
 
4
# This program is free software; you can redistribute it and/or modify
 
5
# it under the terms of the GNU General Public License as published by
 
6
# the Free Software Foundation; either version 2 of the License, or
 
7
# (at your option) any later version.
 
8
#
 
9
# This program is distributed in the hope that it will be useful,
 
10
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
11
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
12
# GNU General Public License for more details.
 
13
#
 
14
# You should have received a copy of the GNU General Public License
 
15
# along with this program; if not, write to the Free Software
 
16
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
17
#
 
18
 
 
19
"""
 
20
a cache for chewed-up "change" data structures, which are basically just a
 
21
different way of storing a revision.  the cache improves lookup times 10x
 
22
over bazaar's xml revision structure, though, so currently still worth doing.
 
23
 
 
24
once a revision is committed in bazaar, it never changes, so once we have
 
25
cached a change, it's good forever.
 
26
"""
 
27
 
 
28
import cPickle
 
29
import os
 
30
 
 
31
from loggerhead import util
 
32
from loggerhead.lockfile import LockFile
 
33
 
 
34
with_lock = util.with_lock('_lock', 'ChangeCache')
 
35
 
 
36
try:
 
37
    from sqlite3 import dbapi2
 
38
except ImportError:
 
39
    from pysqlite2 import dbapi2
 
40
 
 
41
 
 
42
class FakeShelf(object):
 
43
 
 
44
    def __init__(self, filename):
 
45
        create_table = not os.path.exists(filename)
 
46
        self.connection = dbapi2.connect(filename)
 
47
        self.cursor = self.connection.cursor()
 
48
        if create_table:
 
49
            self._create_table()
 
50
 
 
51
    def _create_table(self):
 
52
        self.cursor.execute(
 
53
            "create table RevisionData "
 
54
            "(revid binary primary key, data binary)")
 
55
        self.connection.commit()
 
56
 
 
57
    def _serialize(self, obj):
 
58
        r = dbapi2.Binary(cPickle.dumps(obj, protocol=2))
 
59
        return r
 
60
 
 
61
    def _unserialize(self, data):
 
62
        return cPickle.loads(str(data))
 
63
 
 
64
    def get(self, revid):
 
65
        self.cursor.execute(
 
66
            "select data from revisiondata where revid = ?", (revid, ))
 
67
        filechange = self.cursor.fetchone()
 
68
        if filechange is None:
 
69
            return None
 
70
        else:
 
71
            return self._unserialize(filechange[0])
 
72
 
 
73
    def add(self, revid_obj_pairs):
 
74
        for (r, d) in revid_obj_pairs:
 
75
            self.cursor.execute(
 
76
                "insert into revisiondata (revid, data) values (?, ?)",
 
77
                (r, self._serialize(d)))
 
78
        self.connection.commit()
 
79
 
 
80
 
 
81
class FileChangeCache(object):
 
82
 
 
83
    def __init__(self, history, cache_path):
 
84
        self.history = history
 
85
 
 
86
        if not os.path.exists(cache_path):
 
87
            os.mkdir(cache_path)
 
88
 
 
89
        self._changes_filename = os.path.join(cache_path, 'filechanges.sql')
 
90
 
 
91
        # use a lockfile since the cache folder could be shared across
 
92
        # different processes.
 
93
        self._lock = LockFile(os.path.join(cache_path, 'filechange-lock'))
 
94
 
 
95
    @with_lock
 
96
    def get_file_changes(self, entries):
 
97
        out = []
 
98
        missing_entries = []
 
99
        missing_entry_indices = []
 
100
        cache = FakeShelf(self._changes_filename)
 
101
        for entry in entries:
 
102
            changes = cache.get(entry.revid)
 
103
            if changes is not None:
 
104
                out.append(changes)
 
105
            else:
 
106
                missing_entries.append(entry)
 
107
                missing_entry_indices.append(len(out))
 
108
                out.append(None)
 
109
        if missing_entries:
 
110
            missing_changes = self.history.get_file_changes_uncached(
 
111
                                  missing_entries)
 
112
            revid_changes_pairs = []
 
113
            for i, entry, changes in zip(
 
114
                missing_entry_indices, missing_entries, missing_changes):
 
115
                revid_changes_pairs.append((entry.revid, changes))
 
116
                out[i] = changes
 
117
            cache.add(revid_changes_pairs)
 
118
        return out