Czy istnieje biblioteka buforująca Python?

Szukam biblioteki buforującej Python, ale na razie nic nie mogę znaleźć. Potrzebuję prostego dictinterfejsu, w którym mogę ustawić klucze i ich wygaśnięcie oraz odzyskać je w pamięci podręcznej. Coś takiego:

cache.get(myfunction, duration=300)

co da mi element z pamięci podręcznej, jeśli istnieje, lub wywoła funkcję i zapisze ją, jeśli nie ma lub wygasła. Czy ktoś coś takiego wie?

Spójrz na Beaker:

• Strona główna
• Dokumentacja buforowania
• Dobry artykuł na temat używania Beakera z Django (ale przydatny także w innych aplikacjach)

Od Pythona 3.2 możesz użyć dekoratora @lru_cache z biblioteki functools. Jest to ostatnio używana pamięć podręczna, więc nie ma czasu wygaśnięcia dla zawartych w niej przedmiotów, ale jako szybki hack jest bardzo przydatna.

from functools import lru_cache

@lru_cache(maxsize=256)
def f(x):
  return x*x

for x in range(20):
  print f(x)
for x in range(20):
  print f(x)

Możesz również rzucić okiem na dekorator Memoize . Prawdopodobnie mógłbyś sprawić, by robił to, co chcesz, bez zbytniej modyfikacji.

Joblib https://joblib.readthedocs.io obsługuje funkcje buforowania we wzorcu Memoize. Głównie chodzi o buforowanie kosztownych obliczeniowo funkcji.

>>> from joblib import Memory
>>> mem = Memory(cachedir='/tmp/joblib')
>>> import numpy as np
>>> square = mem.cache(np.square)
>>> 
>>> a = np.vander(np.arange(3)).astype(np.float)
>>> b = square(a)                                   
________________________________________________________________________________
[Memory] Calling square...
square(array([[ 0.,  0.,  1.],
       [ 1.,  1.,  1.],
       [ 4.,  2.,  1.]]))
___________________________________________________________square - 0...s, 0.0min

>>> c = square(a)

Możesz także robić wymyślne rzeczy, takie jak dekorator @ memory.cache dla funkcji. Dokumentacja jest tutaj: https://joblib.readthedocs.io/en/latest/generated/joblib.Memory.html

Nikt jeszcze nie wspomniał o półce. https://docs.python.org/2/library/shelve.html

Nie jest zapisywany w pamięci podręcznej, ale wygląda na znacznie prostszy i może pasować do Twoich potrzeb.

Myślę, że Python memcached API jest najpopularniejszym narzędziem, ale sam go nie używałem i nie jestem pewien, czy obsługuje funkcje, których potrzebujesz.

import time

class CachedItem(object):
    def __init__(self, key, value, duration=60):
        self.key = key
        self.value = value
        self.duration = duration
        self.timeStamp = time.time()

    def __repr__(self):
        return '<CachedItem {%s:%s} expires at: %s>' % (self.key, self.value, time.time() + self.duration)

class CachedDict(dict):

    def get(self, key, fn, duration):
        if key not in self \
            or self[key].timeStamp + self[key].duration < time.time():
                print 'adding new value'
                o = fn(key)
                self[key] = CachedItem(key, o, duration)
        else:
            print 'loading from cache'

        return self[key].value



if __name__ == '__main__':

    fn = lambda key: 'value of %s  is None' % key

    ci = CachedItem('a', 12)
    print ci 
    cd = CachedDict()
    print cd.get('a', fn, 5)
    time.sleep(2)
    print cd.get('a', fn, 6)
    print cd.get('b', fn, 6)
    time.sleep(2)
    print cd.get('a', fn, 7)
    print cd.get('b', fn, 7)

Możesz skorzystać z mojego prostego rozwiązania problemu. To naprawdę proste, nic nadzwyczajnego:

class MemCache(dict):
    def __init__(self, fn):
        dict.__init__(self)
        self.__fn = fn

    def __getitem__(self, item):
        if item not in self:
            dict.__setitem__(self, item, self.__fn(item))
        return dict.__getitem__(self, item)

mc = MemCache(lambda x: x*x)

for x in xrange(10):
    print mc[x]

for x in xrange(10):
    print mc[x]

W istocie brakuje mu funkcji wygasania, ale można ją łatwo rozszerzyć, określając konkretną regułę w c-torze MemCache.

Mam nadzieję, że kod jest wystarczająco oczywisty, ale jeśli nie, wystarczy wspomnieć, że pamięć podręczna jest przekazywana jako jeden z parametrów c-tor jako funkcja tłumaczenia. Służy z kolei do generowania buforowanych danych wyjściowych dotyczących danych wejściowych.

Mam nadzieję, że to pomoże

Wypróbuj redis, jest to jedno z najczystszych i najłatwiejszych rozwiązań dla aplikacji do udostępniania danych w sposób atomowy lub jeśli masz platformę serwera WWW. Jest bardzo łatwy w konfiguracji, potrzebujesz klienta Python redis http://pypi.python.org/pypi/redis

Spójrz na gocept.cache na pypi , zarządzaj limitem czasu.

Ten projekt ma na celu zapewnienie „buforowania dla ludzi” (wydaje się jednak, że jest to dość nieznane)

Kilka informacji ze strony projektu:

Instalacja

pamięć podręczna instalacji pip

Stosowanie:

import pylibmc
from cache import Cache

backend = pylibmc.Client(["127.0.0.1"])

cache = Cache(backend)

@cache("mykey")
def some_expensive_method():
    sleep(10)
    return 42

# writes 42 to the cache
some_expensive_method()

# reads 42 from the cache
some_expensive_method()

# re-calculates and writes 42 to the cache
some_expensive_method.refresh()

# get the cached value or throw an error
# (unless default= was passed to @cache(...))
some_expensive_method.cached()

Spójrz na bda.cache http://pypi.python.org/pypi/bda.cache - używa ZCA i jest testowany z zope i bfg.

Keyring to najlepsza biblioteka buforująca Pythona. Możesz użyć

keyring.set_password("service","jsonkey",json_res)

json_res= keyring.get_password("service","jsonkey")

json_res= keyring.core.delete_password("service","jsonkey")