March 29, 2009

Tokyo Cabinet 2 gb file size issue

We try to use Tokyo Tyrant in out project, after few experiments we launched it in our production server.
But few days of working TT goes offline. We hit 2gb file size limit.
We tried large option on db config - still same problem.
http://goran.krampe.se/blog/Squeak/TokyoTyrant.rdoc - hit the same problem.

We use ubuntu 32-bit on our servers. So after reading some docs I found out that TC should be compiled with --enable-off64 options (build with 64-bit file offset on 32-bit system.)

so

./configure --enable-off64
make && sudo make install

fixed our problem.

4 comments:

Ivan Evtukhovich said...

Hello, Yury. Does we meet some troubles using TokyoCabinet. On our projects we meet some error, when BDB storage of TC become corrupted. And now I think, is it possible to use TC in production.

Sorry for my english.

Yury Korolev said...

Тут можно и по русски :) Мы юзаем TokyoTyrant и все пучком, база сейчас весит 48G и все шустро отвечает.

Zozo said...

Юрий, а откуда вы обращаетесь к Tyrant'у? Через какой интерфейс? В каком формате база лежит? Если не секрет, не могли бы в двух словах описать, какие задачи вы с их помощью решаете?

Yury Korolev said...

мы используем rufus-tokyo gem для доступа к тирану. База у нас tch. Тиран используем как срез последних данных. Система следит за ценами на различные продукты и складывает новые цены в большую mysql базу (> 1TB) и в тиран.