گنجه

همون طور که احتمالاً می‌دونید dpkg توساخت⁰ مدیریت بسته‌ها¹ در Debian است. یعنی APT و Synaptic و Aptitude و … همه روی dpkg بنا شده اند.

dpkg برای نگه‌داری بعضی اطلاعات بسته‌های نصب‌شده، از تعداد زیادی (برای من حدود ۹۰۰۰ تا) پروندهٔ² کوچک توی مسیر ‎/var/lib/dpkg/info استفاده می‌کنه. هر بار که بسته‌ای رو نصب یا حذف می‌کنید dpkg همهٔ اون پرونده‌ها رو از روی لوح³ می‌خونه. این کار روی سامانهٔ پروندهٔ⁴ مورد استفادهٔ من، که Ext4 هست، اولین بار بیست-سی ثانیه‌ای طول می‌کشه، که برای من مدت زیادی هست. این کار در دفعات بعدی به علت قرار گرفتن همهٔ اون پرونده‌ها در نهان‌گاه⁵ سامانهٔ پرونده در حافظهٔ اصلی، بسیار سریع‌تر انجام می‌شه، تا وقتی که دوباره از نهان‌گاه خارج بشند.

این مشکل هر از گاهی یک سیخی بهم می‌زد و روی اعصابم راه می‌رفت. فکرهای مختلفی برای حلش به ذهنم رسید. از بسیار پیچیده، مثل طراحی و پیاده‌سازی مجدد dpkg روی Tokyo Cabinet یا SQLite، تا بسیار ساده:

شاید بدونید که سامانهٔ پروندهٔ ReiserFS در کار با پرونده‌های کوچک بسیار عالی عمل می‌کنه. علتش هم استفاده از فن «ته‌چِپانی»⁶ است.⁷ فکر کردم شاید اگر پوشهٔ ‎/var/lib/dpkg/info رو توی ReiserFS نگه دارم، مشکل حل بشه. این کار رو کردم، ولی به خاطر کارکرد⁸ داخلی dpkg روی کل ‎/var/lib/dpkg:

$ sudo su -
# cd /var/lib
# tar cpzf dpkg.tar.gz dpkg
# dd if=/dev/zero of=dpkg.reiserfs bs=$((256*1024*1024)) count=1
# mkreiserfs -f dpkg.reiserfs
# mount -oloop dpkg.reiserfs dpkg
# tar xpf dpkg.tar.gz

و بعد آزمودن و دائمی کردن با افزودن به fstab‏:

# echo 3 >/proc/sys/vm/drop_caches
# apt-get install hello
# apt-get purge hello
# echo /var/lib/dpkg.reiserfs /var/lib/dpkg reiserfs loop,noatime 0 1 >>/etc/fstab

فکره جواب داد و سرعت dpkg بسیار به‌تر شد. حالا حتی اولین بار هم dpkg اون کار رو در دو-سه ثانیه انجام می‌ده.

علاوه بر مهارت ReiserFS در کار با پرونده‌های کوچک، چند نکتهٔ دیگه هم قابل ذکر هست. یکی این که Ext4 به علت فن «حوزه»⁹ در کار با پرونده‌های نسبتاً بزرگی که یک‌جا تخصیص¹⁰ می‌یابند بسیار سریع هست. برای همین به dd گفتم که کل پرونده رو یک‌جا بسازه.

از طرفی چون، در نتیجهٔ نکتهٔ قبل، کل پرونده‌های مربوط به dpkg روی لوح نزدیک به هم قرار می‌گیرند و پراکنده نیستند، با خونده شدن یک پرونده از اون حوالی، تعداد زیادی از بقیه‌شون هم توی نهان‌گاه لوح و تعدادی هم توی نهان‌گاه سامانهٔ پرونده قرار می‌گیرند. همین امر باعث می‌شه کلی زمان جویش¹¹ که قبلاً برای رسیدن به پرنده‌های پراکنده در اطراف و اکناف لوح هدر می‌رفت، صرفه‌جویی بشه.

به گزینهٔ¹² noatime در fstab هم دقت کنید. رفتار معمولی سامانه‌های پرونده این هست که در هر دست‌رسی (اعم از خواندن یا نوشتن) به یک پرونده، زمان دست‌رسی رو ذخیره می‌کنند. این خیلی بده! هر دست‌رسی = حداقل یک عمل نوشتن روی لوح، و عمل نوشتن هم معمولاً کندتر از خوندن هست. نکته این جاست که برنامه‌های رایج امروزی معمولاً روی اون زمان ثبت‌شده برای آخرین دست‌رسی حساب نمی‌کنند و عملاً اون عدد بی‌استفاده است! گزینهٔ noatime به سامانهٔ پرونده می‌گه که کلاً قید ثبت اون زمان رو بزنه و به این ترتیب کلی عمل نوشتن صرفه‌جویی کنه.

0. Back-end [↩]
1. Package management [↩]
2. File [↩]
3. Disk [↩]
4. File system [↩]
5. Cache [↩]
6. Tail packing [↩]
7. http://en.wikipedia.org/wiki/ReiserFS#Performance [↩]
8. Mechanism [↩]
9. Extent [↩]
10. Allocation [↩]
11. Seek [↩]
12. Option [↩]

اگر برنامه‌نویس C++‎ باشی، حتماً تا حالا مورد آزار و اذیت پیغام‌های خطای سرسام‌آور هم‌گردان⁰ در مورد STL قرار گرفته‌ای. مثلاً این:

testmm2.cpp:31: error: no matching function for call to ‘std::multimap<int*, int, std::less<int*>, std::allocator<std::pair<int* const, int> > >::insert(int)’
/usr/include/c++/4.3/bits/stl_multimap.h:407: note: candidates are: typename std::_Rb_tree<_Key, std::pair<const _Key, _Tp>, std::_Select1st<std::pair<const_Key, _Tp> >, _Compare, typename _Alloc::rebind<std::pair<const _Key, _Tp> >::other>::iterator std::multimap<_Key, _Tp, _Compare, _Alloc>::insert(const std::pair<const _Key, _Tp>&) [with _Key = int*, _Tp = int, _Compare = std::less<int*>, _Alloc = std::allocator<std::pair<int* const, int> >]
/usr/include/c++/4.3/bits/stl_multimap.h:431: note:                 typename std::_Rb_tree<_Key, std::pair<const _Key, _Tp>, std::_Select1st<std::pair<const _Key, _Tp> >, _Compare, typename _Alloc::rebind<std::pair<const _Key, _Tp> >::other>::iterator std::multimap<_Key, _Tp, _Compare, _Alloc>::insert(typename std::_Rb_tree<_Key, std::pair<const _Key, _Tp>, std::_Select1st<std::pair<const _Key, _Tp> >, _Compare, typename _Alloc::rebind<std::pair<const _Key, _Tp> >::other>::iterator, const std::pair<const _Key, _Tp>&) [with _Key = int*, _Tp = int, _Compare = std::less<int*>, _Alloc = std::allocator<std::pair<int* const, int> >]

‎
حالا این یکی بود. وقتی ده-پونزده تا از این‌ها یک‌جا رخ می‌ده، خیلی افتضاح می‌شه.

مدت‌ها با این مشکل کنار اومده بودم و دردش رو تحمل می‌کردم. اما اخیراً یک راه نجات یافتم: ابزاری به نام STLFilt. یک نرم‌افزار آزاد هست که خروجی هم‌گردان C++‎ رو می‌گیره و اون پیغام‌های وحشت‌ناک رو مهربون می‌کنه. مثلاً پیغام بالا رو تبدیل می‌کنه به این:

testmm2.cpp:31: error: No match for ‘multimap<int *, int>::insert(int)’
stl_multimap.h:407: candidates are: map<int *, int>::iter multimap<int *, int>
    ::insert(const pair<const int *, int> &)
stl_multimap.h:431: map<
        int *, int
    >::iter multimap<
        int *, int
    >::insert(map<int *, int>::iter, const pair<const int *, int> &)

آخش! حالا می‌شه خوندش!

برای استفاده از STLFilt اول باید بستهٔ مربوط به هم‌گردانت رو بگیری. مثلاً gstlfilt.zip برای G++‎. توش کلی پرونده هست که همه رو بی‌خیال می‌شی به جز gSTLFilt.pl که اصل کار رو انجام می‌ده. از stdin می‌خونه و توی stdout می‌نویسه. کاری که من کردم این بود¹:

sudo su
F=/usr/local/bin/stlfilt.pl
echo '#!/usr/bin/perl' >$F
cat gSTLFilt.pl >>$F
chmod +x $F

و برای استفاده:

make 2>&1 | stlfilt.pl

برای این که هر بار نخوام stderr دستور ساخت² (مثلاً make) رو به stdoutش redirect³ کنم، دست‌نوشتهٔ⁴ /usr/local/bin/stlfilt رو با این محتوا ساختم:

#!/bin/sh
"$@" 2>&1 | stlfilt.pl

و chmod +x هم یادم نره.
حالا این‌جوری استفاده می‌شه:

stlfilt make

با دست‌نوشته‌ها زندگی زیباتره!

ویرایش: امید آن می‌رود که با معرفی «مفهوم»⁵ها در C++0x (به زودی!) کل مشکل از بیخ حل بشه و دیگه نیازی به ابزار اضافی نباشه.

0. Compiler [↩]
1. مثل همیشه نقل به مضمون و آزمایش‌نشده [↩]
2. Build [↩]
3. معادل خوبی براش داری بگو [↩]
4. Script [↩]
5. Concept [↩]

مدیر⁰ یک خادم¹ رایانامه² هستم به نام «شهاب». بعد از مدت‌ها که داشت به خوبی و خوشی کارش رو می‌کرد، یک روز دیدم حدود بیست هزار تا رایانامه توی صفش گیر کرده. معمولاً این عدد برای شهاب حدود یکی دو هزار تاست. از اون طرف یکی‌یکی رایانامه‌ها و پیامک³های دوستان می‌رسید که «شهاب میل نمی‌فرسته» و «دوباره دانلود گذاشتی رو شهاب؟! کار نمی‌کنه!». همون طور که حتماً فهمیده‌اید وضعیت شهاب وخیم بود.

چون علائم شهاب شبیه تجربه‌ای نه‌چندان‌قدیمی بود، قبل از هر چیز، فضای خالی بخش⁴های لوح⁵ رو بررسی کردم. دیدم که بعله، بخش /var پر شده. با استفاده از

du -s * | sort -nr | less

دیدم که کار، کار نگاره⁶هاست⁷. از اون‌جا که بخش /var دیگه جا نداشت، باید شاخهٔ⁸ /var/log رو به بخش دیگری منتقل می‌کردم. پس بعد از متوقف کردن [تقریباً] همهٔ خدمت⁹ها، از جمله apache2 و postfix و klogd و غیره، زدم:

mv /var/log /home
ln -s /home/log /var

خدمت‌ها رو آغاز¹⁰ کردم و همه چیز خوب به نظر می‌رسید.

خارج شدم، اما ته دلم هنوز نگران بودم. چون نمی‌دونستم چرا این همه نگاره تولید شده. با این حال راه راحت‌تر رو انتخاب کردم(!): به خودم گفتم «حالا بذار تا فردا کار کنه ببینیم چی می‌شه».

… ادامه دارد …

0. Administrator [↩]
1. Server [↩]
2. E-mail [↩]
3. SMS [↩]
4. Partition [↩]
5. Disk [↩]
6. Log [↩]
7. این دستورهایی که نقل می‌کنم، نقل به مضمون هستند! [↩]
8. Directory [↩]
9. Service [↩]
10. Start [↩]