گنجه

همون طور که احتمالاً می‌دونید dpkg توساخت⁰ مدیریت بسته‌ها¹ در Debian است. یعنی APT و Synaptic و Aptitude و … همه روی dpkg بنا شده اند.

dpkg برای نگه‌داری بعضی اطلاعات بسته‌های نصب‌شده، از تعداد زیادی (برای من حدود ۹۰۰۰ تا) پروندهٔ² کوچک توی مسیر ‎/var/lib/dpkg/info استفاده می‌کنه. هر بار که بسته‌ای رو نصب یا حذف می‌کنید dpkg همهٔ اون پرونده‌ها رو از روی لوح³ می‌خونه. این کار روی سامانهٔ پروندهٔ⁴ مورد استفادهٔ من، که Ext4 هست، اولین بار بیست-سی ثانیه‌ای طول می‌کشه، که برای من مدت زیادی هست. این کار در دفعات بعدی به علت قرار گرفتن همهٔ اون پرونده‌ها در نهان‌گاه⁵ سامانهٔ پرونده در حافظهٔ اصلی، بسیار سریع‌تر انجام می‌شه، تا وقتی که دوباره از نهان‌گاه خارج بشند.

این مشکل هر از گاهی یک سیخی بهم می‌زد و روی اعصابم راه می‌رفت. فکرهای مختلفی برای حلش به ذهنم رسید. از بسیار پیچیده، مثل طراحی و پیاده‌سازی مجدد dpkg روی Tokyo Cabinet یا SQLite، تا بسیار ساده:

شاید بدونید که سامانهٔ پروندهٔ ReiserFS در کار با پرونده‌های کوچک بسیار عالی عمل می‌کنه. علتش هم استفاده از فن «ته‌چِپانی»⁶ است.⁷ فکر کردم شاید اگر پوشهٔ ‎/var/lib/dpkg/info رو توی ReiserFS نگه دارم، مشکل حل بشه. این کار رو کردم، ولی به خاطر کارکرد⁸ داخلی dpkg روی کل ‎/var/lib/dpkg:

$ sudo su -
# cd /var/lib
# tar cpzf dpkg.tar.gz dpkg
# dd if=/dev/zero of=dpkg.reiserfs bs=$((256*1024*1024)) count=1
# mkreiserfs -f dpkg.reiserfs
# mount -oloop dpkg.reiserfs dpkg
# tar xpf dpkg.tar.gz

و بعد آزمودن و دائمی کردن با افزودن به fstab‏:

# echo 3 >/proc/sys/vm/drop_caches
# apt-get install hello
# apt-get purge hello
# echo /var/lib/dpkg.reiserfs /var/lib/dpkg reiserfs loop,noatime 0 1 >>/etc/fstab

فکره جواب داد و سرعت dpkg بسیار به‌تر شد. حالا حتی اولین بار هم dpkg اون کار رو در دو-سه ثانیه انجام می‌ده.

علاوه بر مهارت ReiserFS در کار با پرونده‌های کوچک، چند نکتهٔ دیگه هم قابل ذکر هست. یکی این که Ext4 به علت فن «حوزه»⁹ در کار با پرونده‌های نسبتاً بزرگی که یک‌جا تخصیص¹⁰ می‌یابند بسیار سریع هست. برای همین به dd گفتم که کل پرونده رو یک‌جا بسازه.

از طرفی چون، در نتیجهٔ نکتهٔ قبل، کل پرونده‌های مربوط به dpkg روی لوح نزدیک به هم قرار می‌گیرند و پراکنده نیستند، با خونده شدن یک پرونده از اون حوالی، تعداد زیادی از بقیه‌شون هم توی نهان‌گاه لوح و تعدادی هم توی نهان‌گاه سامانهٔ پرونده قرار می‌گیرند. همین امر باعث می‌شه کلی زمان جویش¹¹ که قبلاً برای رسیدن به پرنده‌های پراکنده در اطراف و اکناف لوح هدر می‌رفت، صرفه‌جویی بشه.

به گزینهٔ¹² noatime در fstab هم دقت کنید. رفتار معمولی سامانه‌های پرونده این هست که در هر دست‌رسی (اعم از خواندن یا نوشتن) به یک پرونده، زمان دست‌رسی رو ذخیره می‌کنند. این خیلی بده! هر دست‌رسی = حداقل یک عمل نوشتن روی لوح، و عمل نوشتن هم معمولاً کندتر از خوندن هست. نکته این جاست که برنامه‌های رایج امروزی معمولاً روی اون زمان ثبت‌شده برای آخرین دست‌رسی حساب نمی‌کنند و عملاً اون عدد بی‌استفاده است! گزینهٔ noatime به سامانهٔ پرونده می‌گه که کلاً قید ثبت اون زمان رو بزنه و به این ترتیب کلی عمل نوشتن صرفه‌جویی کنه.

0. Back-end [↩]
1. Package management [↩]
2. File [↩]
3. Disk [↩]
4. File system [↩]
5. Cache [↩]
6. Tail packing [↩]
7. http://en.wikipedia.org/wiki/ReiserFS#Performance [↩]
8. Mechanism [↩]
9. Extent [↩]
10. Allocation [↩]
11. Seek [↩]
12. Option [↩]

یکی از روش‌های نسبتاً متفاوت هم‌گردان⁰ها برای بهینه‌سازی¹، روش «بهینه‌سازی هدایت‌شده با سابقه»² است که گاهی اون رو کوتاهانه³ PGO هم می‌گویند.

مؤثر بودن این روش رو می‌شه به چشم دید. مثلاً اگر از مرورگر Firefox هم در لینوکس⁴ و هم در ویندوز⁵ استفاده کرده باشید، حتماً تفاوت فاحش کارآیی⁶ رو حس کرده‌اید. دلیل این تفاوت فاحش، استفاده از PGO در ساخت⁷ پروندهٔ⁸ اجرایی⁹ ویندوز و عدم استفاده ازش در ساخت اجرایی لینوکس بیان شده.

خوب، حالا که به اندازهٔ کافی انگیزوندمتون (!)، ببینیم این روش اصلاً چی هست و چه‌جوری می‌تونیم ازش استفاده کنیم.

اساس این روش، استفاده از اطلاعات کسب‌شده در زمان اجرا¹⁰ی برنامه، برای بهینه‌سازی در زمان هم‌گردانی¹¹ هست. پس هم‌گردانی با این روش، سه مرحله خواهد داشت:

۱. هم‌گردانی برای تولید اجرایی مخصوص جمع‌آوری اطلاعات مورد نیاز برای بهینه‌سازی
۲. اجرای برنامهٔ تولیدشده در مرحلهٔ ۱ و استفاده از موارد کاربرد¹² مورد نظر برای بهینه‌سازی
۳. هم‌گردانی با بهینه‌سازی به کمک اطلاعات جمع‌آوری‌شده در مرحلهٔ ۲

هم‌گردان‌ها برای مراحل ۱ و ۳ گزینه‌های مخصوصی دارند که این‌جا فقط GCC رو می‌بینیم.

درGCC برای مرحلهٔ ۱ از گزینهٔ ‎-fprofile-generate و برای مرحلهٔ ۳ از گزینهٔ ‎-fprofile-use استفاده می‌کنیم. دقت کنید که گزینهٔ ‎-fprofile-generate رو هم باید برای هم‌گردانی¹³ بدید، و هم برای پیوند¹⁴.

من که معمولاً از CMake به عنوان سامانهٔ ساخت¹⁵ استفاده می‌کنم، برای به کارگیری این روش، این چند خط رو به CMakeLists.txt اضافه می‌کنم:

# profile::generate
#set(CMAKE_C_FLAGS "${CMAKE_C_FLAGS} --profile-generate")
#set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} --profile-generate")
#set(CMAKE_EXE_LINKER_FLAGS "${CMAKE_EXE_LINKER_FLAGS} --profile-generate")
# profile::use
#set(CMAKE_C_FLAGS "${CMAKE_C_FLAGS} --profile-use")
#set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} --profile-use")
#set(CMAKE_EXE_LINKER_FLAGS "${CMAKE_EXE_LINKER_FLAGS} --profile-use")

برای مرحلهٔ ۱، سه تا set اول و برای مرحلهٔ ۳، سه تا set دوم رو فعال می‌کنم. راستی دقت کردید که به جای ‎-fprofile-folan می‌شه از ‎-profile-folan- استفاده کرد؟!

0. Compiler [↩]
1. Optimization [↩]
2. Profile-Guided Optimization [↩]
3. به یاد استاد روحانی رانکوهی! [↩]
4. Linux [↩]
5. Windows [↩]
6. Performance [↩]
7. Build [↩]
8. File [↩]
9. Executable [↩]
10. Run-time [↩]
11. Compile-time [↩]
12. Use case [↩]
13. Compiling [↩]
14. Linking [↩]
15. Build System [↩]