آشنایی با معماری حافظه در سرورها

معماری حافظه در سرورها یک اکوسیستم پیچیده و مهندسی‌شده است که با هدف اصلی تامین پایداری (Reliability)، مقیاس‌پذیری (Scalability) و عملکرد بالا (High Performance) برای کارکردهای ۲۴/۷ طراحی می‌شود و تفاوت‌های بنیادینی با حافظه‌های دسکتاپ دارد. سنگ بنای این معماری، پشتیبانی از فناوری ECC است که قادرند خطاهای تک‌بیتی را در لحظه شناسایی و تصحیح کنند؛ این ویژگی برای جلوگیری از خرابی داده‌ها و کرش سیستم در بارهای کاری حیاتی، غیرقابل چشم‌پوشی است. در سطح عملکرد، سرورها از معماری چندکاناله (Multi-Channel) بهره می‌برند که به جای یک مسیر، چندین مسیر موازی (مانند Quad-Channel, Hexa-Channel, یا Octa-Channel) بین پردازنده و ماژول‌های حافظه ایجاد می‌کند و پهنای باند را به شدت افزایش می‌دهد.

برای دستیابی به ظرفیت‌های بسیار بالا، سرورها به جای حافظه‌های Unbuffered (UDIMM) که در کامپیوترهای شخصی رایج‌اند، از ماژول‌های Registered (RDIMM) استفاده می‌کنند. یک ماژول RDIMM دارای یک چیپ بافر به نام Registering Clock Driver (RCD) است که سیگنال‌های کنترلی و آدرس را پیش از ارسال به چیپ‌های حافظه (DRAM)، بازتولید و تقویت می‌کند. این بافر، بار الکتریکی روی کنترلر حافظه‌ی پردازنده را کاهش می‌دهد و به آن اجازه می‌دهد تا ماژول‌های بیشتری را مدیریت کند، که نتیجه‌ی آن دستیابی به ظرفیت‌های چند ترابایتی است. برای نیازهای ظرفیتی حتی بالاتر، از ماژول‌های Load-Reduced (LRDIMM) استفاده می‌شود که علاوه بر RCD، دارای چیپ‌های بافر داده (Data Buffer) نیز هستند و بار الکتریکی را بیش از پیش کاهش می‌دهند.

این پیچیدگی در سطح سیستم با معماری NUMA سرنام (Non-Uniform Memory Access) در سرورهای چندپردازنده‌ای (Multi-Socket) به اوج خود می‌رسد. در این مدل، هر پردازنده به حافظه‌ی محلی (Local Memory) خود دسترسی بسیار سریعی دارد، اما برای دسترسی به حافظه‌ی متصل به پردازنده‌ای دیگر (Remote Memory)، باید از طریق یک اتصال پرسرعت میان‌پردازنده‌ای (مانند Intel UPI یا AMD Infinity Fabric) عبور کند که این امر تاخیر بیشتری ایجاد می‌کند. سیستم‌عامل‌ها و نرم‌افزارهای سروری برای مدیریت بهینه این ساختار و قرار دادن پردازش‌ها نزدیک به داده‌هایشان طراحی شده‌اند. امروزه با ظهور فناوری DDR5 که سرعت بالاتر و قابلیت On-die ECC را به همراه دارد و همچنین پروتکل CXL سرنام (Compute Express Link) که امکان ایجاد مخازن حافظه‌ی اشتراکی و قابل ترکیب بین پردازنده‌ها و شتاب‌دهنده‌ها را فراهم می‌کند، معماری حافظه در سرورها به سمت انعطاف‌پذیری و کارایی بی‌سابقه‌ای در حرکت است.

نحوه اتصال رم به پردازنده‌های مختلف در سرورهای چند سوکتی

در سرورهای چند سوکتی (Multi-Socket)، که هر پردازنده (CPU) به بانک‌های حافظه محلی خود دسترسی مستقیم و سریع‌تری دارد، معماری پیش‌فرض NUMA حاکم است. در این حالت، دسترسی یک پردازنده به حافظه محلی خود (Local Memory) بسیار سریع‌تر از دسترسی آن به حافظه متصل به یک پردازنده دیگر (Remote Memory) است، زیرا دسترسی راه دور نیازمند عبور از یک اتصال میان‌پردازنده‌ای پرسرعت (مانند Intel UPI یا AMD Infinity Fabric) است که تأخیر ایجاد می‌کند. این ساختار برای نرم‌افزارهای بهینه‌شده برای NUMA، مانند پایگاه‌های داده بزرگ یا هایپروایزرها، ایده‌آل است زیرا سیستم‌عامل تلاش می‌کند تا هر پردازش را روی همان پردازنده‌ای اجرا کند که داده‌هایش در حافظه محلی آن قرار دارد. با این حال، برای نرم‌افزارهایی که برای NUMA بهینه‌سازی نشده‌اند یا الگوهای دسترسی به حافظه نامنظم و غیرقابل پیش‌بینی دارند، این معماری می‌تواند منجر به ایجاد گلوگاه شود؛ به این صورت که یک پردازنده به طور مداوم مجبور به دسترسی به حافظه راه دور می‌شود و عملکرد کلی سیستم کاهش می‌یابد.

این‌جا است که در هم تنیدن نودها (Node Interleaving) به عنوان یک تنظیم در BIOS/UEFI وارد عمل می‌شود. با فعال کردن این قابلیت، سیستم دیگر حافظه را به صورت بلوک‌های بزرگ و مجزا به هر پردازنده اختصاص نمی‌دهد. در عوض، فضای آدرس حافظه را به قطعات کوچک (معمولاً در حد کیلوبایت) تقسیم کرده و این قطعات را به صورت یکی در میان (round-robin) بین تمام نودهای NUMA (پردازنده‌ها) توزیع می‌کند.

به عبارت دیگر، آدرس‌های متوالی حافظه به جای قرار گرفتن در یک بانک حافظه محلی، در حافظه‌های متصل به CPUهای مختلف پراکنده می‌شوند. نتیجه این کار، ایجاد یک فضای آدرس حافظه یکپارچه و یکنواخت از دید سیستم‌عامل است. با این روش، هر دسترسی به حافظه، به طور متوسط ترکیبی از دسترسی‌های محلی و راه دور خواهد بود و تأخیر دسترسی به تمام نقاط حافظه تقریباً یکسان می‌شود. این کار با “متوسط‌گیری” تاخیر، از ایجاد نقاط داغ (hotspots) عملکردی جلوگیری می‌کند و برای اپلیکیشن‌های غیربهینه، عملکردی پایدارتر و قابل پیش‌بینی‌تر به ارمغان می‌آورد. البته، هزینه این کار از دست رفتن مزیت دسترسی فوق‌سریع به حافظه محلی است، بنابراین برای سیستم‌های کاملاً بهینه‌شده برای NUMA، غیرفعال کردن Interleaving همچنان بهترین گزینه است.

کانال‌های حافظه راهکاری با هدف افزایش چشمگیر پهنای باند کلی سیستم برای بارهای کاری فشرده

در معماری سرورهای مدرن، کانال‌های حافظه نقشی حیاتی و مشابه با یک شاهراه چندبانده برای داده‌ها ایفا می‌کنند که مستقیماً به پردازنده متصل است. یک کانال حافظه، یک مسیر ارتباطی مستقل ۶۴ بیتی بین کنترلر حافظه پردازنده و ماژول‌های رم (DIMM) است. در حالی که سیستم‌های دسکتاپ معمولاً از معماری دو کاناله (Dual-Channel) بهره می‌برند، سرورها برای پاسخگویی به نیازهای پردازشی سنگین و هسته‌های پرتعداد پردازنده، از معماری‌های بسیار گسترده‌تری مانند Quad-Channel (چهار کاناله)، Hexa-Channel (شش کاناله) و Octa-Channel (هشت کاناله) استفاده می‌کنند. این طراحی به پردازنده اجازه می‌دهد تا به جای دسترسی به یک یا دو ماژول حافظه به صورت همزمان، به چهار، شش یا هشت ماژول به صورت موازی دسترسی پیدا کند. برای مثال، در یک سیستم Octa-Channel، هشت مسیر ۶۴ بیتی با یکدیگر ترکیب شده و یک گذرگاه داده عظیم ۵۱۲ بیتی (8×64-bit) را تشکیل می‌دهند که پهنای باند تئوری حافظه را نسبت به یک سیستم دو کاناله، چهار برابر می‌کند.

این افزایش چشمگیر پهنای باند، یک قابلیت لوکس نیست، بلکه یک ضرورت مطلق برای بارهای کاری فشرده است. پردازنده‌های سرور امروزی با ده‌ها هسته پردازشی قدرتمند، همگی به شدت “تشنه داده” هستند. اگر پهنای باند حافظه کافی نباشد، این هسته‌ها در انتظار رسیدن داده‌ها بیکار مانده و یک گلوگاه عملکردی شدید ایجاد می‌شود. معماری چند کاناله با باز کردن این مسیر، تضمین می‌کند که داده‌ها با سرعتی متناسب با توان پردازشی CPU، به آن تزریق شوند. این ویژگی برای کاربردهایی مانند محاسبات با عملکرد بالا (HPC) که شبیه‌سازی‌های علمی پیچیده‌ای را اجرا می‌کنند، پایگاه‌های داده در حافظه (In-Memory Databases) مانند SAP HANA که کل دیتاست در رم قرار دارد، و محیط‌های مجازی‌سازی و ابری که ده‌ها ماشین مجازی به طور همزمان به حافظه دسترسی دارند، حیاتی است. در این سناریوها، پهنای باند وسیع ناشی از معماری هشت کاناله به معنای پاسخگویی سریع‌تر، کاهش تاخیر و افزایش توان عملیاتی کلی سیستم است و به سرور اجازه می‌دهد تا از حداکثر پتانسیل پردازشی خود استفاده کند.

پشتیبانی از ظرفیت بالا، نیاز مبرم سرورها به مقادیر بسیار زیاد رم

پشتیبانی از ظرفیت بالای حافظه (RAM) یکی از حیاتی‌ترین و بنیادی‌ترین ویژگی‌هایی است که سرورهای مدرن را از کامپیوترهای شخصی متمایز می‌کند و نیازی مبرم برای پاسخگویی به نسل جدیدی از بارهای کاری داده‌محور محسوب می‌شود. این نیاز به مقادیر عظیم رم، که از صدها گیگابایت تا چندین ترابایت متغیر است، یک ضرورت معماری برای فعال‌سازی فناوری‌های کلیدی در دنیای امروز است. یکی از اصلی‌ترین محرک‌ها، مجازی‌سازی (Virtualization) است. در یک محیط مجازی، هر ماشین مجازی (VM) برای اجرای سیستم‌عامل و اپلیکیشن‌های خود به یک بخش اختصاصی و ایزوله از حافظه رم نیاز دارد. بنابراین، ظرفیت کلی رم سرور مستقیماً تعیین‌کننده تعداد ماشین‌های مجازی است که می‌توان به طور همزمان و با عملکرد قابل قبول روی یک سرور فیزیکی واحد اجرا کرد. کمبود رم به سرعت به گلوگاه اصلی تبدیل شده و سیستم را وادار به استفاده از حافظه کند دیسک (Swapping) می‌کند که عملکرد تمام VMها را به شدت کاهش می‌دهد. در نتیجه، سرورهایی با ترابایت‌ها رم به سازمان‌ها اجازه می‌دهند تا صدها سرور مجازی را در یک سخت‌افزار واحد تجمیع کرده و هزینه‌های مربوط به فضا، برق و مدیریت را به شکل چشمگیری کاهش دهند.

در حوزه داده، پایگاه‌های داده در حافظه (In-Memory Databases) مانند SAP HANA و Redis، انقلابی در سرعت پردازش اطلاعات ایجاد کرده‌اند. فلسفه این دیتابیس‌ها بر این اصل استوار است که کل مجموعه داده کاری (dataset) به جای ذخیره‌سازی روی دیسک‌های کند، به طور کامل در حافظه رم بارگذاری شود. این رویکرد گلوگاه ورودی/خروجی دیسک را حذف کرده و امکان تحلیل و پردازش تراکنش‌ها را در لحظه و با سرعتی هزاران برابر بیشتر از دیتابیس‌های سنتی فراهم می‌آورد.

در این سناریو، اندازه دیتابیس شما مستقیما توسط ظرفیت رم سرور محدود می‌شود. به همین دلیل، برای مدیریت دیتابیس‌های سازمانی بزرگ، وجود صدها گیگابایت یا حتی ترابایت‌ها رم الزامی است. در نهایت، تحلیل بیگ دیتا (Big Data Analytics) با ابزارهایی مانند Apache Spark، به شدت به حافظه رم برای انجام محاسبات تکرارشونده و پیچیده بر روی دیتاست‌های عظیم متکی است. این فریم‌ورک‌ها با بارگذاری هرچه بیشتر داده در حافظه، از خواندن و نوشتن مداوم بر روی دیسک جلوگیری کرده و سرعت پردازش را به طرز چشمگیری افزایش می‌دهند. در نتیجه، ظرفیت بالای رم به معنای توانایی تحلیل سریع‌تر، آموزش مدل‌های یادگیری ماشین در زمان کوتاه‌تر و استخراج بینش‌های ارزشمند از اقیانوسی از داده‌هاست.

Memory Rank؛ تاثیر بر بارگذاری کنترلر حافظه و حداکثر ظرفیت قابل پشتیبانی توسط هر سوکت پردازنده

Memory Rank، یکی از مفاهیم کلیدی و در عین حال پیچیده در معماری حافظه سرور است که به طور مستقیم بر حداکثر ظرفیت قابل پشتیبانی و بار الکتریکی وارد بر کنترلر حافظه (Memory Controller) اشاره دارد. هر رَنک (Rank) یک بلوک مستقل از داده با عرض ۶۴ بیت است که با استفاده از تمام یا بخشی از چیپ‌های روی یک ماژول رم (DIMM) ایجاد می‌شود. یک ماژول Single Rank (SR) یا تک‌رنک، تنها یک بلوک ۶۴ بیتی دارد، در حالی که ماژول‌های Dual Rank (DR) و Quad Rank (QR) به ترتیب دارای دو و چهار بلوک ۶۴ بیتی مستقل بر روی یک برد فیزیکی هستند. این رنک‌ها از یک کانال حافظه مشترک استفاده می‌کنند، اما کنترلر حافظه در هر لحظه تنها می‌تواند به یکی از این رنک‌ها دسترسی داشته باشد.

اهمیت این موضوع از آنجا ناشی می‌شود که هر کنترلر حافظه در یک سوکت پردازنده، محدودیت مشخصی در تعداد کل رنک‌هایی که می‌تواند مدیریت کند، دارد. هر رنک اضافی، یک بار الکتریکی (Electrical Load) به کنترلر تحمیل می‌کند. با افزایش تعداد رنک‌ها، این بار الکتریکی نیز افزایش یافته و پایداری سیگنال‌دهی کاهش می‌یابد. به همین دلیل، سازندگان سرور و پردازنده، محدودیت‌هایی را برای تعداد ماژول‌های قابل نصب بر اساس رتبه‌بندی آن‌ها تعیین می‌کنند. برای مثال، یک کانال حافظه ممکن است بتواند از دو ماژول Dual Rank (مجموعاً چهار رنک) پشتیبانی کند، اما تنها بتواند یک ماژول Quad Rank (مجموعاً چهار رنک) را مدیریت نماید.

این محدودیت، یک موازنه حیاتی بین ظرفیت و عملکرد ایجاد می‌کند: ماژول‌های با رتبه‌بندی بالاتر (مانند DR و QR) به ما اجازه می‌دهند تا با استفاده از تعداد اسلات‌های یکسان، به ظرفیت حافظه بسیار بیشتری دست یابیم، زیرا تراشه‌های حافظه بیشتری را در یک ماژول فیزیکی جای داده‌اند. این ویژگی برای کاربردهایی مانند مجازی‌سازی و دیتابیس‌های In-Memory که نیازمند صدها گیگابایت تا ترابایت‌ها رم هستند، ضروری است. با این حال، باید با دقت به مستندات سرور و پردازنده توجه کرد تا اطمینان حاصل شود که ترکیب ماژول‌های انتخابی از سقف توانایی کنترلر حافظه فراتر نرود، چرا که پر کردن بیش از حد کانال‌ها با رنک‌های زیاد می‌تواند منجر به کاهش خودکار سرعت حافظه توسط سیستم برای حفظ پایداری شود.

خلاصه اطلاعات مهم در ارتباط با معماری حافظه در سرورها

در ادامه، تمامی مفاهیم کلیدی مرتبط با معماری حافظه سرور در قالب یک جدول جامع، ارائه می‌دهمی تا مهندسان و متخصصان شبکه اطلاعات موردنیاز در ارتباط با این مولفه مهم را در اختیار داشته باشند.

نویسنده: حمید رضا تائبی