خلیل خدا، ابراهیم علیه السلام هنگامى که کعبه را بنا کرد، دو رکن بر آن قرار داد؛ نخست «رکن حجرالأسود» و دیگر «رکن‏ یمانى‏» و دیوار کعبه از سوى حجر اسماعیل را به صورت نیم دایره‏اى ساخت، بطورى‏ که زاویه ‏اى بر آن قرار نداد.

رکن یمانى، در زاویه جنوبى خانه و تقریباً مقابل کشور «یمن» و قبل از رکن حجرالاسود مى ‏باشد. فاصله آن تا رکن اسود ۵۲/ ۱۱ متر است. از این جهت به آن یمانى مى ‏گویند که به سمت یمن بوده و جهت قبله اهل یمن به ناحیه این رکن است.

از میان چهار رکن کعبه، فضیلت رکن یمانى و رکن اسود از دو رکن دیگر بیشتر است؛ چنان‏که روایات زیادى درباره فضیلت و اهمیت این دو رکن نقل شده است.

پیامبر گرامى اسلام صلى الله علیه و آله قبل از هجرت به مدینه، و در زمانی که مسجدالاقصی قبله مسلمانان بود هنگامى ‏که رو به سوى بیت المقدس مى ‏ایستاد، بین رکن حجرالأسود و رکن‏ یمانى‏ قرار مى ‏گرفت و در این حال کعبه در مقابل آن حضرت و بین بیت ‏المقدس و ایشان واقع مى ‏شد و بدین سان هم کعبه و هم بیت المقدس را، همزمان استقبال مى ‏نمودند.

بنا به قول مشهور، محلى که براى فاطمه بنت اسد (س) شکافته شد تا به درون کعبه رود و فرزندش على بن ابى ‏طالب علیه السلام را به دنیا آورد، در کنار رکن یمانى بوده است.

جبرئیل، فرشته بزرگ الهى که همیشه یار و یاور رسول خداصلى الله علیه و آله بوده، به این مقام آمده است. رکن یمانى خاطره رخساره نبى را در خود دارد، رکن یمانى خاطره دست رسول خداصلى الله علیه و آله به یاد دارد، رکن یمانى محل هبوط فرشتگان خداست، آن‏‌ها در آنجا حاضرند و ناظر و خشوع و تذلل بندگانى را مى ‏بینند که خداوند به آن‏‌ها مباهات کرده است.

رکن یمانى باب بهشت است، از آنجا مى‏توان بهشت را نظاره کرد، از آن‏جا بوى بهشت مى ‏آید، رکن یمانى اتصالى به اهل بیت علیهم السلام دارد، لذا فضیلت آن دو چندان مى ‏شود. ذکر گفتن، تواضع کردن، صلوات فرستادن، توبه کردن و با خدا سخن گفتن بى پاسخ نمى ‏ماند. درهاى عروج از همین جا به روى اولیا گشوده مى‏ شود، چنانکه باب ورود مولود کعبه، نیز در کنار آن ­است. رکن یمانى پایان راه نیست، بلکه آغاز سلوک است؛ سلوکى به سمت کعبه آمال، و آستانه‏اى براى ورود به دریاى اسرار. رکن یمانى، کلید اسرار بهشت و طواف، کلید اسرار خداست!

در حدیثى دیگر باب رکن یمانى باب اهل بیت علیه السلام معرفى شده است. صادق اهل بیت علیهم السلام فرمود:«رکن یمانى درِ ماست که از این در وارد بهشت مى ‏شویم».