كان جد علي عزت ضابطاً في الجيش العثماني تزوج وهو يعلم في اسطنبول من فتاة تركية تسمى صديقة، كما كان أبوه محارباً في الجبهة الإيطالية في الحرب العالمية الأولى حيث أصيب بجرح بالغ تحول مع الوقت إلى شبه شلل جعله حبيس الفراش فترات طويلة، وقد تأثرت طفولة الصبي على عزت بمرض أبيه خصوصاً خلال السنوات الاثنتي عشرة الأخيرة من عمره.
كانت أسرة أبيه على درجة كبيرة من الثراء وكان أبوه نفسه يملك تجارة واسعة في بلدتهم الصغيرة المسماة (بوسانسكي شاميتس) ولكن هذه التجارة تبددت في ظروف غامضة ربما بسبب تقاعد أبيه.
مما يتذكره علي عزت في طفولته المبكرة عن تأثير أبيه في تشكيل حياته الفكرية، أنه عندما انتقلت الأسرة إلى سراييفو لإلحاق أبنائها وبناتها بالمدارس كانت الأسرة محاطة هناك بأهل أمه وأقاربها، وقد لاحظ أنهم جميعاً يحترمون أباه
ويقدرون حكمته ويلجئون إليه لفض المنازعات العائلية والزواجية، وكانت قراراته تحمل على محمل الجد والتقدير وكان الجميع يثنون على حكمته وعدله، ومن ثم امتلأ قلبه بالاعتزاز والفخر لمكانة أبيه ... ولكن حبه الأكبر اختص به أمه، فقد كانت رقيقة عطوفاً وعلى جانب عظيم من التدين والتقى وهو يعتقد أن جانباً كبيراً من التزامه الديني والأخلاقي جاء من ناحيتها، حيث يقول: "كانت أمي تحرص على قيام الليل وقراءة القرآن حتى يحين موعد صلاة الفجر فتوقظني لنذهب معاً إلى صلاة الجماعة في المسجد القريب من بيتنا .. كنت في ذلك الوقت بين السنة الثانية عشرة والرابعة عشرة من عمري، ولم يكن من السهل علي أن أغادر دفئ الفراش في هذا الوقت المبكر فكنت أقاوم في بادئ الأمر ... ولكني كنت أشعر بعد العودة من المسجد بارتياح كبير وسعادة من هذه الخبرة المثيرة خصوصاً في فصل الربيع، حيث تكون الشمس قد أشرقت وملأت المكان بأشعتها الدافئة ... ولما تزل آيات القرآن حلوة ندية ترقرق في مسامعي، فقد اعتاد الإمام الشيخ قراءة سورة الرحمن كاملة في الركعة الثانية بصورته العذب وكان
شخصية محبوبة من جميع الناس ... كنت أعود من المسجد سعيداً منشرح الصدر .. وقد استقر هذا الانطباع في أعماق نفسي واضحاً مشرقاً في وسط ضباب كثيف من الخبرات الأليمة التي أحاطت بحياتي عبر السنين.