Kosova eyaletinin Gilan kasabasında doğdu. Babası Hâfız Hüseyin, annesi Hûrişah Hanım’dır. Sekizinci kuşaktan dedesi Ömer Bey aslen İşkodra’nın Kolgeci köyünden iken sonradan Gilan kasabasına bağlı Desivoyca mezraasına yerleşmiş olduğundan aile İşkodralılar adıyla anılmaktadır. Dedesi Hacı Yakup Niş Medresesi’nde, babası Hâfız Hüseyin ise Fâtih medreselerinde tahsil görmüştür. Ali Yakup ilk tahsilini Gilan’da Sırp ilkokulunda yaptı. Bu arada babasından Kur’ân-ı Kerîm, dinî bilgiler ve inşâ dersleri aldı. 1924-1927 yıllarında Gilan Medresesi’ne devam ederek Molla Kadri Efendi ile Müderris Abdurrahman Efendi’den temel medrese ilimlerini tahsil etti; ayrıca Hasan Fâik Efendi’den özel olarak inşâ ve Fransızca dersleri aldı. 1927’de Üsküp’e giderek Meddah Medresesi’nde meşhur âlimlerden
Atâullah Efendi’nin derslerine devam etti. Aynı medresenin muallimlerinden Seyfeddin Efendi’den de belâgat ve Türk edebiyatına dair dersler aldı.Tekrar Gilan’a dönerek iki yıl devlet ortaokuluna devam etti (1928-1929). Bu sırada Saraybosna ulemâ meclisi âzalarından Şâkir Mesihoviç’in delâletiyle 1931 yılında girdiği Mekteb-i Nüvvâb imtihanını kazanarak tahsiline üç yıl burada devam etti. 1932’de babasının ölümü üzerine bir süre tahsiline ara vermek zorunda kaldı. 1936’da Kahire’ye giderek Ezher Üniversitesi’ne bağlı Külliyyetü usûli’d-dîn’de öğrenimini tamamladı. Bu sırada eski şeyhülislâmlardan Mustafa Sabri, Zâhid Kevserî ve Yozgatlı İhsan Efendi gibi Mısır’a yerleşmiş olan ünlü Türk âlimlerinin özel ders ve sohbetlerinden de istifade etti.
1946-1957 yılları arasında Kahire Üniversitesi Merkez Kütüphanesi’nde memur olarak çalıştı. Temmuz 1957’den Kasım 1959’a kadar Mısır’ın Ankara büyükelçiliğinde mütercimlik yaptı. Daha sonra bu görevinden istifa eden Ali Yakup Efendi 1960’ta İstanbul’a yerleşerek Türk uyruğuna geçti ve bir yıl sonra da evlendi. Bu tarihten itibaren özel teşebbüse ait bir fabrikanın muhasebe kaleminde çalışmaya başladı. Bir taraftan da Fâtih, Mesih Paşa ve Emîr Buhârî camilerinde İhyâʾü ʿulûmi’d-dîn, Edebü’d-dünyâ ve’d-dîn, Medârikü’t-Tenzîl ve Dîvânü’l-Mütenebbî gibi eserleri okuttu. Ayrıca Diyanet İşleri Başkanlığı Haseki Eğitim Merkezi’nde 1976-1980 yılları arasında tefsir, kelâm ve belâgat dersleri verdi. Evinde de orta ve yüksek öğrenim gençliğinden isteyenlere özel dersler vererek birçok talebe yetiştirdi.
Mayıs 1983’te felç olan Ali Yakup Efendi 22 Mayıs 1988’de İstanbul’da vefat etti ve Edirnekapı’da Sakızağacı Mezarlığı’na defnedildi