Қазіргі Павлодар облысының Баянауыл ауданында дүниеге келген.Философия ғылымының докторы (1945), Қазақ КСР ҒА академигі (1958), профессор (1960), Қазақ КСР ғылымына еңбегі сіңген қызметкер (1967), республика археологиялық мектебінің негізін салушы, этнография, Шығыстану, тарих, әдебиетану, өнертану салаларының көрнекті ғалымы.
Бастапқы білімді ауыл мектебінен алады. 1915 жылдан бастап 3 жылдық орыс мектебінде оқиды. 1920 жылы Павлодар қаласындағы мұғалімдер курсын бітіреді де, туған ауылында мұғалім болады. Семей техникумында оқып жүрген жылдарында «Таң» жорналы мен «Қазақ тілі» газетінде қызмет істейді. Осы жерде ол М.Әуезовпен танысып. Соның кеңесімен 1925 жылы Ленинградтағы Шығыстану институтының лекцияларын тыңдайды.
Осы жылдары Ә.Марғұлан қазақ халқының тарихына қатысты әдеби архивтік материалдар жинақтауымен айналасады. Бірқатар орыс және шетел жазушыларының шығырмалары қазақ оқырмандарына Ә.Марғұлан аудармасы арқылы жетеді. 1926-1927 жылдары одақтас және автономиялық республикаларды зерттеу жөніндегі Ерекше комитетінің Қазақстан, Алтай экспедицияларына қатысады.
1920 жылы Шығыс институтын бітіреді. 1930-1938 жылдары Марғұлан – Қаз КСР Халық ағарту комиссариаты жанындағы жаңа алфавит Комитетінің ғылыми жетекшісі, КСРО ҒА жанындағы мемлекеттік академиясының аспиранты. 1938 жылы Қаз КСР Халық Комиссар Кеңесінің шақыруымен КСРО ҒА Қазақ филиалына қызметке ауыстырылады.
1943 жылы қыпшақ этномәдени бірлігі жазба ескерткіштерінен докторлық диссертация қорғайды. 1941-1946 жылдары – тарих бөлімінің меңгерушісі, 1946-1951 жылдары – археология, палсплит бөлімінің, 1958-1976 жылдары – Ш.Уәлиханов атындағы ҚазКСР ҒА Тарих, археология, этнография институтының этнография бөлімінің меңгерушісі.
1945 жылы «Қазақ халқының эпикалық аңыздары» тақырыбында қорғаған докторлық диссертация қазақ халқының мәдениеті, тарихы саласындағы зерттеулерінің нәтижесі болып табылады. Ауызша эпикалық шығармашылық жанры, қазақтардың материалдық және рухани мәдениетінің тарихы ғұлама ғалым зерттеулерінде жан-жақты талдау тапқан.
Соның арқасында халықтық эпикалық шығармаларының тарихи-әлеуметтік тамырлары ашылып, уақыттары негізделді. Бұдан басқа, ол ежелгі архитектуралық ескерткіштерді де зерттеді. Соның арқасында қола мен ерте темір дәуіріндегі  археология ескерткіштер сыры ашылды.
Орталық Қазақстан аумағындағы археологиялық зерттеулер нәтижесі «Орталық Қазақстанның ежелгі мәдениеті» (Марғұланның басшылығымен және оның тікелей қатысуымен жазылды. Бұл еңбек 1967 жылы Шоқан Уәлиханов атындағы сыйлыққа ие болды.) атты монографиялық еңбекте көрініс тапты.
Марғұлан басты авторларының бірі болып жазылған 5 томдық «Қазақстан тарихы» мен «Орталық Қазақстанның Биғазы-Дендібай мәдениеті» 1982 жылы Қазақ КСР Мемлекеттік сыйлығын алды.
Марғұлан зерттеулері музыка, жер шаруашылығы, металлургия және т.б. салаларды қамтыды. 50-жылдардың ортасында Марғұланның басшылық етуімен қазақтың көрнекті ғалымы Ш.Уәлиханов жайында материалдар жинағы жарық көрді.Ә.Марғұлан – Ш.Уәлиханов шығармалары жинағының құрастырушысы әрі редакторы, ол жайында көптеген монографиялардың авторы.
Үлкен ғылыми ағартушылық қызметін Марғұлан ұйымдастырушылық қызметімен де үйлестіре білді. Көп жылдар бойы қазақ халқының этногені жөніндегі үйлестіру кеңесін, Қазақ КСР ҒА Тарих, археология, этнография институтының ғылыми кеңесің, докторлық және кандидаттық диссертациялар қорғау жөніндегі мамандырылған кеңесті басқарды.
300-дең аса ғылыми-көпшілік мақалалар жазған. Жемісті еңбегі үшін КСРО ордендерімен, медальдарымен марапатталды.