坐落在长沙湘水之滨、南岳之麓的岳麓书院始建于976年（宋太祖开宝九年）。从岳麓书院到清末的湖南高等工业学堂，再到今日的湖南大学一脉相承，故有“千年学府”之称。它比意大利最早的博洛尼亚大学要早近100年，比英国牛津大学更要早近200年。因此可以说，在世界上自建立之日始一直延续至今的高等学府中，长沙岳麓书院是创建最早的一座。
宋代潭州教育之兴的明显标志便是岳麓书院的建立。但岳麓书院的渊源一直可追溯到五代末。那时，茂林修竹、葱笼滴翠的岳麓山林已是士子的习业之所。智等两位僧人为“思儒者之道”，在麓山寺下，“割地建屋”，建起了“以居士类”的学舍，岳麓书院就是在智办学的基础上“因袭增拓”而诞生的。
976年，潭州太守朱洞在原僧人办学的遗址上，即岳麓山下的抱黄洞附近正式建立起了岳麓书院。这时已不是仅仅能让“士得屋以居，得书以读”的简陋学舍，而成了拥有讲堂5间，斋舍52间的规模恢宏的书院。不久朱洞去职离开潭州，书院因一时得不到支持而一度出现“弦歌绝音，俎豆无睹”的冷落局面。但到999年（咸平二年）李允则知潭州时又恢复了生机。李允则本是儒臣，系唐济南团练使李谦溥之子，少时就以才略闻，后以荫补官，所到之处都致力为民办实事，“民皆称便”。他知潭州后，对兴教办学身体力行。岳麓书院在李的主持下，很快获得了恢复和扩建。他“尽获故书，诱导青衿，肯构旧址。外敝门屋，中年讲堂，揭以书楼，序以客次。塑先师十哲之像，画七十二贤”，“请辟水田，供春秋之祀典”，使书院初具规模，并形成了以讲学、藏书和供祀3个部分组成的书院规制。书院正式定额为60余人，其他从学者还不在此数，声名渐次传播三湘衡岳之间。朝廷因岳麓书院办学有成绩，故采纳李允则的奏请，拨赐御书给书院，所赐之书有《释文》、《史记》、《唐韵》、《玉篇》等各种经书史籍。北宋王禹在《潭州岳麓书院记》中赞誉道：“谁谓潇湘？兹为洙泗。谁谓荆蛮？兹为邹鲁”。把岳麓书院比之孔孟之乡的“洙泗”、“邹鲁”。潭州也从此有了“潇湘洙泗”的美名。
北宋大中祥符（1008－1017）年间，岳麓书院进入了北宋的鼎盛时期。1012年（大中祥符五年），潭州湘阴人周式上任山长。周式“学行兼善，尤以行义著称”。岳麓书院在他的主持下，办学规模大为扩展，学额由原来的60余人提高到“数百人”。周式还请知州刘师道扩建斋舍，当时有谭绮作记，可惜原记不存，具体扩建情况难详。1015年（大中祥符八年），宋真宗亲自召见周式，对周式兴学颇为嘉许。亲书“岳麓书院”匾额。至今书院所存明代“岳麓书院”刻石，便是当年宋真宗的手迹。宋真宗感其学行义著，授周式为国子监主簿，留在朝廷效命。但周式坚请不就，乞求归山掌教。真宗为之动容，乃赠对衣鞍马、内府书籍，以表彰他的拳拳执教之心。在周式执掌下，岳麓书院的从学人数和院舍规模都有很大发展，遂成为天下四大书院之一。关于“四大书院”有多种说法。吕祖谦、吴澄之说是：嵩阳、岳麓、睢阳、白鹿洞。王应。麟之说是：岳麓、白鹿洞、丽泽、象山。范成大之说是：徂徕、金山、石鼓、岳麓。马端临之说是：岳麓、睢阳、白鹿洞、石鼓。古人众说纷纭，我们不必拘泥于某家之言，但唯有岳麓为诸家共推，反映了古之学者对岳麓的印象是多么刻骨铭心。
北宋朝廷为了加强思想上的专制，振兴衰落中的官学，拓宽科举取士的途径，曾展开了4次兴学运动。在官学运动的冲击之下，各地书院遭到了摧折，有的被废弃，有的则改成了官学。同样，岳麓书院也难逃厄运。 1097年（绍圣四年）朝廷下令废弃岳麓书院，要将书院改为鼓铸场。在岳麓书院面临着生存威胁的关键时刻，湘阴尉朱辂冒着杀头危险，以“乡校不可毁”为由抗旨不行。朱辂虽官微言轻，但由于岳麓书院名声在外，朝廷也只好作罢，岳麓书院也就幸免于难。岳麓在官学运动中不仅没有沉寂下去，反而纳入了“潭州三学”的“三舍法”教育改革体制，成为荆湖南路的最高学府。
两宋之交，岳麓书院遭战火洗劫，“兵革灰烬，什一仅存”，几成荒榛之地。1165年（乾道元年）岳麓书院得以重建。担起重建岳麓重任的是当时的湖南安抚使知潭州刘珙。刘珙也系儒生，一生以尊儒重道为己重。他知潭州后对发展文教十分重视，“葺学校，访雅行，思以振之”。他授命郡教授郭颖主持重建岳麓之事，经过不到一年的努力，书院不仅恢复了昔日旧观，而且又有扩建，屋舍增至50楹，并“肖圣像于殿中，列绘七十子，而加藏书堂之北”。特别是他延聘著名理学家张主教岳麓，更加强了岳麓书院在南宋教育和学术上的地位。
张主教岳麓，一时群英骤至，人文荟萃，从学者广及东南数省，人数达千人之多，以致“马饮则池水立涸，舆止则冠冕塞途”，为岳麓历史上所未有。南宋另一位大理学家朱熹闻张得衡山五峰（胡宏）学，专程造访岳麓，举行了驰名天下的“朱张会讲”，推动了闽学与湖湘学的交流，岳麓书院的影响也更深更广。诚如元代理学家吴澄在《重建岳麓书院记》中所说：“自此之后，岳麓之为岳麓，非前之岳麓矣！地以人而重也”。
继张主教、朱张会讲后，又有胡宏的另一高足彪居正于1167年（乾道五年）主教岳麓，继有事功学派陈傅良于1188（淳熙十五年）年来岳麓讲学，使岳麓书院在相当长的一段时间内保持了活跃的学术气氛。在陈傅良讲学岳麓的同时，湖南安抚使潘畴再次修葺书院，“广二斋，益额十人”。州教授顾杞亲任山长，并聘张高足吴猎为堂长。1194年（绍熙五年）朱熹任湖南安抚使，第二次来到潭州，经过他的整治，岳麓书院再次进入到繁盛时期。1222年（嘉定十五年）著名理学家真德秀以湖南安抚使知潭州，专程前往岳麓书院主祭朱洞、周式、刘珙。1146年（淳六年）理宗再赐“岳麓书院”额，恢复“潭州三学”。1253年（宝元年）湖南转运副使吴子良又聘吉州理学名家欧阳守道为副山长，开讲“发明孟氏正人心，承三圣之说”，大力弘扬理学。张季子张庶、侄张忠恕也先后讲学书院。岳麓传播经邦济世之学、倡行伦理践履的学风一直坚持到1275年元兵攻破长沙，书院被毁的最后一刻。
