1950年6月，新中国的科学院建立不久，在百废待兴的情形下，着手筹建数学研究所。筹备处设在北京文津街3号，由著名数学家苏步青任筹备处主任，周培源、江泽函、华罗庚、许宝騄任筹备处副主任，田方增任秘书。筹建工作受到中央人民政府的高度重视。      

1951年1月，政务院批文任命华罗庚为即将成立的数学研究所所长。      

1952年7月1日数学研究所正式成立，所址设在清华园内，确立了纯粹数学与应用数学协同发展的方针。最早成立的研究小组有数论、微分方程、力学、计算机研制、概率统计、代数、拓扑学等。       

1953年上半年，数学研究所共有科研人员32人，其中专任研究员5人。仅在这32人中，后来当选为中国科学院院士的就有17人。      

1956年，通过我国十二年科学技术发展远景规划的制定，数学研究所在保障数学各重要方向协调发展的同时，重点发展微分方程、概率统计等与国民经济和国防建设关系密切的分支。同时设立了泛函分析、数理逻辑等研究组，以加强相应理论学科的研究。      

1957年从法国归来的熊庆来先生负责建立了函数论研究组。同一时期，与力学和计算机研制有关的研究工作则独立出去，另行组建中国科学院力学研究所和计算技术研究所。      

1961年按学科建立了研究室，包括"四学科"（数论、代数、几何、拓扑），函数论，微分方程，泛函分析，数理逻辑，理论物理，概率统计，以及由力学、数学两所在钱学森、华罗庚、许国志倡导下从事新兴应用学科运筹学的室组合并而成的运筹学研究室。      

1962年由于国家任务的需要，新建了由关肇直、宋健领导的控制理论研究室。稍后又重设了力学研究室。      

1998年12月，在中国科学院知识创新工程的推动下，四个数学类研究所（数学研究所、应用数学研究所、系统科学研究所、计算数学与科学工程计算研究所）经过整合组建成立了数学与系统科学研究院。数学所杨乐院士任研究院首任院长。      

数学研究所于1957年临时迁往西苑旅社，1958年迁入中关村（现计算技术研究所北楼）。1991年所址迁入中关村南四街甲1号。      

中国科学院数学研究所首任所长为华罗庚院士（1952-1982）。继任所长是陆启铿院士（常务副所长，主持日常工作，1979-1982）、王元院士（1983-1986）、杨乐院士（1987-1994）、 龙瑞麟研究员（1995-1996）、李炳仁研究员（代所长，1997-1998）、王跃飞研究员（1999-2002）、周向宇院士（2003-2012）、尚在久研究员（2012-2017）、张平院士（2017-2022）、徐晓平研究员（代所长，2022），现任所长是付保华研究员（2022-）。

截止2025年，数学研究所现有研究人员76人，其中研究员33人，副研究员41人，助理研究员2人。现有院士5人，国家杰出青年基金获得者13人，国家高层次青年人才计划14人。