根据 1908年4月在罗马召开的第四届国际数学家大会决议建立的国际数学教育机构。当时由德国、英国和瑞典的委员组成中央委员会，立即开始了工作。进行有关数学教育和理科教育的活动，合理规划各级数学教育的进一步发展，并使公众认识数学教育的重要性。1912年中央委员会扩大，增加了美国、意大利、澳大利亚和法国的委员，到1914年参加国际数学教育委员会的国家已经达到28个。在这期间分别于布鲁塞尔（1910年8月）、米兰（1911年11月）、剑桥(1912年 8月)和巴黎（1914年4月）举行了四次国际会议。

国际数学教育委员会的工作在第一次世界大战时被迫中断，一直到1928年都没有恢复工作。后来虽然重建了中央委员会，但是没有开展多少工作又因第二次世界大战而中断。1952年新建的国际数学联合会 (IMU)重建国际数学教育委员会时，曾委任了一个委员会。1954年这个委员会成为正式的国际数学教育委员会的执行委员会。

国际数学教育委员会（ICMI）由国际数学联合会选出的十位一般委员、四位当然委员以及每个成员国委派一位代表组成。到1984年为止，已有50个成员国。执行委员会由十位具有投票权的委员组成（现任（2007－2009）委员会成员）。

国际数学教育委员会赞助、支持各种有关数学教育的国际会议，出版刊物。它每四年召开一次国际数学教育大会(ICME)，它的机关刊物是《数学教育国际评论》。

第一届国际数学教育大会(ICME Ⅰ)于1969年8月在法国里昂召开,来自42个国家的650名正式代表参加了这次大会。大会举行了19次全体会议。

第二届国际数学教育大会（ICME Ⅱ）1972年8月在英国埃克塞特召开。参加这次大会的有来自72个国家的1400名正式代表。大会举行了7次全体会和 39个工作小组会。

第三届国际数学教育大会(ICME Ⅲ)是1976年8月在联邦德国卡尔斯鲁厄召开的。参加者有1800人，他们来自76个国家和地区。大会举行了5次全体会,还作了13个数学教育方面的情况综合报告。这些报告陆续译成各种文字发表了。联合国教科文组织(UNESCO)把它们传播到全世界。

第四届国际数学教育大会(ICME Ⅳ)1980年8月在美国伯克利举行。有来自90个国家和地区的1800名正式代表和500名陪同者参加。开了4次全体会和 132次分会。1980年，我国著名数学家华罗庚在美国伯克利举办的“ICME-4”大会上应邀作了大会报告，这是我国学者第一次在该会上作大会报告，华罗庚、丁石孙等5名专家参加了这次会议。1996年，著名数学教育家张奠宙被ICME聘请为在西班牙举行的“ICME-8”国际程序委员会委员，这是中国人首次参加大会筹备工作。

国际数学教育委员会在团结各国数学家和数学教育工作者，协调有关数学教育的组织，交流成果、促进数学教育发展中起着积极作用。