1949年筹建新中国，按照中国共产党和毛泽东早年的设想就是，民主选举产生全国人民代表大会，由全国人民代表大会选举产生中央人民政府。但当时，土地改革还没有彻底实现，人民还没有充分组织起来，召开在普选基础上产生的全国人民代表大会的条件还不具备。怎么办？通过召开由民主协商产生的各方面代表组成的、具有代表全国人民性质的政治协商会议来协商建立新中国。
1949年9月21日至30日，中国人民政治协商会议第一届全体会议在北平召开。参加这次会议的组成单位包括了中国共产党和全中国所有的民主党派、人民团体、人民解放军、各地区、各民族、国外华侨、其他爱国民主分子的代表，体现了广泛的代表性。这次会议于9月29日通过了《中国人民政治协商会议共同纲领》，它规定了我国人民民主专政的国体、人民代表大会制度的政体等国家的重要制度。这次会议还制定了中央人民政府组织法，决定了中华人民共和国定都于北京、中华人民共和国国旗为红地五星旗、以义勇军进行曲为国歌，决定了中华人民共和国采用公元纪年，选举了以毛泽东为主席的中央人民政府委员会。这样，中华人民共和国诞生了。
共同纲领在新中国的立宪史上具有重要的地位，起了重要的作用。毛泽东在1950年6月23日全国政协一届二次会议上说：“我们现时的根本大法即共同纲领”。刘少奇在1954年宪法草案的报告中说：共同纲领“起了临时宪法的作用”。共同纲领解决了在还不具备召开全国人民代表大会条件的时候建立和治理新中国的宪法依据问题。共同纲领还是1954年新中国第一部宪法的基础。但由于中国人民政治协商会议的代表不是由选举产生的，它制定的起临时宪法作用的共同纲领还不能说就是宪法。这样，没有将共同纲领通过的日期确定为国家宪法日也是很自然的了。
有意见提出，1982年是修改宪法，不是制定宪法，应当把1954年制定中华人民共和国第一部宪法的日期定为国家宪法日。
1954年9月15日至28日，第一届全国人民代表大会第一次会议召开。到这时，新中国刚刚成立5年，还处于从新民主主义到社会主义的过渡时期。这次会议所制定的宪法的一个重要任务，就是为全国人民指出一条清楚的、明确的和正确的前进道路——走社会主义道路。1954年9月20日通过的宪法，是一部社会主义类型的宪法，但还不是完全社会主义的宪法，它是一个过渡时期的宪法。毛泽东设想，过渡时期大概是三个五年计划，即15年左右，这部宪法大概可以管15年左右。1954年宪法是一部好的宪法。
但在1975年1月四届全国人大一次会议对1954年宪法进行修改，形成了1975年宪法。1975年宪法施行后，1954年宪法自然就不再施行了，这样一部有严重缺陷的宪法，很难说它是人民当家作主的法律保障。1978年3月五届全国人大一次会议对1975年宪法进行修改，形成了1978年宪法。这个时候，党的十一届三中全会还没有召开，对“左”的思想还没有来得及进行系统地清理，1978年宪法也存在缺陷。
设立国家宪法日的目的，不仅是纪念中华人民共和国宪法的诞生，更重要的是为了增强全社会的宪法意识，弘扬宪法精神，加强宪法实施，全面推进依法治国，建设社会主义法治国家。现在施行的就是1982年12月4日五届全国人大五次会议通过的宪法，把12月4日设立为国家宪法日是合适的，更具有现实意义。