大禹治水分九州的时候，山东属于青州。武王灭商，建立周朝之后，把泰山以南封给了自己的老弟，建立鲁国，定都曲阜。把泰山以北分给了姜子牙，成为齐国，定都临淄。
山东人早在春秋时期就文武双全了，齐国人崇尚武力，成长在这种斗殴氛围中，齐国人孙武写了世界最早的军事理论《孙子兵法》。血气方刚的齐文化和温文尔雅的鲁文化交流融合下，齐鲁诞生了中国第一个大学派——儒家学派。
在晚清帝国最羸弱的时候，山东被列强瓜分了好几遍，威海被英国租借，青岛被德国租借。现在青岛用的下水道系统有些还是当年德国人在这里修建的，另外青岛啤酒很出名，公司的前身是国营青岛啤酒厂，年由英、德两国商人合资开办，是最早的啤酒生产企业之一。
威海卫在近现代历史上，扮演了十分重要的角色。晚清的北洋水师，在威海的刘公岛上，鼎盛时曾排名亚洲第一，全球第九，威震东亚。在甲午战争的黄海海战中，曾重创日本联合舰队。令人唏嘘的是，海战中还可以一战的舰队，最终由于陆上的失守，被岸上的炮台轰沉。现在在威海的海底，还静静地躺着许多当年舰船上的设施。
明朝以前，人们说山东，主要是指太行山以东。当代山东省名起源于金代的山东西路。元代，今山东省辖地归中书省管辖，明代设山东承宣布政使司，清代设山东省。金朝灭掉北宋后，将北宋的京东西路改成山东西路。
历史上山东第一个县是兰陵县。楚灭鲁后，在兰陵设立
兰陵县
，荀子是第一任兰陵县令。而
齐鲁两国
到灭亡也没有引入郡县制。
田单在即墨城使出了震惊人畜的火牛阵，使齐国逆天改命。不过战国时的即墨城并不在当今的即墨市，而在北面的平度市。平度市区有个铜牛雕塑，是为了纪念火牛阵的。
北洋时期大军阀张宗昌主山东，好舞文弄好墨，有辛弃疾的豪放风，如“大炮开兮轰他娘，威加海内兮回家乡。”，也有李清照的的婉约风，如“大明湖，明湖大。大明湖里有荷花，荷花上面有蛤蟆，一戳一蹦达。”这种名句。他一手组建了山东大学，并出任了首位校长。
明朝的山东有六个府，从西往东依次是东昌府、济南府、青州府、莱州府、登州府，南边有个横着的兖州府。这六个，昌、济、兖三府叫西三府，有养马之责，所以田税轻；青、莱、登三府称为东三府，不需要养马，所以田税重。于是两边经常为此吵架，东三府的理由是凭什么你们的耕地那么多反倒缴纳钱粮少，而我们耕地少反倒交的多？
今天的山东跟明清的山东相比，多了东明县（明清属直隶大名府开州）、宁津和庆云县（明清属直隶沧州府）；少了丘县（现在属河北省邯郸市）、馆陶县（现在属河北省邯郸市）、范县（现在属河南省濮阳市）。河南省濮阳市范县的县城（老县城），位于山东省聊城市莘县樱桃园镇境内。
世界上最古老的长城在山东——齐长城，始建于春秋时期，完成于战国时期的齐长城，西起黄河河畔，东至黄海海滨。
诸葛亮，李清照，辛弃疾，王羲之，颜真卿这些以为是南方人的名人都是山东人。（山东的历史名人非常之多，但是宣传力度之弱让人汗颜，至今还有人以为诸葛亮是成都人或者是南阳人。非常多的山东名人在山东没有祠庙而在外省享受香火。）
枣庄南土有古国，名曰“逼阳”，后改“傅阳”，子爵，国君妘姓。
诸葛亮祖籍琅琊，王司徒生于东海郯，俩人是山东临沂老乡。
春秋战国时期的齐国比鲁国大很多，鲁国的都城在曲阜，鼎盛时占据济宁大部，临沂部分。齐国的都城在临淄，现在的淄博，疆域包括整个山东半岛在内的山东以北的大部，以及河北西南的一部分。环伺在鲁国周围的还有占据现在滕州的滕国，占据邹城的邹国，而当时占据日照沿海还有临沂南部的则是越国以及杞人忧天里杞人的杞国。
明初的时候，因为战乱等各种原因，导致山东人口剧减，山西人口大量迁入，而到了清末的时候，大量的山东人口又迁往东北，所以，有相当一部东北人是山东人的后代，而相当一部分山东人则是山西人的后代。
历史书上提到的匈奴浑邪王、休屠王投降汉朝，其中浑邪王被封漯阴侯，国为漯阴侯国。后来浑邪王的儿子大概是因为水土不服进而导致英年早逝，没有子嗣。从此，漯阴侯国改为漯阴县。据专家考证，漯阴侯国大致在德州平原、禹城、临邑、济南济阳、商河一带。