狄仁杰出生于一个官宦之家。祖父狄孝绪，任贞观朝尚书左丞，父亲狄知逊，任夔州长史。狄仁杰通过明经科考试及第，出任汴州判佐；时工部尚书阎立本为河南道黜陟使，狄仁杰被吏诬告，阎立本受理讯问，他不仅弄清了事情的真相，而且发现狄仁杰是一个德才兼备的难得人物，谓之“河曲之明珠，东南之遗宝”，推荐狄仁杰作了并州都督府法曹。
　　唐高宗仪凤年间（676——679年），狄仁杰升任大理丞，他刚正廉明，执法不阿，兢兢业业，一年中判决了大量的积压案件，涉及到1.7万人，无冤诉者，一时名声大振，成为朝野推崇备至的断案如神、摘奸除恶的大法官。为了维护封建法律制度，狄仁杰甚至敢于犯颜直谏。仪凤元年（676年），武卫大将军权善才因误斫昭陵柏树，仁杰奏罪当免职。高宗令即诛之，仁杰又奏罪不当死。帝作色曰：“善才斫陵上树，是使我不孝，必须杀之。”左右瞩仁杰令出，仁杰曰：“臣闻逆龙鳞，忤人主，自古以为难，臣愚以为不然。居桀、纣时则难，尧、舜时则易。臣今幸逢尧、舜，不惧比干之诛。昔汉文时有盗高庙玉环，张释之廷诤，罪止弃市。魏文将徙其人，辛毗引裾而谏，亦见纳用。且明主可以理夺，忠臣不可以威惧。今陛下不纳臣言，瞑目之后，羞见释之、辛毗于地下。陛下作法，悬之象魏，徒流死罪，俱有等差。岂有犯非极刑，即令赐死？法既无常，则万姓何所措其手足？陛下必欲变法，请从今日为始。古人云：‘假使盗长陵一抔土，陛下何以加之？’今陛下以昭陵一株柏杀一将军，千载之后，谓陛下为何主？此臣所以不敢奉制杀善才，陷陛下于不道。”帝意稍解，善才因而免死。
　　不久，狄仁杰被唐高宗任命为侍御史，负责审讯案件，纠劾百官。任职期间，狄仁杰恪守职责，对一些巧媚逢迎，恃宠怙权的权要进行了弹劾。调露元年（679年），司农卿韦弘机作宿羽、高山、上阳等宫，宽敞壮丽。狄仁杰上奏章弹劾韦弘机引导皇帝追求奢泰，韦弘机因此被免职。左司郎中王本立恃恩用事，朝廷畏之。狄仁杰毫不留情的揭露其为非作歹的罪行，请求交付法司审理。唐高宗想宽容包庇王本立，狄仁杰以身护法：“国家虽乏英才，岂少本立辈！陛下何惜罪人以亏王法。必欲曲赦本立，请弃臣于无人之境，为忠贞将来之戒！”王本立最终被定罪，朝廷肃然。后来，狄仁杰官迁度支郎中，唐高宗准备巡幸汾阳宫，以狄仁杰为知顿使，先行布置中途食宿之所。并州长史李冲玄以道出妒女祠，征发数万人别开御道。狄仁杰说：“天子之行，千乘万骑，风伯清尘，雨师洒道，何妒女之害耶？”，俱令作罢，免除了并州数万人的劳役。唐高宗闻之赞叹说“真大丈夫矣！”。
　　武则天垂拱二年（686年），狄仁杰出任宁州（今甘肃宁县、正宁一带）刺史。其时宁州为各民族杂居之地，狄仁杰注意妥善处理少数民族与汉族的关系，“抚和戎夏，内外相安，人得安心”，郡人为他勒碑颂德。是年御史郭翰巡察陇右，宁州歌狄刺史者盈路，郭翰返朝后上表举荐，狄仁杰升为冬官（工部）侍郎，充江南巡抚使。狄仁杰针对当时吴、楚多淫祠的弊俗，奏请焚毁祠庙1700余所，唯留夏禹、吴太伯、季札、伍员四祠，减轻了江南人民的负担。垂拱四年（688年），博州刺史琅琊王李冲起兵反对武则天当政，豫州刺史越王李贞起兵响应，武则天平定了这次宗室叛乱后，派狄仁杰出任豫州刺史。当时，受越王株连的有六、七百人在监，籍没者多达5000人。狄仁杰深知大多数黎民百姓都是被迫在越王军中服役的，因此，上疏武则天说：“此辈咸非本心，伏望哀其诖误。”武则天听从了他的建议，特赦了这批死囚，改杀为流，安抚了百姓，稳定了豫州的局势。其时，平定越王李贞的是宰相张光弼，将士恃功，大肆勒索。狄仁杰没有答应，反而怒斥张光弼杀戮降卒，以邀战功。他说：“乱河南者，一越王贞耳。今一贞死而万贞生。”“明公董戎三十万，平一乱臣，不戢兵锋，纵兵暴横，无罪之人，肝脑涂地。”“但恐冤声腾沸，上彻于天。如得上方斩马剑加于君颈，虽死如归。”狄仁杰义正辞严，张光弼无言可对，但怀恨在心，还朝后奏狄仁杰出言不逊。狄仁杰被贬为复州（今湖北沔阳西南）刺史，入为洛州司马。
　　狄仁杰的才干与名望，已经逐渐得到武则天的赞赏和信任。天授二年（691年）九月，狄仁杰被任命为地官（户部）侍郎、同凤阁鸾台平章事，开始了他短暂的第一次宰相生涯。身居要职，狄仁杰谨慎自持，从严律己。一日，武则天对他说：“卿在汝南，甚有善政，卿欲知谮卿者乎？”狄仁杰谢曰：“陛下以臣为过，臣当改之；陛下明臣无过，臣之幸也。臣不知谮者，并为善友。臣请不知。”武则天对他坦荡豁达的胸怀深为叹服。
　　狄仁杰官居宰相，参与朝政之时，也正是武承嗣显赫一时，踌躇满志之日。他认为狄仁杰将是他被立为皇嗣的障碍之一。长寿二年（693年）正月，武承嗣勾结酷吏来俊臣诬告狄仁杰等大臣谋反，将他们逮捕下狱。当时法律中有一项条款：“一问即承反者例得减死。”来俊臣逼迫狄仁杰承认“谋反”，狄仁杰出以非常之举，立刻服了罪：“大周革命，万物惟新，唐室旧臣，甘从诛戮，反是实！”来俊臣得到满意的口供，将狄仁杰等收监，待日行刑，不复严备。狄仁杰拆被头帛书冤，置棉衣中，请狱吏转告家人去其棉。狄仁杰的儿子狄光远得其冤状，持书上告。武则天召狄仁杰等“谋反”的大臣面询：“承反何也？”狄仁杰从容不迫地答曰：“向若不承反，已死于鞭笞也。”又问：“何为做谢死表？”答曰：“臣无此表。”武则天令人拿出谢死表，才弄清楚是伪造的。于是下令释放此案7人，俱贬为地方官。狄仁杰被贬为彭泽令。如此，狄仁杰运用自己的才智机谋死里逃生。以后，武承嗣欲根除后患，多次奏请诛之，都被武则天拒绝。
　　在彭泽（今江西彭泽）令任内，狄仁杰勤政惠民。赴任当年，彭泽干旱无雨，营佃失时，百姓无粮可食，狄仁杰上奏疏要求朝廷发散赈济，免除租赋，救民于饥馑之中。万岁通天元年（696年）十月，契丹攻陷冀州（今河北临漳），河北震动。为了稳定局势，武则天起用狄仁杰为与冀州相邻的魏州（今河北大名一带）刺史。狄仁杰到职后，改变了前刺史独孤思庄尽趋百姓人城，缮修守具的作法，让百姓返田耕作。契丹部闻之引众北归，使魏州避免了一次灾难。当地百姓歌颂之，相与立碑以记恩惠。不久，狄仁杰升任幽州都督。
　　狄仁杰的社会声望不断提高，武则天为了表彰他的功绩，赐给他紫袍、龟带，并亲自在紫袍上写了“敷政木，守清勤，升显位，励相臣”十二个金字。神功元年（697年）十月，狄仁杰被武则天招回朝中，官拜鸾台侍郎、同凤阁鸾台平章事，加银青光禄大夫，兼纳言，恢复了宰相职务，成为辅佐武则天掌握国家大权的左右手。此时，狄仁杰已年老体衰，力不从心。但他深感个人责任的重大，仍然尽心竭力，关心社会命运和国家前途，提出一些有益于社会和国家的建议或措施，在以后几年国家的社会政治生活中发挥了巨大的作用。
　　圣历元年（698年），武则天的侄儿武承嗣、武三思数次使人游说太后，请立为太子。武则天犹豫不决。狄仁杰以政治家的深谋远虑，劝说武则天顺应民心，还政于庐陵王李显。当时，大臣李昭德等曾劝武则天继续以四子李旦为嗣，但没有为武则天接受。对武则天了解透彻、洞烛机微的狄仁杰从母子亲情的角度从容地劝说她：“立子，则千秋万岁后配食太庙，承继无穷；立侄，则未闻侄为天子而附姑于庙者也。”武则天说：“此朕家事，卿勿预知。”狄仁杰沉着而郑重地回答：“王者以四海为家。四海之内，孰非臣妾？何者不为陛下家事！君为元首，臣为股肱，义同一体。况臣位备宰相，岂得不预知乎？”最终，武则天感悟，听从了狄仁杰的意见，亲自迎接庐陵王李显回宫，立为皇嗣，唐祚得以维系。狄仁杰因此被历代政治家、史学家称为有再造唐室之功的忠臣义士。
　　圣历元年（698年）秋，突厥南下骚扰河北。武则天命太子为河北道元帅、狄仁杰为副元帅征讨突厥。时太子不行，武则天命狄仁杰知元帅事，亲自给狄仁杰送行。突厥默啜可汗尽杀所掠赵、定等州男女万余人退还漠北，狄仁杰追之不及，武则天改任他为河北道安抚大使。面对战乱后的凋残景象，狄仁杰采取了四条措施：一、上疏请求赦免河北诸州，一无所问，使被突厥驱逼行役的无辜百姓乐于回乡生产。二、散粮运以赈贫乏。三、修驿路以济旋师。四、严禁部下侵扰百姓，犯者必斩。很快恢复了河北的安定。
　　久视元年（700年），狄仁杰升为内史（中书令）。这年夏天，武则天到三阳宫避暑，有胡僧邀请她观看安葬舍利（佛骨），奉佛教为国教的武则天答应了。狄仁杰跪于马前拦奏道：“佛者，夷狄之神，不足以屈天下之主。彼胡僧诡橘，直欲邀致万乘所宜临也。”武则天遂中道而还。是年秋天，武则天欲造浮屠大像，预计费用多达数百万，宫不能足，于是诏令天下僧尼日施钱以助。狄仁杰上疏谏曰：“如来设教，以慈悲为主。岂欲劳人，以在虚饰？”“比来水旱不节，当今边境未宁。若费官财，又尽人力，一隅有难，将何以救之？”武则天接受了他的建议罢免了其役。
　　作为一名精忠谋国的宰相，狄仁杰很有知人之明，也常以举贤为意。一次，武则天让他举荐一名将相之才，狄仁杰向她推举了荆州长史张柬之。武则天将张柬之提升为洛州司马。过了几天，又让狄仁杰举荐将相之才，狄仁杰曰：“前荐张柬之，尚未用也。”武则天答已经将他提升了。狄仁杰曰：“臣所荐者可为宰相，非司马也。”由于狄仁杰的大力举荐，张柬之被武则天任命为秋官侍郎，又过了一个时期，升位宰相。后来，在狄仁杰死后的神龙元年（705年），张柬之趁武则天病重，拥戴唐中宗复位，为匡复唐室作出了巨大的贡献。狄仁杰还先后举荐了桓彦范、敬晖、窦怀贞、姚崇等数十位忠贞廉洁、精明干练的官员，他们被武则天委以重任之后，政风为之一变，朝中出现了一种刚正之气。以后，他们都成为唐代中兴名臣。对于少数民族将领，狄仁杰也能举贤荐能。契丹猛将李楷固曾经屡次率兵打败武周军队，后兵败来降，有关部门主张处斩之。狄仁杰认为李楷固有骁将之才，若恕其死罪，必能感恩效节，于是奏请授其官爵，委以专征，武则天接受了他的建议。果然，李楷固等率军讨伐契丹余众，凯旋而归，武则天设宴庆功，举杯对狄仁杰说“公之功也”。由于狄仁杰有知人之明，有人对狄仁杰说：“天下桃李，悉在公门矣”。