在罪刑法定原则之下，犯罪就是法律规定应当受到刑罚处罚的危害社会的行为，也就是立法者认为应当使用最为严厉的法律（刑法）来惩罚的行为。换句话说，一个行为没有被规定为犯罪，那就是立法者认为这个行为尚不足以使用刑法来进行惩罚。对于题主的问题来说，那就是立法者认为普通的出轨行为不够恶劣，不足以使用刑法进行惩罚。
立法者的观点并非一成不变，而是随着时代发展而不断变化的。也正是如此，中华人民共和国分别在 1979 年和 1997 年分别颁布过两部刑法典，而现行有效的 1997 年刑法在颁布之后，至今已经陆续颁布过十个修正案，其中对哪些行为构成犯罪也作了一些增减。立法者认为某一行为不应受到刑罚处罚，有可能是因为立法者当时并没有考虑到这个问题（或者当时这个问题并不普遍甚至并不存在），因而没有把它规定为犯罪，例如 1997 年的刑法新增了一种犯罪叫做「破坏计算机信息系统罪」，这应该是 1979 年刑法的制定者没有想到的。也有可能是因为立法者已经考虑到了这个问题，但经过认真考虑而没有把它规定为犯罪——出轨行为就是这种情形。
最近被授予「人民教育家」的我国著名刑法学家高铭暄教授，是我国刑法典起草过程的亲历者。他的著作《中华人民共和国刑法的孕育诞生和发展完善》一书中介绍了有关的过程——
1954 年 10 月，全国人大常委会办公厅法律室就开始起草刑法。刑法起草过程的 38 稿草案中，最著名的是 1957 年 6 月 28 日的第 22 稿和 1963 年 10 月 9 日的第 33 稿。在第 33 稿中的第一百六十九条第一款规定了「破坏他人婚姻家庭罪」，它的内容是：「破坏他人婚姻家庭，情节严重的，处五年以下有期徒刑或者拘役。」这一条款是第 22 稿没有的，而在第 33 稿之后的草案中又删除了。
对此，高铭暄解释道：「是否把通奸规定为犯罪，在刑法起草过程中历来有争论。主张规定的理由是：（1）通奸影响家庭和睦，影响生产，并容易发生杀伤人命等后果，对社会治安危害很大，应当处刑。（2）有的情节很严重，屡教不改，告了不管，群众接受不了，你不管他自己管，更容易发生严重后果。（3）将通奸规定为亲告罪，不告不理，处罚面也不致过宽。（4）各地法院过去对情节严重的通奸，实际上也是处理的。主张不规定的理由是：（1）通奸是旧婚姻制度和旧思想意识带来的不良现象，基本上是道德问题；主要应靠加强道德教育和树立良好的社会风气逐步加以克服，必要时辅之以党纪、政纪处分，靠刑罚解决不了。（2）通奸问题比较普遍，“法不治众”，如果规定为犯罪，就会牵制司法机关很大一部分力量处理这种案件，而且处不胜处，效果到底如何，却令人怀疑。（3）世界上除极少几个国家的刑法对通奸作了规定，绝大多数国家都没有规定通奸罪，我们要是规定了，似乎太显眼了。（4）有的人一贯乱搞男女关系，搞了很多人，引起广大群众的强烈不满，这实质上是情节恶劣的流氓行为，可以按流氓罪论处；还有的因通奸而造成虐待、遗弃甚至伤人、杀人等后果的，也应依照有关规定处罚。因此不能理解为是法律对这种行为的放纵。」接着，高铭暄说：「上述两种意见都有一定道理。第 22 稿主要采纳了第二种意见，所以就没有写通奸这一条。第 33 稿主要采纳了第一种意见，所以又把这条写上了。到了修订第 33 稿时，又感到第二种意见更值得考虑，所以又把这条删除了。」
相信透过刑法立法过程亲历者高铭暄教授的介绍，我们可以从中得知一些我国刑法为何没有「通奸罪」的背景信息。另外我还想说的是，我国刑法只是没有将一般的出轨行为规定为犯罪，但是有两种特殊出轨行为还是规定为犯罪的——一是重婚罪；二是破坏军婚罪。
参考文献：（1）高铭暄著《中华人民共和国刑法的孕育诞生和发展完善》；（2）高铭暄、赵秉志编《新中国刑法立法文献资料总览》。
来源：知乎