公元8世纪前后，大量犹太人沿着丝绸之路来到中国，之后也通过海路到达中国沿海地区。虽然有少数学者认为犹太人是在汉代和周朝来到中国的，但史学界并没有相关的证据能够证明在这个时间就来到了中国。进入中国后，犹太人分散在中国各地，直到宋朝才形成开封犹太人的社会团体。
北宋时期，一些犹太人来到中国的首都东京，受到了宋朝当局的友好接待。宋朝允许他们定居、迁徙、就业、学习、通婚和经商。他们也可以保持自己的文化信仰和习惯。此后，犹太人定居中国，开封离洛阳不远，于是一些犹太人来到洛阳居住。
在这样一个稳定宽松的社会环境下，犹太人流露出了他们与生俱来的商业头脑，开始成为一个富裕的阶层，参加科举考试。与此同时，他们的宗教活动日益活跃。1163年，犹太人在开封建立了第一座犹太教堂。在与汉族融合的过程中，犹太人开始用中国姓氏学习中国儒学。与其他民族通婚后，开始穿汉族服饰，按照汉人的礼仪待人接物，传统文化趋于淡化。
1642年黄河决堤，犹太人的教堂被毁，许多经文丢失。1663年，犹太的教堂重建，只收回了部分经文。犹太人重新团聚后，人口锐减至2000人以下。17世纪后，河南地区的犹太人基本上与外界的犹太人失去了联系，到了19世纪中叶，没有拉比，没有能理解希伯来语，教的人，宗教活动被迫停止，犹太文化彻底失去了传承。