高迁古村为浙东南吴氏家族主要聚居地之一，是典型的血缘聚居村落，现存村落格局于清乾隆至咸丰年间形成。仙居吴氏是春秋战国吴国的后代。据考，春秋越王勾践灭吴后，吴氏子孙散居在吴、楚、闽、越等地，至唐高宗年间(650-683 )吴王寿梦第四子季札61世孙吴原授官处州青田，为青田吴氏始祖。其后裔后梁银青光禄大夫吴全智公，于唐光化己未（898）从遂昌迁至仙居，住下砾。后其11世孙吴括、吴椿于宋孝宗淳熙年间(1174-1189)迁居高迁，栝，为东宅（厚仁）始祖，吴椿自下砾迁居高迁为西宅始祖。此后栝、椿子孙繁衍最为兴盛，发展有80多个村庄(包括厚仁、吴桥、前垟、东垟、金店、上叶等)。尔后，吴氏迁居温州、永嘉、永康、东阳、缙云等外县的共计约204888人。

仙居吴氏因人丁兴旺，后分为东、西两派，以便于修谱。高迁村居住的是西宅吴氏。而西宅吴氏七世孙吴允昭之后裔至西宅吴氏十七世孙浙东道副都元帅、怀远将军吴熟，均择居于前宅，此宅后称“吴太依”，旧屋门堂仍在。

西宅吴氏宗族中在古代有名望的有吴芾(1104-1183，官至吏部侍郎、龙图阁直学士)，吴坚(1213-1276，官至左丞相兼枢密使)、吴时来(1213-1276，官至左都御史)等。西宅吴氏历代共有进士十五人，历官衔者六十三人，举人秀才无数。