První písemná zmínka o Cholticích je z 25. října 1285. Je to listina, kterou král Václav II. dává Záviši z Falkenštejna města Lanškroun, Poličku a hrad Landsperk. Jako svědek tohoto daru podepsal listinu také Beneš z Choltic. Jeho tvrz stála v místě dnešního čp. 5, starého obecního úřadu. Protože zde nebyly žádné vyvýšeniny se strmými srázy, stála na malém poloostrově vybíhajícím do velkého rybníka. Šíje poloostrova byla prokopána širokým příkopem, takže tvrz stála uprostřed vody.
Název osady Choltic je nejspíše odvozen od osobního jména Cholata. Vznikl od spojení „ves lidí Cholatových“, tedy Cholatici, Choletici. Z toho se vytvořil název vesnice Choletice a potom přirozeným jazykovým vývojem Choltice.
Po Benešovi z Choltic držel panství Milota z Choltic. Již v roce 1372 se uvádí další majitel – Mikuláš z Choltic. Pak některý z dalších majitelů rozdělil choltický statek na 2 poloviny. Jednu polovinu prodal 9. 5. 1397 Jindřich z Chlumu a Košumberka řečený Lacembok Janovi z Lipky. Uvést všechno do pořádku s ním měl Beneš z Lipky a Václav Sekerka z Choltic, majitel druhé poloviny panství. Jan z Lipky ale moc dlouho svou polovinu nevlastnil. Majitelem jeho části se stal Aleš Stříbrný. Majitele druhé poloviny Václava Sekerku vystřídal až Jaroslav z Choltic a po něm do roku 1409 Jaroslavova manželka Perchta. Její věno připadlo na krále Václava a ten jej dal Přibíkovi ze Smilkova a Alšovi z Čihoště. Příbuzný Perchty Vítek z Turova uhájil dědictví po Jaroslavovi z Choltic, a to předal jeho sirotkům Bětce a Vaňkovi. Roku 1440 se oba majitelé (Aleš Stříbrný a Vaněk) zúčastnili čáslavského sněmu, aby se obnovil klid a mír v kraji. Král Jiří z Poděbrad se tehdy rozhodl dobýt Prahu a pomáhali mu u toho i oba majitelé Choltic – Janek z Choltic zvaný Štětina (syn Aleše Stříbrného) a Václav Vaněk z Choltic a Ostrova. Po Jankovi z Choltic vlastnili jeho polovinu Bochovcové z Bochova. V roce 1469 přežila choltická i svojšická tvrz vpád uherských vojsk krále Matyáše, táhnoucích proti Jiřímu z Poděbrad.
Dalšími majiteli Choltic byli Boubínští z Újezda, kteří se později přejmenovali na Choltické z Újezda. Byli to bratři, Jaroslav a Petr, každý majitel poloviny Choltic. Za některého ze jmenovaných byla Uhry poškozená tvrz přestavěna na zámek. Byl postaven do čtverce, v jednom rohu s věží. Do čtvercového nádvoří se vcházelo stranou od rybníka Řeháku přes vodní příkop po padacím mostě. Zámek měl 36 místností, kuchyň, spižírnu a 4 sklepy. K zámku patřil i pivovar. Byl chráněn 2 rybníky, bažinou a jedním příkopem. Vodním příkopem s mostem byl zámek oddělen od panského dvora s pivovarem. Jaroslav Choltický z Újezda, s povolením svého bratra Petra, obnovil roku 1490 starší nadaci choltického statku, z níž měl být vybírán jeden student z řad poddaných, který mohl studovat na pražské univerzitě.
Pak v Cholticích zase vládli bratři: Pavel a Diviš. Diviš dostal svůj díl od otce Petra, zatímco bezdětný Jaroslav dal svoji polovinu mladšímu synovi svého bratra Petra – Pavlovi. Asi roku 1514 koupili bratři pustou poběžovickou ves i tvrz od Jana Tuněchodského. Z bratrů byl Pavel průbojnější. Zasedal jako člen komorního soudu v Praze, byl několikrát zvolen krajským hejtmanem a zasedal i u horního soudu v Kutné Hoře. Pavel využil svých známostí a povýšil Choltice na městečko. Městečko dostalo do znaku mlýnský kámen se zkříženými hornickými kladivy. Vedl také četné spory a pro vyrovnání dluhů prodal některé části panství (mezi nimi i část Choltic), a to Hynku Haugvicovi. Ten vše prodal Janu Pleskému z Levína. Po smrti Jana Pleského se o prodanou část Choltic vedly spory. Dědictví se totiž neprávem ujali bratři Dobřenští, majitelé Valů. Zemský soud ale rozhodl, že majiteli se stali sirotci po Martinu Rohovladovi z Bělé – Mikuláš a Jiřík. Na žádost Jana Žitovlického ze Slivna, poručníka obou sirotků, jim soud dovolil toto dědictví prodat.
Tuto část koupil roku 1542 Jiřík Gerštorf z Gerštorfu. Gerštorfové byli rytířský rod lužického původu. V erbu měli štít rozdělený napříč, hořejší část byla červená, dolní byla kolmo rozpůlená na černou a stříbrnou. V části nad štítem měli přilbici a nad ní klobouk se šesti pštrosími pery. Ale již roku 1541 koupil Jiřík Gerštorf od Diviše Slavaty z Chlumu a Košumberka podhořanský statek, část Svinčan od města Chrudimi a v prosinci koupil od Diviše Choltického z Újezda jeho polovinu Choltic. Roku 1556 koupil Jiřík Gerštorf od Viléma Trčky z Lípy vsi Turkovice a Bukovinu. Spojením statku choltického, svinčanského, podhořanského, Lipoltic a Turkovic vzniklo v té době jedno z největších panství v Čechách (celkem 16 vesnic). Jiřík Gerštorf byl podkomořím království českého a spolu s královnou Annou zastupoval krále Ferdinanda. Zemřel 9. 6. 1558, ale již před smrtí rozdělil majetek mezi syny Bernarta a Jana. Bernart dostal díl choltický, Jan svojšický. Protože Jan zemřel, odkázal Jiřík tento díl dvěma jeho synům, svým vnukům, Jiřímu a Hendrychovi, kteří se měli peněžitě vyrovnat se sestrou Ludmilou.
Bernart koupil od Viléma Trčky z Lípy Skupice, Vyžice, Slavkovice, Vápenný Podol, Zhody, Prachovice, Tasovice, Nutice a Chrbokov. Byl také několikrát zvolen hejtmanem chrudimského kraje. Zemřel roku 1574 a byl pochován do hrobky, kterou dal zřídit ve svinčanském kostele. Choltickému panství poté vládla až do své smrti Anna z Ronovce, manželka Bernartova. Anna z Ronovce zemřela roku 1577 a Choltice po ní držel Jiřík nazývaný mladší. Za manželku měl Johanku z Rokyc. Roku 1601 přikoupil Řeztoky, 1612 Chroustovice, Lhotku, Městec, Ostrov, Opočno, Stradouň, Radhošť a Týništko. Díky své rozšafnosti, rozvaze a moudrosti stál Jiřík mladší z Gerštorfu v čele českých rytířských rodů. Často zastával úřad chrudimského krajského hejtmana, byl zemským soudcem a císařským radou. Díky jeho moudrosti byla v Cholticích roku 1606 založena škola, která byla umístěna v panské budově. Roku 1609 byl zvolen defenzorem České konfese.
Jiřík mladší z Gerštorfu zemřel 29. 4. 1612, čtrnáct dní po úmrtí své devítileté dcery Salomeny a byl jako poslední z mužských členů rodu pochován ve svinčanském kostele. Svůj majetek rozdělil mezi děti Bernarta, Mikuláše, Štěpána, Jindřicha a Alenu. Ačkoliv byl majetek rozdělen mezi děti, hospodařila jím jejich matka Johanka. Závětí z roku 1615 rozdělila Johanka také svůj majetek mezi děti. Teprve po její smrti (asi roku 1620) se děti o majetek rozdělily podle přání rodičů. Nezletilý Jindřich, který studoval v Praze, držel Choltice a ty za něho spravoval Štěpán. Bernart i Štěpán byli po otci dobrými hospodáři a také vyznavači České konfese. Štěpán byl zvolen jejím defenzorem. Po bitvě na Bílé hoře bylo Štěpánovi rozhodnutím soudu z roku 1623 zkonfiskováno celé jmění, Bernartovi jedna třetina a oba bratři byli vypovězeni ze země. Nastoupil nový rod – Thunové.