Thời Quang Vũ Hoàng đế Lưu Tú nhà Đông Hán tại vị, Hoàn Vinh nhậm chức Nghị lang, làm thầy dạy Thái tử đọc sách. Hoàn Vinh bác học đôn hậu, Quang Vũ Đế đối với ông mười phần vừa lòng.
Hoàn Vinh năm ấy khoảng 60 tuổi, trước đó tại Cửu Giang lập trường dạy học, thu nạp được mấy trăm đệ tử. Đệ tử của ông là Hà Thang được đề bạt làm Hổ bí Trung lang tướng, cũng chính do Hà Thang tiến cử, Quang Vũ Đế mới triệu mời Hoàn Vinh. Thầy giáo vào triều ngày đầu tiên Hà Thang liền nhắc nhở ông rằng: “Việc học với việc làm quan thì hoàn toàn không giống nhau. Việc học thì giảng cứu nghiêm cẩn, chăm chú, còn làm quan thì chú trọng thông dung, ứng biến. Sư phụ hữu kỳ ngộ, không thể cố chấp quá”.
Hoàn Vinh chưa nói tiếng nào, Hà Thang liền tiếp: “Hoàng thượng tuy là minh quân, nhưng cũng thích những lời nịnh nọt sướng tai, Thái tử càng không thể đắc tội, Sư phụ đối với thái tử không thể quá nghiêm khắc”.
Hoàn Vinh nghe ông ta nói xong, mất hứng nói: “Ông là đệ tử của ta, chẳng lẽ còn không hiểu thầy sao? Thầy cả đời chuyên học, hết sức yêu thích đạo lý quân tử, vốn không có ý muốn làm quan. Nay thấy thiên hạ yên ổn, thiên tử thánh minh, cho nên mới theo lời triệu mời. Ông làm quan không lâu, đã học được những thứ đạo lý quyền thuật siểm mị chốn quan trường, còn quay lại dạy ta, ta thực sự cảm thấy thật là thương tâm”.
Hoàn Vinh vì vậy từ quan, Quang Vũ Đế không phê chuẩn, cùng Hoàn Vinh nói chuyện mấy lần. Quang Vũ Đế hết lời ca tụng Hoàn Vinh, bảo rằng: “Khanh nói thật là hay lắm, có được khanh thật là đại hạnh cho quốc gia, chỉ tiếc là hơi quá muộn một chút”.
Hoàng đế lập tức phong Hoàn Vinh làm Bác sỹ, không ngờ Hoàn Vinh kiên quyết chối từ, nói rằng: “Thần vô đức vô năng, bệ hạ nhất thời vui vẻ, cho nên phong quan chức cho thần, đó không phải là quyết định chín chắn. Nếu nói về học vấn, thần không bì kịp đồng học là Lang trung Bành Hoành, quan Tòng sự Dương Châu là Cao Hoằng, bệ hạ nên trọng dụng những người này thì thích hợp hơn”.
Quang Vũ Đế cảm khái nói: “Người đọc sách tuy miệng không nói Lợi, cũng không cầu Danh, song có mấy người có thể chân chính làm được như thế? Ông là người quân tử khó lòng tìm được, tự mình khiêm nhường không nói đến, còn có thể tiến cử người khác, không màng quyền vị”. Vì vậy kiên trì để cho ông đảm nhiệm chức Bác sỹ, còn đề bạt Bành Hoành, Cao Hoằng làm quan Nghị lang.
Bành, Cao hai người đến cảm tạ Hoàn Vinh, Hoàn Vinh cũng không để bọn họ vào nhà, sai người truyền lời lại: “Thiên tử thánh minh mới có thể trọng dụng các ông, ta có can thiệp gì đâu? Muốn tạ ơn, các ông hãy tạ ơn Hoàng thượng, chuyên cần chính sự, vì nước tận trung, đó mới là việc các ông nên làm”.
Một lần, Quang Vũ hoàng đế đến Thái học viện thị sát, gặp lúc các vị Bác sỹ tranh luận với nhau mãi không dứt, không ít người tranh cãi đến mức đỏ mặt tía tai, thao thao bất tuyệt, chỉ có Hoàn Vinh ngôn từ ôn hòa, cũng không có sắc vẻ bất kính. Quang Vũ đế nói với quan viên tùy tùng: “Có lý có kính, lúc này mới thấy bản sắc của người nho sỹ, chỉ có mỗi Hoàn Vinh làm được thôi”.
Quang Vũ đế vài lần muốn thăng quan cho Hoàn Vinh, ông đều từ tạ nói: “Bệ hạ yêu chuộng thần, đó là vạn phần vinh hạnh cho thần. Thần đối với nước cũng không có công lớn, nếu được thụ hưởng, tất để bệ hạ bị người ta dị nghị, nói rằng bệ hạ phong quan bất công. Như vậy bệ hạ có hiềm, còn thần thì khó kham được”.
Sự học của Thái tử có nhiều tiến bộ, Hoàn Vinh trong lòng rất vui, nhưng lại khước từ chức vị Thái tử Sư phó. Ông vài lần dâng thư Quang Vũ Đế: “Thần được bệ hạ hậu ái, may mắn được dạy Thái tử, ngày nay Thái tử bằng kỳ thông tuệ, kinh nghĩa làu thông, thần nên từ quan trở về”.
Có người khuyên ông không nên xin từ quan, lại nói: “Là thầy của Thái tử, đó là gốc rễ vinh diệu, ngày sau Thái tử đăng cơ, vinh hoa phú quý càng không thể đo lường được. Người khác cầu còn không được, sao ông lại từ bỏ nhẹ nhàng thế?”.
Hoàn Vinh trả lời: “Nếu nghĩ như ông, ta làm sao có năng lực làm thầy của Thái tử đây? Chính là vì chức này quá vinh sủng, ta mới không dám nhận”.
Thái tử Lưu Trang sau này lên ngôi, là Hán Minh Đế. Hán Minh Đế hết sức kính trọng Hoàn Vinh, “Do tôn Hoàn Vinh dĩ sư lễ” (đối với Hoàn Vinh dùng lễ dành cho thầy giáo). Vua từng đích thân đến Thái thường phủ, để cho Hoàn Vinh ngồi hướng Đông, thiết trí bày biện như ngày Hoàn Vinh dạy Thái tử học năm xưa, để được nghe thầy chỉ giáo. Vua còn triệu mấy trăm quan lại cùng với mấy trăm người từng là học trò của Hoàn Vinh đến Thái thường phủ, hướng lên Hoàn Vinh hành lễ đệ tử. Hoàn Vinh sinh bệnh, Hán Minh Đế đích thân đến thăm viếng. Mỗi lần đến thăm Sư phụ, sắp đến nơi Vua đều xuống khỏi xe ngựa, đi bộ tới trước nhà Hoàn Vinh, tỏ lòng tôn kính.
Hoàn Vinh qua đời, Hán Minh Đế tự mình mặc tang phục mà dự tang lễ.