洗耳潭位于内九水，“洗耳”语出《高士传·许由》：“尧欲召我为九州长，恶闻其声，是故洗耳。”是说许由归隐之后不久，尧又来请他出山做九州长官，他听后，不但不同意，还转身到颍水边去清洗自己的耳朵，表示别说出山做官，就是连做官这样的庸俗话语也不愿听到；一听耳朵也是要脏的，所以要洗耳朵。