Однозначно можно ответить, что это высокорослое дерево создает тень на большую часть вашего участка, а это отрицательно сказывается на росте и плодоношению садовых и огородных культур. А корни этого дерева истощают почву.

Если вы серьёзно занимаетесь огородом, то каштан лучше спилить.