決定木アルゴリズムにおいて、情報利得の計算に使用されるのはどの基準ですか？

決定木アルゴリズムにおける情報利得の計算には、シャノンエントロピーが主に使用されます。情報利得は、分割前と分割後のエントロピーの差として定義され、情報の「純粋度」の向上を測定します。エントロピーが低いほど、データの不確実性が低くなり、結果的に情報利得が大きくなるため、特にエントロピーが低下する選択肢を優先することで、効率的な決定木が構築されます。