長文・複合入力に対応する解析基盤を強化

自然文、コード、構造化データなどが混在する長い入力を、より効率的に扱うための入力解析基盤を強化しました。

入力全体を一律に重く解析するのではなく、まず軽量に特徴や境界の候補を観測し、必要な部分だけを詳しく解析する段階的な方式へ移行しています。これにより、長文入力でも処理負荷を抑えながら、内容の構造を捉えやすくなりました。

今後のChunk分割、Tag / Keyword抽出、RoutingなどへつながるInput Foundationの中核として、複雑な入力を扱うための土台を整えています。