сами шейдеры содержат просто набор программ для видеокарты на языке GLSL. Они принимают данные с игры, обрабатывает их и выдаёт нужную картинку
iris/optifine подменяют рендеринг на свой и добавляют ещё больше возможностей для программ и шейдеров
а с вулканом кстати старые шейдеры могут не работать, если только разрабы iris не сделают конвертер, но скорее всего моджанг свой инструмент выкатят но уже на вулкане
грубо описал для общего понимания