Assembler лаба не могу разобраться

Не вижу здесь Ассемблер, вижу Паскаль со встроенным ассемблером, а это не одно и то же.

32-разрядный Integer, Smallint... -это явно не Turbo Pascal, это или Delphi, или Free Pascal, т. е. 32-разрядные диалекты Паскаля.
Тогда не понятно, почему вы используете 16-разрядные регистры?

Integer и Smallint - целые типы со знаком, а вы используете беззнаковые операции умножения и деления.
Первую формулу я бы реализовала так:

asm
    mov eax, a
    cdq
    movzx ecx, b
    idiv ecx
    movsx ecx, c
    imul ecx
    mov D, eax
end;

А вторую так:

asm
    movsx eax, c
    imul eax
    movzx ecx, b
    div ecx //Здесь уже можно использовать беззнаковое деление, т. к. c^2 неотрицательное число
    sub eax, a //Результат предыдущего деления уже 32-разрядный
    mov E, eax
end;

Но если вам требуется использовать команды процессора i8086 (16-разрядного) , то это можно сделать так:

asm
    mov ax, C
    imul ax
    mov cl, B
    xor ch, ch
    div cx
    cwd //Расширение 16-разрядного операнда в ax до 32-разрядного в dx:ax
    sub ax, word ptr A
    mov word ptr E, ax
    sbb dx, word ptr A[2]
    mov word ptr E[2], dx
end;

В последнем случае возможно возбуждение исключения по ошибке деления при определённых сочетаниях значений C и B, когда результат вычисления C^2/B получается больше 65535 и целиком не умещается в регистр ax (переполнение частного).