Как сделать такие же края у изображения в photoshop/illustrator при помощи эффектов/кистей

В иллюстраторе есть фильтр Roughen (Шерховатость), который как раз делает такие края у объектов, как на первой вашей картинке. Причём для программы края объектов остаются ровными, что не утяжеляет размер файла.

Вторая — скорее всего всё-таки растровая графика, кисти из набора всяких имитаций мела, карандша и угля. Квадраты ровные, потому что удерживали Shift, проводя линию. Хотя можно и вектором такое сделать, применяя кисти, как выше Honaro написал. Могли вообще отрисовать всё в векторе, а потом применить текстуры и шумы или пройтись шерховатым ластиком (судя по тому, что там "меловой" эффект применён и к наборному тексту).

Третья — однозначно растр, рисованный цифровыми кистями. Кисти — любые с шершавой структурой. И Фотошопе и в любых других рисовалках таких полно.

"Эффекты" подобные тому, что на последнем изображении достигаются либо ограничением палитры с использованием дизеринга, либо отрисовываются кистью, либо наложением слоя с текстурой. Это может быть текстурная кисть, состоящая из мелких точек, либо простая круглая с включенным параметром "рассеивание". Возможно использовать одновременно то и другое...
Неровные края могут быть результатом применения любого фильтра из набора фильтров "искажение".

Ну, вот, например, кисть из стандартного набора. Но все же давайте Вы сами почитаете учебник и посмотрите уроки как использовать кисти и делать их самостоятельно. И уж тем более в Крите.