В чем суть вопроса. Как осуществить считывание чисел с JPanel? (Бегает Курсор (при нажатие на стрелку перерисовывается квадратик) и при нажатии на цифры, буквы в нем появляется символ. Как потом можно считать этот символ??)
А кто делал чтобы он появлялся? Вы же сами наверное и делали.
Для таких случаев надо использовать классы-модели, в которых будет храниться состояние ваших квадратиков/стрелочек/буковок/циферок. Вот именно с этих классов надо рисовать на JPanel и вообще где хотите. И именно объекты этих классов надо изменять при нажатии на эту бедную панель. И именно из них же и узнаётся что где лежит.
Почитайте хотя бы про ту же MVC на досуге. . Хоть концепцию поймите - "зачем оно надо".
Если вам это слишком сложно и непонятно, то хотя бы пошлите код на paste.bin, чтобы люди могли что-то конкретное предложить.
В своей реализации и сути JPanel не связана с появляющимися символами. На ваш "конкретный" вопрос можно ответить только одно: прочитайте про Pattern Recognition . Оно очень помогает в считывании символов.. . 
⇢