Группа взаимосвязанных операций, которые обладают следующими свойствами: атомарность, непротиворечивость, изолированность и долговечность.

Одно из наиболее адекватных, на наш взгляд, определений удалось найти на сайте ibm.com в статье Теория и практика Java: Понимание JTS - Введение в транзакции. В двух словах оно выглядит так:

Транзакция — группа взаимосвязанных операций, которые обладают следующими свойствами: атомарность, непротиворечивость, изолированность и долговечность. То есть транзакция — едимая и неделимая операция, не должна нарушать целостность приложения, ее результаты не должны влиять на другие транзакции, изменения должны сохраняться при сбоях системы(в журнале транзакций например).

Другую иноформацию о транзакциях с примерами можно получить на сайте wikipedia