Заявка: идемпотентные вебхуки, или как мы дважды провели один платёж

Хочу рассказать на ноябрьской встрече минут 15 про вебхуки от платёжной системы. История такая: платёжка прислала одно и то же уведомление три раза за 40 секунд, наш обработчик в Sidekiq дважды честно провёл платёж, клиенту на баланс упали деньги два раза, а потом неделю разбирались с бухгалтерией. Ничего экзотического, просто никто не принял всерьёз, что «доставка хотя бы один раз» значит ровно это. Покажу, как сделали: уникальный индекс на id события и запись события в той же транзакции, что и проводка.

class PaymentWebhookJob
  include Sidekiq::Job
  sidekiq_options retry: 10

  def perform(event_id, payload)
    ActiveRecord::Base.transaction do
      WebhookEvent.create!(external_id: event_id, payload: payload)
      Payments::Apply.call(payload)
    end
  rescue ActiveRecord::RecordNotUnique
    Rails.logger.info("duplicate webhook #{event_id}")
  end
end

Если проводка упала, транзакция откатится вместе с записью события и ретрай пройдёт заново. Отдельно расскажу, почему 25 ретраев по умолчанию для платежей опасны.