Tüm yazılar
·7 dk okuma·ShamashAi Ekibi

ShamashAi'da Proje Bazlı Retention: Her Müşteri İçin Farklı Saklama

ShamashAi'nin proje bazlı retention yönetimi, KVKK ve 5651 zorunluluklarına uygun olarak her müşteri için farklı event saklama süresi tanımlamanızı sağlar. Tek bir global ayar yerine projects.retention_days kolonuyla esnek çözüm.

Cuma Sabahı 08:45: Müşteri Site Yöneticisinin Telefonu

Cuma sabahı 08:45'te telefon çalıyor. Arayan, kurumsal sağlık hizmetleri sağlayan bir müşterinizin IT compliance sorumlusu. "ShamashAi'da tüm event'ler 90 gün sonra siliniyor," diyor, "ama KVKK Madde 12 uyarınca biz hasta kayıtlarına erişim loglarını en az 1 yıl saklamalıyız. Aynı zamanda finansal işlem logları için 5651 gereği 2 yıl zorunluluk var. Oysa başka bir müşterimiz — perakende — sadece 60 gün yeterli diyor, disk maliyetinden kaçınmak için. Tek bir global retention ayarı bu farklı gereksinimlere nasıl cevap verecek?"

Bu soru, on-prem SIEM'lerin en göz ardı edilen operasyonel sorunlarından birini işaret ediyor: retention heterojenliği. Tek bir tenant içinde birden fazla müşteri projesini yöneten servis sağlayıcılar veya grup şirketler, her birimin farklı yasal, operasyonel veya maliyet gereksinimleriyle karşılaşıyor. ShamashAi'nin proje bazlı retention yönetimi, bu sorunu projects.retention_days kolonu ve gece cleanup job'ı ile çözüyor.


ShamashAi'da Proje Bazlı Retention Mimarisi

ShamashAi, event saklama süresini her proje için bağımsız olarak yapılandırmanıza izin verir. Bu mimari, üç temel bileşen üzerine kurulu:

1. projects.retention_days Kolonu

dbo.projects tablosunda her proje için retention_days kolonu bulunuyor. Varsayılan değer 90 gün. Bir projeye özel retention süresi tanımlamak için:

javascript // Node.js Fastify API örneği fastify.put('/projects/:id/retention', async (request, reply) => { const { id } = request.params; const { retention_days } = request.body;

// Validation: 30-730 gün arası (2 yıl) if (retention_days < 30 || retention_days > 730) { return reply.status(400).send({ error: 'Retention 30-730 gün arası olmalı' }); }

await request.mssql.query` UPDATE dbo.projects SET retention_days = ${retention_days}, updated_at = GETUTCDATE() WHERE id = ${id} `;

return { project_id: id, retention_days }; });

Bu örnekte, frontend Next.js uygulamasından gelen PUT isteği, ilgili projenin retention_days değerini günceller. Validation katmanı, minimum 30 gün (operasyonel minimum) ve maksimum 730 gün (v1.4 teknik limiti) kontrol eder.

2. Gece Cleanup Job'ı

Her gece 03:00'te (sunucu timezone'u UTC+3 Türkiye saati) otomatik cleanup job'ı çalışır. Bu job, her proje için retention_days değerini okuyarak eski event'leri siler:

sql -- ShamashAi cleanup job SQL Server prosedürü DECLARE @project_id INT; DECLARE @retention_days INT; DECLARE @cutoff_date DATETIME; DECLARE @deleted_rows INT = 0;

DECLARE project_cursor CURSOR FOR SELECT id, retention_days FROM dbo.projects WHERE is_active = 1;

OPEN project_cursor; FETCH NEXT FROM project_cursor INTO @project_id, @retention_days;

WHILE @@FETCH_STATUS = 0 BEGIN SET @cutoff_date = DATEADD(DAY, -@retention_days, GETUTCDATE());

DELETE FROM dbo.events WHERE project_id = @project_id AND timestamp < @cutoff_date;

SET @deleted_rows = @deleted_rows + @@ROWCOUNT;

FETCH NEXT FROM project_cursor INTO @project_id, @retention_days; END;

CLOSE project_cursor; DEALLOCATE project_cursor;

INSERT INTO dbo.audit_log (event_type, message, deleted_rows, timestamp) VALUES ('RETENTION_CLEANUP', 'Otomatik cleanup tamamlandı', @deleted_rows, GETUTCDATE());

Bu prosedür, her aktif proje için ayrı cutoff_date hesaplayarak dbo.events tablosundan eski kayıtları siler. Toplam silinen satır sayısı dbo.audit_log tablosuna yazılır.

3. Manuel Cleanup ve İstatistikler

Bazı durumlarda — örneğin acil disk alanı temizliği veya müşteri talebi — manuel cleanup tetiklemek gerekebilir:

javascript // Manuel cleanup endpoint fastify.post('/retention/run', async (request, reply) => { const { project_id } = request.body; // Opsiyonel: tek proje için

const result = await request.mssql.query` EXEC dbo.sp_retention_cleanup @project_id = ${project_id || null} `;

return { status: 'completed', deleted_rows: result.recordset[0].deleted_rows, timestamp: new Date().toISOString() }; });

Son cleanup zamanı ve temizlenen satır sayısını sorgulamak için:

javascript // Retention istatistikleri fastify.get('/retention/stats', async (request, reply) => { const stats = await request.mssql.query` SELECT TOP 10 timestamp, deleted_rows, message FROM dbo.audit_log WHERE event_type = 'RETENTION_CLEANUP' ORDER BY timestamp DESC `;

return { cleanup_history: stats.recordset }; });

Bu endpoint, son 10 cleanup işleminin tarih, silinen satır sayısı ve mesaj detayını döner. Operations ekibi bu veriyle cleanup performansını izleyebilir.


Retention-Immune Tablolar

Önemli bir nokta: bazı tablolar retention ayarlarından muaftır. Yasal ve operasyonel gereksinimler nedeniyle şu tablolar hiçbir zaman otomatik temizlenmez:

  • dbo.audit_log: Tüm sistem işlemlerinin denetim kaydı. ISO 27001:2022 Annex A.8.15 (Logging) uyarınca kalıcı saklanmalı.
  • dbo.soar_actions: SOAR Engine tarafından gerçekleştirilen otomatik eylemler. Olay müdahale zincirinin kanıtı olarak saklanır.
  • dbo.maintenance_windows: Planlı bakım pencereleri. Geçmiş bakım kayıtları, false-positive analizi için gerekli.
Bu tablolar için retention yönetimi, v1.4'te manuel export/archive prosedürlerine bırakılmıştır. Örneğin, audit_log tablosu yılda bir kez SQL Server Backup ile harici depolama alanına taşınabilir.

KVKK ve 5651 Uyumluluğu

KVKK Madde 12: Veri Saklama Süresi

KVKK Madde 12, "kişisel verilerin işlendikleri amaç için gerekli olan süre kadar saklanmasını" öngörüyor. Bu süre, sektöre ve veri türüne göre değişiyor:

  • Sağlık sektörü: Hasta kayıtlarına erişim logları genellikle 10 yıl (Hasta Hakları Yönetmeliği Madde 15).
  • Finans: Müşteri işlem logları 10 yıl (Bankacılık Kanunu Madde 73/4).
  • Perakende: Müşteri davranış analizi için 6-12 ay yeterli.
ShamashAi'da her proje için farklı retention_days tanımlayarak bu heterojen gereksinimlere uyum sağlarsınız. Örneğin:

javascript // Sağlık projesi: 365 gün await fastify.inject({ method: 'PUT', url: '/projects/23/retention', payload: { retention_days: 365 } });

// Perakende projesi: 180 gün await fastify.inject({ method: 'PUT', url: '/projects/45/retention', payload: { retention_days: 180 } });

5651 Sayılı Kanun: 2 Yıllık Arşiv Zorunluluğu

5651 sayılı İnternet Ortamında Yapılan Yayınların Düzenlenmesi Hakkında Kanun, internet erişim sağlayıcılarını ve bazı içerik sağlayıcıları trafik kayıtlarını 2 yıl saklamaya zorluyor. Ancak ShamashAi v1.4, maksimum 730 gün (2 yıl) retention destekliyor, ancak bu süre event'ler için.

Önemli not: 5651 kapsamındaki yasal arşiv zorunluluğu, genellikle ham network trafiği (NetFlow, packet capture) ve ISP loglarını kapsar — SIEM event'lerini değil. ShamashAi roadmap'inde v1.5 için:

  • Long-term archive modülü: dbo.events tablosundan 2 yıl öncesi kayıtlar, sıkıştırılmış Parquet dosyalarına export edilecek.
  • Compliance evidence pack: 5651 denetimi için gereken log alanları (src_ip, dst_ip, timestamp, user) otomatik filtrelenerek raporlanacak.
Şu anda bu özellik aktif değil; pilot programındaki kurumlar için gerekirse özel çözüm geliştirilir.

Gerçek Dünya Senaryosu: Holding Şirketi

Bir holding şirketi, ShamashAi'yı dört farklı bağlı şirket için kullanıyor:

| Proje | Sektör | Retention (Gün) | Gerekçe | |-------|--------|-----------------|----------| | prj_finans | Finans | 730 | 5651 + BDDK mevzuatı | | prj_saglik | Sağlık | 365 | KVKK + Hasta Hakları | | prj_perakende | Perakende | 180 | Operasyonel analiz | | prj_lojistik | Lojistik | 90 | Varsayılan, yasal zorunluluk yok |

Her projenin retention'ı ayrı ayarlandığı için:

  • Finans projesi, 2 yıllık trafik loglarını saklar.
  • Perakende projesi, disk maliyetini düşük tutar (180 gün).
  • Lojistik projesi, varsayılan 90 gün ile yetinir.
Gece cleanup job'ı her proje için bağımsız çalışır:

2026-11-16 03:15:42 | RETENTION_CLEANUP | prj_finans | cutoff=2024-11-16 | deleted=0 rows 2026-11-16 03:17:18 | RETENTION_CLEANUP | prj_saglik | cutoff=2025-11-16 | deleted=12,403 rows 2026-11-16 03:18:51 | RETENTION_CLEANUP | prj_perakende | cutoff=2026-05-19 | deleted=8,291 rows 2026-11-16 03:19:22 | RETENTION_CLEANUP | prj_lojistik | cutoff=2026-08-17 | deleted=15,678 rows

Bu log çıktısında, finans projesinde hiçbir kayıt silinmemiş (730 gün içinde hepsi), diğerlerinde retention süresini aşan event'ler temizlenmiş.


Disk Alanı ve Performans

Retention yönetimi, SQL Server dbo.events tablosunun boyutunu doğrudan etkiler. ShamashAi'da tipik bir event kaydı ~800 byte. Günlük 100,000 event üretilen bir ortamda:

  • 90 gün: ~7.2 GB
  • 180 gün: ~14.4 GB
  • 365 gün: ~29.2 GB
  • 730 gün: ~58.4 GB
Gece cleanup job'ı, DELETE işlemi sırasında SQL Server transaction log'unu şişirebilir. ShamashAi'nin cleanup prosedürü, bu nedenle batch silme kullanır:

sql WHILE 1 = 1 BEGIN DELETE TOP (10000) FROM dbo.events WHERE project_id = @project_id AND timestamp < @cutoff_date;

IF @@ROWCOUNT = 0 BREAK;

WAITFOR DELAY '00:00:02'; -- 2 saniye bekleme, transaction log'u rahatlatmak için END;

Bu yaklaşım, büyük retention değişikliklerinde (örneğin 365 günden 90 güne düşürme) sunucuyu kilitlemez.


.NET Agent ve Retention

ShamashAi .NET 8 agent'ları, cihazlardan event toplarken retention ayarını bilmez — bu tamamen sunucu tarafı bir karardır. Ancak agent, POST /events/bulk endpoint'ine event gönderirken project_id parametresini ekler:

csharp // ShamashAi .NET 8 Agent örneği var eventBatch = new EventBatch { ProjectId = agentConfig.ProjectId, // Agent config'den geliyor Events = collectedEvents };

var response = await httpClient.PostAsJsonAsync( "https://siem.example.com/events/bulk", eventBatch );

Sunucu, gelen event'i dbo.events tablosuna yazarken project_id kolonunu doldurur. Böylece cleanup job'ı, event'in hangi projeye ait olduğunu bilir ve doğru retention ayarını uygular.


Limitler ve Dürüst Notlar

  • Maksimum retention 730 gün: v1.4 teknik limiti. 5651 kapsamında 2 yıldan fazla saklama gerekiyorsa, long-term archive modülü v1.5'te gelecek.
  • Retention-immune tabloların manuel yönetimi: audit_log, soar_actions, maintenance_windows otomatik temizlenmez. Yıllık manuel export/backup prosedürü gerekir.
  • Cleanup performansı: Çok büyük tablolarda (>100M satır) gece job'ı 1 saatten fazla sürebilir. Batch silme ve WAITFOR DELAY ile optimize edilmiş, ama çok yüksek event rate'lerde (>500K/gün) disk I/O darboğaz olabilir.
  • Proje silme ve orphan event'ler: Bir proje silinirse, ait event'ler project_id = NULL ile orphan kalır. Bu kayıtlar retention dışı; manuel temizleme gerekir (v1.5'te otomatik orphan cleanup planlanıyor).
  • Compliance evidence pack henüz yok: 5651 veya ISO 27001 denetimi için gereken özel raporlar (kaynak IP, hedef IP, zaman damgası filtreli export) v1.5 roadmap'te. Şimdilik SQL sorgusuyla manuel export yapılmalı.

ShamashAi'nin proje bazlı retention yönetimi, KVKK Madde 12 ve sektörel mevzuatlara uygun olarak her müşteri için farklı event saklama süreleri tanımlamanızı sağlar. projects.retention_days kolonu, gece cleanup job'ı ve retention-immune tablolar, operasyonel esnekliği ISO 27001:2022 Annex A.8.15 uyumluluğuyla birleştirir. Pilot programı 30 gün ücretsiz: shamashai.com.tr/iletisim

Paylaş

Bu konuyu projenize uygulayalım

Pilot programı kapsamında ürünü gerçek altyapınızda 30 gün ücretsiz deneyin.