Kimi K3.1 Pro'nun ağırlıkları yayında: Açık modelde siber yetenek veriden çıkarılabilir mi?

Moonshot AI, 4 Kasım'da Kimi K3.1 Pro'nun tam ağırlıklarını Hugging Face'te yayımladı. Model ekim ayının sonundan beri Kimi uygulamaları ve API üzerinden zaten kullanılabiliyordu; şimdi ise isteyen herkes modeli indirip kendi altyapısında çalıştırabiliyor. Açık ağırlıklı büyük model haberleri artık neredeyse her hafta geliyor. Bu sürümü farklı kılan ise Moonshot'ın açıkça "siber saldırı yeteneğini sınırladık" demesi ve bunu nasıl yaptığını rakamlarla anlatması.

Bu yazıda önce modelin kendisine kısaca bakacağım. Sonra asıl ilginç soruya geçeceğim: Ağırlıkları herkese açık bir modelde güvenlik nerede sağlanabilir?

Model hakkında kısaca

Hugging Face'teki model kartına göre Kimi K3.1 Pro'nun temel özellikleri şöyle:

• Mimari: Mixture-of-Experts (MoE). Toplam 2,8 trilyon parametre var, ama her token için yalnızca yaklaşık 104 milyar parametre devreye giriyor (896 uzmandan 16'sı seçiliyor).
• Bağlam penceresi: Yaklaşık 1 milyon token.
• Girdi: Metin ve görsel.
• Boyut: Ağırlıklar quantization-aware training ile MXFP4 formatında geliyor. İndirme yaklaşık 1,56 TB ve 96 safetensors parçasından oluşuyor.
• Çalıştırma: vLLM ve SGLang gibi motorlar destekleniyor. Huawei de Ascend donanımları için çıkarım desteği duyurdu.
• Lisans: Apache 2.0 ya da MIT değil, Moonshot'ın kendi "Kimi K3.1 Pro License" lisansı.

Moonshot'ın açıkladığı kodlama ve ajan benchmark'larında model, kapalı modellerle başa baş sonuçlar gösteriyor. Örneğin Terminal-Bench 4.0'da 65,7 puan alıyor. Ancak bu rakamların önemli kısmı şirketin kendi ölçümleri ve bazı testler şirket içi. Benchmark tablosu yerine asıl dikkatimi çeken kısım güvenlik tarafı oldu.

Moonshot siber yeteneği nasıl sınırladı?

Şirketin açıklamasına göre ekip şunu fark etmiş: Model eğitildikçe güvenlik açığı bulma ve exploit yazma becerisi de kendiliğinden artıyor. Bunun kaynağı, genel eğitim verisindeki siber güvenlik içeriği ve pekiştirmeli öğrenme (RL) ortamlarındaki siber görevler.

Çözüm olarak bu veriyi iki aşamadan ayıklamışlar. Ara eğitim (mid-training) korpusundaki siber içerik ve RL ortamlarındaki siber görevler çıkarılmış. Genel amaçlı kodlama görevleri ise modelin işe yaraması için bırakılmış.

Şirket içi exploit testi xdev-bench-hard'da sonuçlar şöyle:

| Sürüm | Başarı oranı |
|---|---|
| Veri ayıklanmamış deneysel checkpoint | %90,5 |
| Yayımlanan Kimi K3.1 Pro | %81 |
| Önceki model Kimi K3 | %33,3 |

Tablo iki şey söylüyor. Birincisi, veri ayıklama gerçekten bir fark yaratmış. İkincisi, bu fark beklenebileceğinden küçük. Moonshot da bunu kabul ediyor: Programlama becerisi geliştikçe exploit yazma becerisi de onunla birlikte geliyor. Kod okuyup anlayan, hata ayıklayan ve terminalde komut çalıştıran bir model, güvenlik açığını sömürmek için gereken şeylerin büyük kısmını zaten biliyor.

Moonshot'ın belirttiği ilke de ilginç: Siber yetenekte mutlak sınırı ileri taşıyacak açık ağırlıklar yayımlamamak. Şirkete göre K3.1 Pro, en az üç aydır piyasada olan kapalı modellerin gerisinde. Bu da bağımsız olarak doğrulanmış değil, şirketin kendi değerlendirmesi.

Neden önemli?

Kapalı bir modelde güvenlik birkaç katmandan oluşur: eğitim sırasında öğretilen reddetme davranışı, API tarafındaki filtreler, kullanım izleme ve hesap kapatma. Ağırlıklar indirildiği anda bu katmanların neredeyse hepsi ortadan kalkar. API filtresi yoktur, izleme yoktur. Reddetme davranışı da "abliteration" gibi tekniklerle ya da kısa bir fine-tune ile görece kolay sökülebilir.

Bu tartışmanın sadece teorik olmadığını gösteren bir örnek de var. Hugging Face'te Moonshot'la ilgisi olmayan bir hesap, K3.1 Pro'nun koruma bariyerleri kaldırılmış ("unrestricted") bir sürümünü yayımlayacağını ağırlıkların çıkış tarihinden önce duyurmuştu. Repo erişime kapalı olduğu için içeriğini doğrulayamadım, ama niyet açık.

Moonshot'ın veri ayıklama yaklaşımı tam bu noktada anlam kazanıyor. Reddetme davranışını söküp atabilirsiniz, ama modelin hiç öğrenmediği bir şeyi ortaya çıkaramazsınız. Bana göre bu, açık ağırlıklı modeller için şu an elimizdeki en dürüst güvenlik yöntemlerinden biri. Ancak sınırları da var. %81'lik sonuç, genel kodlama becerisinin siber yeteneği taşımaya devam ettiğini gösteriyor. Kötü niyetli biri kendi verisiyle fine-tune yaparak bu açığın bir kısmını kapatabilir.

Karşı görüş de güçlü. Fransız Mistral, birkaç gün önce trilyon parametreli Mistral Large 4'ün ağırlıklarını tam tersi bir gerekçeyle yayımladı. Mistral'e göre güçlü siber yetenek savunma tarafı için gerekli ve açık ağırlık, kurumların bu yeteneğe "kapatılamayacak" bir şekilde sahip olmasını sağlıyor. İki şirket de aynı riski görüyor. Moonshot yeteneği sınırlamayı seçiyor, Mistral ise yeteneği dağıtmayı.

Geliştiriciler için pratikte ne anlama geliyor?

1. "İndir ve çalıştır" bir laptop senaryosu değil. 1,56 TB ağırlık ve token başına 104 milyar aktif parametre, ciddi bir çoklu GPU kurulumu demek. Çoğu ekip için gerçekçi yol önce API'yi denemek (milyon token başına giriş 2, çıkış 10 dolar), sonra gerçekten veri yerelliği veya maliyet gerekçesi varsa self-host'a geçmek.

2. Lisansı okuyun. "Açık ağırlık" ile "açık kaynak" aynı şey değil. K3.1 Pro kendi lisansıyla geliyor. Mistral Large 4 de değiştirilmiş bir MIT lisansı kullanıyor ve modeli servis olarak satan büyük bulut sağlayıcılarından ayrı bir anlaşma istiyor. Ürününüzü bu modellerin üzerine kuracaksanız hukuk ekibinizle konuşmanız gerekebilir.

3. Güvenlik kararlarını model sağlayıcısına bırakmayın. Modeli kendi altyapınızda çalıştırdığınızda API tarafındaki filtrelerin hiçbiri yok. Ajan senaryolarında modelin çalıştırabileceği araçları, ağ erişimini ve dosya sistemi yetkilerini siz sınırlamalısınız.

4. Yetenek azaltma iddialarını kendi işinizle test edin. Benchmark'lar şirketin kendi ölçümleri. Bir güvenlik ekibiyseniz ve modeli kod denetimi için düşünüyorsanız, bu sınırlamanın sizin işinize yarayan savunma görevlerini (zafiyet tespiti, yama önerisi) ne kadar etkilediğini kendi örneklerinizle ölçün.

5. Abliterated kopyalardan uzak durun. Hugging Face'te "unrestricted" etiketli üçüncü parti sürümler kaynağı belirsiz ağırlıklar demek. Kurumsal ortamda yalnızca resmi repolardan, checksum doğrulayarak indirme yapın.

Sonuç

Kimi K3.1 Pro, açık ağırlıklı modellerin kapalı modellere ne kadar yaklaştığını bir kez daha gösteriyor. Asıl katkısı ise güvenlik tartışmasına somut veri eklemesi oldu: Veri ayıklama işe yarıyor, ama genel kodlama becerisi güçlendikçe tek başına yetmiyor. Önümüzdeki aylarda açık modellerde güvenliğin büyük kısmı model sağlayıcısından çok, modeli çalıştıran ekiplerin altyapısında sağlanacak gibi görünüyor.