İçeriğe atla

Sınama programı

Vikipedi, özgür ansiklopedi
(Benchmark sayfasından yönlendirildi)
Image
Denektaşı türleri; aşağıya inildikçe programlar küçülür ama gerçek iş yükünden uzaklaşır.

Denektaşı ya da sınama programı, bir bilgisayarın ya da bilgisayar bileşeninin başarımını ölçmek ve başka sistemlerle karşılaştırmak için çalıştırılan programdır.[1] Ölçüm için tek bir program kullanılabileceği gibi bir program kümesi de kullanılabilir; ölçümde çalıştırılan programların tümüne iş yükü denir.[2]

Denektaşları, işlemcinin kayan noktalı aritmetik hızı gibi tek bir yeteneği ölçebileceği gibi, bir veri tabanı sunucusunun dakikada tamamladığı işlem sayısı gibi bütün bir sistemin davranışını da ölçebilir. Sonuçlar yalnızca satın alma kararlarında değil, bilgisayar mimarisi araştırmasında tasarım seçeneklerini karşılaştırmak için de kullanılır.[3]

Türleri

[değiştir | kaynağı değiştir]

Başarım ölçümünde kullanılan programlar gerçek uygulamalardan ne kadar uzaklaştıklarına göre sıralanabilir.[3]

  • Gerçek uygulamalar. Kullanıcının günlük işinde çalıştırdığı programların kendisidir. Girdileri, çıktıları ve kullanıcının seçebildiği seçenekleri vardır. Ölçümü en anlamlı olan sınıftır, ancak işletim sistemine ya da derleyiciye bağımlılıkları yüzünden taşınabilirlik sorunları çıkarır.
  • Değiştirilmiş uygulamalar. Gerçek uygulamalar ya taşınabilirliği artırmak ya da başarımın tek bir yanını öne çıkarmak için değiştirilir. Örneğin giriş çıkış işlemleri ayıklanarak yalnız işlemci başarımı ölçülür.
  • Çekirdekler. Gerçek programlardan çekilip alınmış küçük ve kritik kod parçalarıdır. Livermore döngüleri ile LINPACK bu sınıfın bilinen örnekleridir. Bütün bir uygulamanın başarımını göstermezler, belirli işlemleri yalıtarak ölçerler.
  • Oyuncak denektaşları. Genellikle 10 ile 100 satır arasında olan, sonucu çalıştırılmadan önce bilinen küçük programlardır. Eratosthenes kalburu ve hızlı sıralama bu türdendir.
  • Yapay denektaşları. Büyük bir program kümesindeki işlem ve işlenen sıklıklarını taklit etmek için yazılmış programlardır. En bilinenleri Whetstone ile Dhrystone'dur.

Yapay denektaşları ile oyuncak denektaşları zamanla gözden düşmüştür. Bunların kodu gerçek bir programdan çekilmediği için çekirdeklerden bile daha uzaktır ve derleyici ile donanım eniyilemeleri bu programların başarımını gerçek programlara yansımayan ölçüde artırabilir.[3][4] Eniyileyen bir derleyicinin Dhrystone kodunun dörtte birini atabildiği, örneğin yalnız bir kez çalışan döngüleri kaldırabildiği gösterilmiştir.[4]

Tarihçe

[değiştir | kaynağı değiştir]

Yapay denektaşları

[değiştir | kaynağı değiştir]

Whetstone, H. J. Curnow ile B. A. Wichmann'ın 949 ALGOL programında ölçtükleri işlem sıklıklarına göre kurulmuş on bir modülden oluşur ve 1976'da yayımlanmıştır.[5][2] Sonuçları saniyede yürütülen bin Whetstone buyruğu (KWIPS) ile verilir.[2]

Dhrystone'u 1984'te Siemens'te çalışan Reinhold Weicker yazdı. Whetstone'un tersine kayan noktalı işlem içermez; yordam çağrıları ile katar işlemleri ağırlıklıdır ve sistem programlama iş yükünü temsil etmek için tasarlanmıştır.[6][2] Masaüstü dünyası bu iki programı 1990'larda bıraktıysa da gömülü sistem üreticileri Dhrystone sonucunu uzun süre daha duyurmayı sürdürdü.[7]

Çekirdekler ve süper bilgisayarlar

[değiştir | kaynağı değiştir]
Image
Oak Ridge Ulusal Laboratuvarı'ndaki Summit süper bilgisayarı; TOP500 listesi süper bilgisayarları LINPACK sonuçlarına göre sıralar.

Livermore döngüleri, Lawrence Livermore Ulusal Laboratuvarı'nda F. H. McMahon ile arkadaşlarının süper bilgisayarlar için bir ölçüt kurma girişimidir.[8]

LINPACK denektaşı, doğrusal cebir alt programları kitaplığı LINPACK'in 1979 tarihli kullanım kılavuzunun ekinde yayımlandı.[9][10] Yoğun bir doğrusal denklem takımını çözer ve sonucu saniyedeki kayan noktalı işlem sayısıyla (FLOPS) verir.[2] Dağıtık bellekli makineler için yazılan HPL uygulaması, denklem takımını çift duyarlıkta çözer.[11] 1993'te başlatılan ve dünyanın en hızlı bilgisayarlarını altı ayda bir sıralayan TOP500 listesi, sıralama ölçüsü olarak bu denektaşını kullanır.[12]

Kurumsal denektaşı takımları

[değiştir | kaynağı değiştir]
Image
SPEC CPU takımının kuşakları ve emekliye ayrılma tarihleri.

1980'lerde üreticilerin duyurduğu MIPS ile MFLOPS değerleri karşılaştırma için güvenilir bulunmuyordu. Bir grup iş istasyonu üreticisi 1988'de gerçekçi ve ortak sınamalar hazırlamak üzere Standard Performance Evaluation Corporation'ı (SPEC) kurdu.[13][14] SPEC'in işlemci takımı belirli aralıklarla yenilenir; eski kuşak emekliye ayrılır ve sonuçları yeni kuşakla karşılaştırılmaz. İlk kuşak 1989'da çıktı, onu 1992, 1995, 1999, 2006 ve 2017 kuşakları izledi.[15] Güncel kuşak, dört takıma bölünmüş 52 programdan oluşan ve Mayıs 2026'da çıkan SPEC CPU 2026'dır.[16]

Veri tabanı ve işlem sistemleri için ölçüt hazırlayan Transaction Processing Performance Council (TPC) 1988'de sekiz şirketin katılımıyla kuruldu.[17] 1992'de onaylanan TPC-C çevrimiçi işlem sınamasında ölçü, dakikada tamamlanan işlem sayısıdır.[18] TPC-H ise karar destek iş yüklerini ölçer.[19] TPC'nin sınamaları yalnız hız ölçmez; şartname, sistemin işlem güvenilirliği özelliklerini gösteren sınamaları ve sonucun yanında fiyat bilgisinin verilmesini de zorunlu kılar.[20]

Gömülü sistemler

[değiştir | kaynağı değiştir]

Gömülü işlemciler için ortak ölçüt hazırlamak üzere 1997'de EEMBC kuruldu.[21] Kurumun 2009'da yayımladığı CoreMark, gömülü işlemci çekirdeklerini ölçen açık bir denektaşıdır ve bütün hesaplamalarını çalışma anında verilen değerlerle sürdürerek derleyicinin kodu atmasını engelleyecek biçimde tasarlanmıştır.[22][23] EEMBC, 2023'te SPEC'in gömülü sistemler grubu oldu.[24]

Yapay öğrenme

[değiştir | kaynağı değiştir]

Yapay öğrenme iş yükleri için hazırlanan MLPerf takımlarından eğitim takımı 2018'de, çıkarım takımı 2019'da yayımlandı; iki takımı da yürüten MLCommons kurumu 2020'de kuruldu.[25][26]

Tüketici denektaşları

[değiştir | kaynağı değiştir]

Kişisel bilgisayar ve telefon kullanıcılarına yönelik denektaşları ayrı bir dal oluşturur. Primate Labs'in 2007'den bu yana geliştirdiği Geekbench işlemci ile grafik işlem birimini ölçer.[27] Maxon'un Cinebench programı ise sistemi kendi üç boyutlu görüntü üretme yazılımının iş yüküyle ölçer.[28]

Tarayıcılar için ayrı bir denektaşı ailesi vardır. Speedometer, web uygulamalarının tepkiselliğini, kullanıcı işlemlerini taklit eden örnek uygulamalar üzerinden ölçer.[29] 11 Mart 2024'te yayımlanan 3.0 sürümü, üç tarayıcı motorunun geliştiricilerince (Blink, Gecko ve WebKit) birlikte hazırlanmıştır; ölçüm HTML5 olay döngüsüne taşınarak çizim işinin de süreye girmesi sağlanmış, takıma React, Vue ve Svelte gibi çerçevelerin yanında haber sitesi, çizelge ve metin düzenleyici örnekleri eklenmiştir.[30]

Güç ve verimlilik

[değiştir | kaynağı değiştir]

Başarımın yanında harcanan gücün ölçülmesi 2000'lerin sonunda ayrı bir denektaşı dalı doğurdu. SPEC'in 11 Aralık 2007'de duyurduğu SPECpower_ssj2008, sunucuların güç ve başarım özelliklerini birlikte ölçen ilk sanayi ölçünü denektaşıdır.[31] Denektaşı sunucuyu boştan tam yüke kadar basamak basamak çalıştırır ve her basamakta hem işlem sayısını hem şebekeden çekilen gücü ölçer; sonuç, harcanan watt başına yapılan iş miktarı olarak verilir.[31]

Süper bilgisayarlarda aynı işi Green500 listesi görür. 2006'da başlayan liste, TOP500 sistemlerini HPL denektaşındaki başarımlarının harcadıkları güce oranına göre, watt başına gigaflop olarak sıralar.[32] Haziran 2026 listesinin başındaki KAIROS, HPL'de 3,046 petaflop/s ölçülürken watt başına 73,28 gigaflop vermiştir.[32]

Sonuçların özetlenmesi

[değiştir | kaynağı değiştir]
Image
Oranlar ve geometrik ortalamayla bir takım sonucunun hesaplanmasına açıklayıcı örnek.

Bir takımdaki her program için ayrı bir süre ölçülür; bu sürelerin tek bir sayıya indirgenmesi ayrı bir sorundur. SPEC, her programın süresini bir başvuru makinesindeki süresine bölerek oran hesaplar ve takımın sonucunu bu oranların geometrik ortalamasıyla verir.[33][34]

Geometrik ortalamanın seçilme nedeni, oranların hangi makineye göre hesaplandığından bağımsız olarak aynı göreli sonucu vermesidir.[33] Normalleştirilmiş sonuçların aritmetik ortalamayla özetlenmesinin yanlış sonuçlara götürdüğü 1986'da gösterilmiştir.[35] Geometrik ortalamanın kendi zayıflığı da vardır; toplam yürütme süresiyle orantılı bir sonuç vermediği için iki makinenin gerçek iş yükündeki süre farkını doğrudan yansıtmaz.[36]

Koşum kuralları ve raporlama

[değiştir | kaynağı değiştir]

Bir takımın sonuçlarının karşılaştırılabilir olması için nasıl derlenip nasıl koşulacağının da kurala bağlanması gerekir. SPEC CPU 2017 iki ayrı ölçüt tanımlar: taban ölçütünde takımdaki bütün programlar ortak bir derleyici seçenekleri kümesiyle derlenir, tepe ölçütünde ise her program için ayrı ayrı seçilmiş seçeneklerle derlenmesine izin verilir.[37] Böylece az uğraşla elde edilen başarım ile programa özel ayarla ulaşılan en iyi başarım ayrı ayrı görülür.

Sonucun yayımlanabilmesi için SPEC'in incelemesi zorunlu değildir; kurallara uyan bir sonuç bağımsız olarak da yayımlanabilir.[37] Buna karşılık kamuya açık kullanılan her sonuçta tam açıklama istenir: sistem yapılandırması, derleyici sürümleri ve kullanılan bütün seçenekler, sonucun başkalarınca yinelenmesine yetecek ayrıntıda bildirilir.[37]

Denektaşı oyunları

[değiştir | kaynağı değiştir]

Başarım sonuçları satışta kullanıldığı için üreticilerin üzerinde sonuçları yükseltme baskısı vardır. Bu baskı, donanım ve yazılım çalışmalarını gerçek programlara yansımayan eniyilemelere kaydırabilir.[3] TPC kendi tarihçesinde, duyurulan başarım savları ile ölçülen sonuçlar arasındaki bu açıklığa İngilizce benchmarketing adının verildiğini yazar.[17]

Bilinen örneklerden biri, ilk SPEC takımında yer alan ve 300'e 300 boyutunda sekiz matris çarpımından oluşan matrix300 çekirdeğidir. Derleyicinin iç döngüyü blok bölmeyle yeniden düzenlemesi aynı makinede başarımı dokuz kattan fazla artırmıştı; program sonraki kuşakta takımda yer almadı.[38][39] Whetstone'da da derleyiciler karekök ile üstel işlev arasındaki ilişkiyi tanıyıp bütün karekök çağrılarını çarpmaya çevirebiliyordu; gerçek programlarda böyle bir durum beklenmez.[40]

Sonuçları yayımlayan kurumlar zaman zaman sonuçların geçerliliğini geri alır. SPEC, bir derleyicinin takımın kodunu ve veri kümesini önceden bilerek belirli programların başarımını yükselttiği gerekçesiyle o derleyiciyle üretilmiş sonuçlara 2024'te uyarı notu düştü; basında bu notun eklendiği sonuç sayısı 2.600'ün üzerinde verildi.[41][42]

Cep telefonlarında sınama programını adından tanıyıp yalnız o sırada daha hızlı çalışan aygıtlar da bulunmuştur. 2013'te Galaxy S4'ün grafik biriminin belirli sınama programlarında 533 MHz, öteki uygulamalarda 480 MHz saat sıklığında çalıştığı gösterildi.[43] 2018'de UL, genel dağıtımdaki sınama programıyla adı değiştirilmiş gizli sürüm arasında %47'ye varan fark ölçtüğü üç Huawei ve Honor telefonunu listesinden çıkardı.[44]

Derleyicinin başarım ölçümündeki yeri hukuki bir davanın da konusu oldu. Amerika Birleşik Devletleri Federal Ticaret Komisyonu 2009'da Intel'in kendi derleyicisi ile başarım savları konusunda yazılım üreticilerini ve denektaşı kurumlarını yanılttığını ileri sürdü; 2010'daki uzlaşma kararı şirkete, başarım sınamalarının Intel işlemciler için eniyilenmiş olabileceğini bildirme yükümlülüğü getirdi.[45][46]

Bilgisayar mimarisi araştırmasında kullanımı

[değiştir | kaynağı değiştir]

Denektaşları, yeni bir tasarımın donanımı yapılmadan önce benzetimlikler üzerinde iş yükü olarak çalıştırılır. Çevrim düzeyinde doğru bir benzetimlik gerçek donanımdan çok yavaş olduğu için bütün takımı baştan sona çalıştırmak çoğu zaman olanaksızdır; SPEC CPU 2000 programlarının bazıları 300 milyar buyruktan uzundur.[47] Bu yüzden programın davranışını temsil eden kesitler seçilir ve benzetim yalnız bu kesitlerde yapılır.[47]

Ayrıca bakınız

[değiştir | kaynağı değiştir]

Kaynakça

[değiştir | kaynağı değiştir]
  1. ↑ Patterson, David A.; Hennessy, John L. (2014). Computer Organization and Design: The Hardware/Software Interface (İngilizce) (5 bas.). Waltham: Morgan Kaufmann. s. 46. ISBN 978-0-12-407726-3.
  2. 1 2 3 4 5 Jain, Raj (1991). The Art of Computer Systems Performance Analysis (İngilizce). New York: Wiley. ss. 48-55. ISBN 0-471-50336-3.
  3. 1 2 3 4 Hennessy, John L.; Patterson, David A. (2003). Computer Architecture: A Quantitative Approach (İngilizce) (3 bas.). San Francisco: Morgan Kaufmann. ss. 27-28. ISBN 1-55860-596-7.
  4. 1 2 Hennessy ve Patterson 2003, s. 63.
  5. ↑ Curnow, H. J.; Wichmann, B. A. (1976). "A synthetic benchmark". The Computer Journal (İngilizce). 19 (1). ss. 43-49. doi:10.1093/comjnl/19.1.43.
  6. ↑ Weicker, Reinhold P. (Ekim 1984). "Dhrystone: A synthetic systems programming benchmark". Communications of the ACM (İngilizce). 27 (10). ss. 1013-1030. doi:10.1145/358274.358283.
  7. ↑ Hennessy ve Patterson 2003, s. 32.
  8. ↑ Hennessy ve Patterson 2003, s. 71.
  9. ↑ Dongarra, J. J.; Moler, C. B.; Bunch, J. R.; Stewart, G. W. (1979). LINPACK Users' Guide (İngilizce). SIAM. doi:10.1137/1.9781611971811.
  10. ↑ Dongarra, Jack J.; Luszczek, Piotr; Petitet, Antoine (2003). "The LINPACK Benchmark: past, present and future". Concurrency and Computation: Practice and Experience (İngilizce). 15 (9). ss. 803-820. doi:10.1002/cpe.728.
  11. ↑ "HPL - A Portable Implementation of the High-Performance Linpack Benchmark for Distributed-Memory Computers" (İngilizce). Netlib. 2 Kasım 2000 tarihinde kaynağından arşivlendi. Erişim tarihi: 16 Eylül 2026.
  12. ↑ "The TOP500 Project" (İngilizce). TOP500. 16 Eylül 2026 tarihinde kaynağından arşivlendi. Erişim tarihi: 16 Eylül 2026.
  13. ↑ "About SPEC" (İngilizce). Standard Performance Evaluation Corporation. 1 Eylül 2026 tarihinde kaynağından arşivlendi. Erişim tarihi: 16 Eylül 2026.
  14. ↑ Reilly, Jeff (Eylül 1995). "SPEC Discusses the History and Reasoning Behind SPEC95" (İngilizce). SPEC Newsletter. 16 Eylül 2026 tarihinde kaynağından arşivlendi. Erişim tarihi: 16 Eylül 2026.
  15. ↑ "SPEC CPU Benchmarks" (İngilizce). Standard Performance Evaluation Corporation. 14 Eylül 2026 tarihinde kaynağından arşivlendi. Erişim tarihi: 16 Eylül 2026.
  16. ↑ "SPEC Releases the SPEC CPU 2026 Benchmark Suites" (İngilizce). Standard Performance Evaluation Corporation. 5 Mayıs 2026. 21 Ağustos 2026 tarihinde kaynağından arşivlendi. Erişim tarihi: 16 Eylül 2026.
  17. 1 2 Shanley, Kim (Şubat 1998). "Origins of the TPC and the first 10 years" (İngilizce). Transaction Processing Performance Council. 28 Mart 2020 tarihinde kaynağından arşivlendi. Erişim tarihi: 16 Eylül 2026.
  18. ↑ "TPC-C Homepage" (İngilizce). Transaction Processing Performance Council. Erişim tarihi: 16 Eylül 2026.
  19. ↑ "TPC-H Homepage" (İngilizce). Transaction Processing Performance Council. 14 Eylül 2026 tarihinde kaynağından arşivlendi. Erişim tarihi: 16 Eylül 2026.
  20. ↑ "TPC Benchmark C Standard Specification, Revision 5.11" (PDF) (İngilizce). Transaction Processing Performance Council. Şubat 2010. 16 Eylül 2026 tarihinde kaynağından arşivlendi (PDF). Erişim tarihi: 16 Eylül 2026.
  21. ↑ "About EEMBC" (İngilizce). EEMBC. 17 Eylül 2026 tarihinde kaynağından arşivlendi. Erişim tarihi: 16 Eylül 2026.
  22. ↑ "EEMBC Announces CoreMark 1.0" (İngilizce). EEMBC. 1 Haziran 2009. 16 Eylül 2026 tarihinde kaynağından arşivlendi. Erişim tarihi: 16 Eylül 2026.
  23. ↑ Gal-On, Shay; Levy, Markus. "Exploring CoreMark: A Benchmark Maximizing Simplicity and Efficacy" (PDF) (İngilizce). EEMBC. 5 Eylül 2026 tarihinde kaynağından arşivlendi (PDF). Erişim tarihi: 16 Eylül 2026.
  24. ↑ "EEMBC Becomes SPEC's Embedded Group" (İngilizce). Standard Performance Evaluation Corporation. 30 Ekim 2023. 16 Eylül 2026 tarihinde kaynağından arşivlendi. Erişim tarihi: 16 Eylül 2026.
  25. ↑ "About MLCommons" (İngilizce). MLCommons. 16 Eylül 2026 tarihinde kaynağından arşivlendi. Erişim tarihi: 16 Eylül 2026.
  26. ↑ Reddi, Vijay Janapa (2020). "MLPerf Inference Benchmark". 2020 ACM/IEEE 47th Annual International Symposium on Computer Architecture (ISCA) (İngilizce). ss. 446-459. doi:10.1109/ISCA45697.2020.00045.
  27. ↑ Poole, John (23 Temmuz 2026). "Geekbench 7" (İngilizce). Primate Labs. 16 Eylül 2026 tarihinde kaynağından arşivlendi. Erişim tarihi: 16 Eylül 2026.
  28. ↑ "Maxon Cinebench" (İngilizce). Maxon. Erişim tarihi: 16 Eylül 2026.
  29. ↑ "Speedometer 3.1" (İngilizce). BrowserBench. 16 Eylül 2026 tarihinde kaynağından arşivlendi. Erişim tarihi: 18 Eylül 2026.
  30. ↑ "Speedometer 3.0: The Best Way Yet to Measure Browser Performance" (İngilizce). WebKit. 11 Mart 2024. 1 Eylül 2026 tarihinde kaynağından arşivlendi. Erişim tarihi: 18 Eylül 2026.
  31. 1 2 "SPECpower_ssj2008" (İngilizce). Standard Performance Evaluation Corporation. 1 Temmuz 2025 tarihinde kaynağından arşivlendi. Erişim tarihi: 18 Eylül 2026.
  32. 1 2 "Green500, Haziran 2026" (İngilizce). TOP500. 5 Eylül 2026 tarihinde kaynağından arşivlendi. Erişim tarihi: 18 Eylül 2026.
  33. 1 2 Patterson ve Hennessy 2014, s. 47.
  34. ↑ "SPEC CPU 2017 Overview" (İngilizce). Standard Performance Evaluation Corporation. 17 Eylül 2026 tarihinde kaynağından arşivlendi. Erişim tarihi: 16 Eylül 2026.
  35. ↑ Fleming, Philip J.; Wallace, John J. (Mart 1986). "How not to lie with statistics: the correct way to summarize benchmark results". Communications of the ACM (İngilizce). 29 (3). ss. 218-221. doi:10.1145/5666.5673.
  36. ↑ Hennessy ve Patterson 2003, s. 38.
  37. 1 2 3 "SPEC CPU 2017 Run and Reporting Rules" (İngilizce). Standard Performance Evaluation Corporation. 17 Mayıs 2026 tarihinde kaynağından arşivlendi. Erişim tarihi: 18 Eylül 2026.
  38. ↑ Hennessy ve Patterson 2003, s. 58.
  39. ↑ Weicker, Reinhold (Aralık 1995). "An Example of Benchmark Obsolescence: 023.eqntott" (İngilizce). SPEC Newsletter. 17 Eylül 2026 tarihinde kaynağından arşivlendi. Erişim tarihi: 16 Eylül 2026.
  40. ↑ Hennessy ve Patterson 2003, s. 64.
  41. ↑ "SPEC CPU 2017 Integer Rate Result: Dell Inc. PowerEdge R660" (İngilizce). Standard Performance Evaluation Corporation. 29 Ocak 2024. 13 Aralık 2024 tarihinde kaynağından arşivlendi. Erişim tarihi: 16 Eylül 2026.
  42. ↑ Connatser, Matthew (16 Şubat 2024). "Industry group invalidates 2,600 official Intel CPU benchmarks" (İngilizce). Tom's Hardware. 17 Eylül 2026 tarihinde kaynağından arşivlendi. Erişim tarihi: 16 Eylül 2026.
  43. ↑ Klug, Brian; Lal Shimpi, Anand (30 Temmuz 2013). "Looking at CPU/GPU Benchmark Optimizations in Galaxy S 4" (İngilizce). AnandTech. 8 Ocak 2014 tarihinde kaynağından arşivlendi. Erişim tarihi: 16 Eylül 2026.
  44. ↑ "UL delists Huawei phones with suspect benchmark scores" (İngilizce). UL Benchmarks. 6 Eylül 2018. 16 Eylül 2026 tarihinde kaynağından arşivlendi. Erişim tarihi: 16 Eylül 2026.
  45. ↑ "In the Matter of Intel Corporation, Docket No. 9341, Complaint" (PDF) (İngilizce). Federal Trade Commission. 16 Aralık 2009. 17 Eylül 2026 tarihinde kaynağından arşivlendi (PDF). Erişim tarihi: 16 Eylül 2026.
  46. ↑ "In the Matter of Intel Corporation, Docket No. 9341, Decision and Order" (PDF) (İngilizce). Federal Trade Commission. 4 Ağustos 2010. 16 Kasım 2025 tarihinde kaynağından arşivlendi (PDF). Erişim tarihi: 16 Eylül 2026.
  47. 1 2 Sherwood, Timothy; Perelman, Erez; Hamerly, Greg; Calder, Brad (2002). "Automatically characterizing large scale program behavior". Proceedings of the 10th International Conference on Architectural Support for Programming Languages and Operating Systems (İngilizce). ss. 45-57. doi:10.1145/605397.605403.

Dış bağlantılar

[değiştir | kaynağı değiştir]
"https://tr.wikipedia.org/w/index.php?title=Sınama_programı&oldid=38154232" sayfasından alınmıştır