Di mana sistem desain AI gagal dan apa yang kami gagal – Beragampengetahuan

25 Agustus 2025

Untuk rencana sistem desain, tujuannya biasanya output yang stabil, berkualitas tinggi, tahan lama, seberapa banyak ketidakstabilan, kurangnya kualitas atau ketidakkekalan yang dapat kita alami dalam alat ini? Itulah pertanyaan dari Nathan Curtis dan saya bertanya kepada komunitas sistem desain tentang episode 060.

Pada 21 Agustus 2025, Nathan dan saya memfasilitasi penelitian mendalam tentang data yang kami kumpulkan dari 95 praktisi sistem desain. Kami hanya mengajukan dua pertanyaan:

• Ada harapan dalam organisasi Anda bahwa produksi antarmuka digital akan berlalu Ai Dalam waktu dekat?
• Dimana dalam pekerjaan harian Anda Ai Tidak akurat untuk kebutuhan Anda – di mana harus mengecewakan Anda?

Seperti yang Anda duga, jawabannya rumit. Dalam diskusi, kami mengakui Ai Ini sangat bagus dalam beberapa bagian dari proses kami, dan itu sangat buruk pada orang lain. Ternyata, Ai Apakah sistem desain gagal mungkin di mana kita gagal Ai.

Lingkungan organisasi

Dalam banyak pekerjaan, orang melakukan merger Ai Masukkan sistem desain, Ai‘Output probabilitas yang melekat dari S terus memenuhi komitmen definitif yang harus dibuat oleh sistem kami. Kami memperlakukan sistem desain sebagai kontrak, yang merupakan komitmen kami kepada konsumen. Pada intinya, model bahasa besar yang mengganggu semua bagian lain dari pekerjaan kami sangat cepat, tebak yang sangat baik. Tapi kami tidak setuju.

Jesse mengekspresikannya dengan sangat baik, “Kita [IT] Tim berharap Anda bisa Deterministik Dari perspektif keamanan, sistem membuat respons acak sulit … kesulitan. “

Meskipun tidak persis sama, frasa yang ia gunakan (“jaminan keselamatan”) terutama memetakan apa yang kami sebut sistem desain yang terbaik: membangun Dapat diandalkan Pola, kode uji dan bahasa bersama yang dapat digunakan oleh tim produk meyakini. Saat Anda menyisipkan Ai Dalam aliran, sesuatu yang menghasilkan jawaban setiap kali Anda bertanya dapat menghasilkan respons yang berbeda. Dalam hal ini, jenis ini berarti kepercayaan yang terkikis.

Kontrak deterministik dan asisten probabilitas

Nathan berbicara tentang mengadakan dua kebenaran segera Aitetapi untuk menentukan kepastian kontrak: “Keseimbangan antara perilaku acak prediktif dan norma deterministik ini bekerja … Saya mungkin menggunakan Ai Data prediktif mungkin, tetapi sistem masih membutuhkan spesifikasi yang jelas. “

Dia benar – pekerjaan bergeser dari ujung pintar ke lingkungan yang kompleks. Yang lain menyebut proyek konteks ini, banyak di antaranya. Jika Anda bercanda tentang menulis tips yang mungkin merupakan ide pekerjaan penuh waktu (hei, saya pasti melakukannya), itu berbeda.

Lingkungan teknik biasanya terlihat seperti seluruh sistem membangun data, batas, deskripsi, format output yang diperlukan, dll. Untuk memberikan kontrol yang lebih besar atas apa yang Anda dapatkan dari sistem. Anda dapat membayangkan skenario ini, sistem rekayasa konteks ini memerlukan pengujian dan versi, terutama seiring berjalannya waktu. Ini menambah baris baru yang telah Anda kembangkan Raci. Tentu saja, ini banyak pekerjaan. Di sinilah percakapan mulai berputar Ai Sangat mudah untuk menyelesaikan pekerjaan dan menantang tempat.

Ketepatan

Saat saya membaca data asli, saya mulai Ai Keberhasilan dan kegagalan yang Anda bagikan. Sebagian besar dari Anda mungkin terbiasa dengan proses desain berlian ganda.

“Berlian ganda adalah representasi visual dari proses desain dan inovasi. Ini adalah cara mudah untuk menggambarkan langkah -langkah yang diambil dalam proyek desain dan inovasi apa pun, terlepas dari metode dan alat yang digunakan. Kedua berlian ini mewakili proses mengeksplorasi masalah secara lebih luas atau mendalam (pemikiran berbeda) dan kemudian mengambil tindakan terkonsentrasi (pemikiran terintegrasi). “

Proses Desain Berlian Ganda – Hasil AI yang berhasil di sisi berlian yang berbeda tampaknya lebih mudah daripada menyatukan sisi.

Pola yang saya lihat dalam jawaban Anda menunjukkan bahwa jauh lebih mudah untuk mendapatkan generasi situasi saat ini Ai Alat yang membantu menyelesaikan tugas yang berbeda dan lebih sulit untuk menjadi baik Ai Hasil dari tugas konvergensi.

Di sebelah kiri, ketidaktepatan biasanya baik dan bahkan membantu. Di sebelah kanan, tidak. Dari data mentah, inilah yang saya dengar:

Perbedaan, di mana Ai Bekerja hari ini: Ini termasuk tugas-tugas seperti brainstorming, catatan sintesis, bantuan penelitian, prototipe melempar, dan tugas berulang atau berisiko rendah. Seorang yang diwawancarai menyimpulkan ini: “Ini memang memberikan titik awal yang cepat dan mengotomatiskan beberapa tugas yang berulang. ”(Jawaban Survei Anonim)

Fusion, dimana Ai Hancurkan kepercayaan: Ini termasuk tugas-tugas seperti membuat kode kualitas produksi, kesetiaan sistem desain yang ketat, pengambilan keputusan visual yang sempurna piksel dan pengulangan. Seperti yang dikatakan satu orang: “Tidak ada yang percaya bahwa menulis kode bernapas sekarang jelas bukan tanpa ulasan dan pengujian yang benar. ”(Jawaban Survei Anonim)

Gagasan lain dari data asli menggemakan pola yang sama: “Fig Making tidak mematuhi sistem desain kami … bahkan jika diminta untuk melakukannya. “Dan, “Kita hanya dapat mencapai akurasi sekitar 80% … tidak masuk akal bagi kita kurang dari 100% dari itu. ”(Respons Survei Anonim)

Mengenai komponen, satu responden tumpul: “Ketika komponen baru dihasilkan, ia menghasilkan hasil yang mencurigakan … APIPraktek naskah non-ideal. ”(Jawaban Survei Anonim)

Tetapi Anda juga berbagi bantuan nyata: “Ai Seorang yang diwawancarai menulis bahwa menjadi mesin pencari adalah mesin pencari yang baik dan menyoroti praktik terbaik. “Membantu mengotomatiskan pekerjaan yang mudah dan mempercepat alur kerja kami. ”(Respons Survei Anonim)

Bersandar di tempat eksperimen tidak

Dari diskusi, investigasi, dan catatan kerja, berikut adalah model sederhana yang saya kemukakan ke depan:

Dimana harus bersandar Ai Bekerja dengan baik

• Penemuan dan Eksplorasi (bercabang, penelitian, analisis kompetitif)
• Ringkasan dan draf pertama (Sintesis Lanjutan, Ringkasan Rapat dan Komentar)
• Rekonstruksi terstruktur (Renama Batch, Pelaporan Perbedaan Token, CSS Spesifikasi pembersihan dan pembersihan)
• Prototipe risiko rendah (Opsi diskusi aliran cepat, TIDAK Memberikan bukti ketersediaan)

percobaan Ai Belum normal

• Sistem Desain Kesetiaan (“Komponen/token harus akurat”)
• Kode produksi (“Repeatability> Novelty”)
• Keputusan visual yang sempurna piksel (“Bahasa Merek dan Penilaian Luar Angkasa Masih Gagal”)
• Konsistensi dan pengulangan (“Anda bisa memberi Ai Prompt yang sama beberapa kali dan dapatkan hasil yang berbeda “))))

Bagaimana membantu kedua belah pihak:

Langkah selanjutnya

Jika Anda mengemudi atau mengeras Ai Di Anda Ds Program, berikut adalah beberapa hal yang dapat Anda lakukan segera, menonjol langsung dari menyelam dalam dan data mentah:

1. Tuliskan kontraknya. Penamaan non-dialog untuk jaminan sistem Anda (API, aturan aksesibilitas, semantik token, dll.) Dan tes instrumen.
2. Ketat dalam konvergensi. Saat Anda melintasi penggunaannya, Anda perlu memeriksa dengan ketat Ai untuk konvergensi Tugas. Jika menyentuh aset sistem yang diterbitkan, ia harus lulus tes ini.
3. Mengukur kepercayaan diri. melacak Ai Output dari kesalahan atau bias yang ditangkap setelah peluncuran tanpa pengeditan, waktu pembersihan rata-rata dan pasca-rilis. Ini bisa diukur Ai Hutang kepercayaan diriFrasa Brandon yang digunakan dalam menyelam dalam.
4. Latar belakang yang lebih disengaja. Misalnya, Anda dapat berkomentar kecil “Gaya Alkitab ”, berdampingan 20 Benar/Salah Ambil contoh dari produk Anda dan gunakan sebagai bagian dari konteks.
5. Tanyakan kenapa. Kapan Ai Tidak memenuhi harapan Anda, tetapi bagian dari cara Anda mencari penjelasan – mungkin melihat ke mana panduan sistem desain dimodelkan pada output kesalahan. Ini dapat membantu pengguna manusia Anda sebanyak pengguna Anda dalam jangka panjang Ai satu. (Lihat xai).

Secara keseluruhan, sampai modelnya bisa memastikan Komitmen yang dibuat oleh sistem Anda, Ai Lebih baik menganggapnya sebagai kolaborator perancah, dipercepat dan diusulkan, daripada pabrik barang.

Bagian manusia masih merupakan bagian yang sulit

Semua ini membuatku berpikir alasan Ai Kegagalan adalah alasan mengapa manusia sering gagal. Tanpa informasi yang benar, kesuksesan memang sulit.

Saya melihat ini setiap hari dalam latihan pembinaan. 99% dari masalah yang kami selesaikan adalah masalah orang. Ini bukan hanya karena Anda mencolokkan beberapa yang hebat Ai Model memasuki proses Anda. Murphy Trueman baru -baru ini menulis:

“Kami menempatkan energi ke tempat yang salah – kami terus menyelesaikan masalah yang salah. Perpustakaan komponen yang sempurna, token indah, situs web dokumentasi luas yang memenangkan penghargaan. Sementara itu, tim sedang membangun sistem di sekitar sistem karena lebih mudah daripada menggunakannya. “

Hanya pengingat untuk tidak melupakan manusia di sisi lain komponen.

Penasaran dengan apa yang dilakukan orang lain? Datang dan bergaul dengan kami dalam mahoni. Ini adalah ruang bagi orang -orang yang ingin saling mendukung dalam perjalanan mereka untuk membangun sistem desain yang lebih baik.

Mode Pembelajaran

Saya terus -menerus terinspirasi oleh orang -orang yang berpartisipasi dalam jawaban yang kami kumpulkan minggu demi minggu. Anda masing -masing muncul Dalam mode pembelajaran. Karena itu, kita semua memiliki perspektif yang luas dan apresiasi terhadap pengalaman yang dibawa oleh percakapan ini.

Terima kasih telah bergabung dengan pose yang ramah bagi mereka yang menghadiri pertemuan tersebut.

sumber

Terima kasih

Terima kasih banyak untuk semua orang yang terlibat.

Jika Anda melewatkan minggu ini, daftar pertanyaan dan bersiaplah untuk jawaban berikutnya.

Karakteristik Masalah Sistem Desain Menulis