Та үүнийг төсөөлөөд үзээрэй: хоёр улс дайн дунд байна. Улс X нь Улс Y-ийн том хотын нэг үйлдвэрлэг бүс рүү дрон илгээж, хоёр пропан цистернийг устгахыг зорьж байна. Энд ямар нэгэн хэвийн үйл явц яг тэр чигт үргэлжилж байна. Гэвч энэ удаад дрон зорилго руугаа хүрч чадаагүй. Үүний оронд Улс X-ийн дрон ойрхон ханыг гэнэдэн мөргөлдөөд дэлбэрч, гурван залуу иргэнийг хөнөөжээ.
Улс Y дронгийн үлдэгдлийг нь мэдээллийн зорилгоор авч үзэхэд дотор АИ-ээр ажилладаг суперкомпьютер байсныг олж харах бөгөөд тэр нь аймшигтай баримтыг дэлгэдэг. Хэн нэг хүн ямар газарт довтолохыг шийдэх бус, хиймэл оюун бодлогоор шийдэгдсэн байв.
- Оросын AI-ээр идэвхижүүлсэн дрон Украиныд өөрийн зорилгыг өөрөө сонгож, гурван иргэнийг алсан гэж мэдэгдэж байна — машины шийдвэрийн үхлийн сонголтыг шууд хүний оролцоогүйгээр хийж чадаж байгаа аймшигт жишээ.
- Дэлхий дахинд автоном зэвсгийн тухай хэлэлцүүлэг хоёр өрсөлдөх төдий frameworks-руу хуваагдсан байна: “үнэмлэхүй хүний хяналт,” үүний хувьд хүний оролцоо үхлийн шийдвэрүүдэд оролцохыг шаардах, ба Пентагонын илүү уян харилцан “хийх ёстой хүний шийдвэртэй” тохирсон хандлага.
- OpenAI нь Пентагонгийн хэллэгийг qəbul хийж, бүх л үхлийн үйл ажиллагааг хүний шийдвэрээр шийдвэрлэх шаардлагагүй стандартыг хүлээн авч, практик хязгаарлалт-уудыг ирээдүйн, тохиолдлоор гарч ирэх цэрэг хэрэглээнд үлдээсэн.
Баримт нь үнэн: та энэ дүрсийг төсөөлөх хэрэггүй — яг одоо болсон явдал юм. Орос-Украин дайн үеэр Нью-Йорк Таймс-д сүүлийн үед мэдээлсэнээр гурван украин иргэнийг хүний оролцоогүйгээр сонгогдсон дронөөс болж амь үхэлд хүргэсэн байна. Энэ шинэ бодит байдал нь дайн байлдах дайн-дамжлагын ирээдүйн төлөв болдог.
Учир нь дэлхий даяарх олон улс орнууд, тэдгээрийн дунд хамгийн хүчирхэг армиудтай орнууд ч, дайн дотор зэвсгийг үргэлж хүний хяналтад байлгах хэрэгтэй гэж үздэг үзэлд сэтгэлээр харж байна гэж үгүүлж байна.
Гэвч шинэ автоном зэвсэг технологиуд илүү чадваржиж, олон улсын хууль бус бүтэц цаг үргэлж шинэчлэгдэж чадахгүй байхад дэлхий даяарх зарим улс хүн бүхэн биш, харин хариуцлагын өргөн тайлбарт хандсан: хүмүүс ганц довтолгоог батлах биш, зэвсгийн боловсруулалтаас эхлээд туршилт, ажиллах журам хүртэл боловсруулах, шалгах, тогтоох замаар ашиглах нөхцөлүүдийг хангаж чадна.
Энэ шилжилт өнөөгийн хамгийн нөлөөтэй бодлогын маргаануудад нэгэн чухал хүрд үүсгэж байна. Эцэст нь хүний засаглалтай, “төрөл зэвсгээр бүхий л хүчийг үйрүүлэх” тухай ярьдаг нөхцөлд — автоном зэвсгийг хүмүүс нэрлэдэг — хоёр гурван үгтэй хоёр утгын тэмцэл: “үнэмлэхүй хүний хяналт” гэж үү, эсвэл “өөрийн шийдвэрийн зохистой байдал” гэж үү?
Өндөр эрсдэлтэй утгын тэмцэл
2010-гийн эхээр “үнэмлэхүй хүний хяналт” нь автоном зэвсгийг хэрэглэхэд хүний оролцоог хэрхэн зохицуулах талаар олон улсуудын анхны хэлэлцүүлгийн үндэслэл болж гарсан framework болж байсан. Энэ терм үсрэн хөгжиж олон улсын хэлэлцүүлгийн анхны зохицуулагч зарчмуудын нэг болж чадав, гэхдээ олон улсуудын дунд биш юм гэж үзэл манан нэмэгдлээ — АНУ ба ОХУ зэрэг орон дунд ч санал зөрчил гарав.
“[Meaningful human control] гэдэг ойлголт яг юу болох вэ?” гэж Лена Трабуко хэлэв, “хүний хяналт ямар байдлаар ‘утгаваа’ болгох, ямар байдлаар ‘хяналттай’ байхыг” ярьсан. Тухайн үеийн ямар ч хэлэлцүүлгээр ‘утга’ гэж хэлэхдээ, мөн ‘хяналт’ гэж юу болох талаар санал нэгдэлгүй байсан. Гэвч асуудал нь зөвхөн үгсийн төөрөгдөл бус байлаа. “Ийм стандартыг олон улс эвлүүлж хамтрах нь бараг хэцүү ажил болж хувирсан” гэж Трабуко хэлэв.
Эцэст нь, ‘meaningful human control’-ийн яг тодорхойлолт бүрэн бат бөхгүй ч гэсэн энэ нэр томъёо ойлгомжтой болж, автоном зэвсгийг хэрхэн хяналтандаа авах талаар олон улсын хэлэлцүүлгийг үргэлжүүлэхэд тус болсон. Трабуко ийн тайлбарлав: “Бид бүгд л уг ойлголтыг юу гэж ойлгож буйг дунд нь мэдэрч байсан ч, ‘meaningful’ гэж юу болох, ‘control’ яг юу гэсэн үг болох талаар яг стандарт дээр санал нийлэхгүй байсан.”
Буцалтгүй олон улсын хамтын ажиллагаатай, энэхүү тодорхойлолт нь харин ч илүү олон улсын хэлэлцүүлэгт үргэлжлэх дуртай байлгаж байлаа. Брэд Бойд хэлэхдээ: “Энэ ойлголт нь тухайн зэвсэг шалтайгаар дүүжлэгдэх үед хүн оролцох ёстой гэж ойлгогдсон.” Гэвч АНУ-ын талаас тэр мэдэгдлийн учир тойрон олон асуудал нээлтэй үлдэв.
Нэгд нэг үгүй асуудал болсон нь цаг хугацааны асуудал байлаа. “Зэвсгийг суллах үе ер нь тухайн зэвсэг зорилгод хүрэхээс хэдэн минут, цаг, өдөр өмнө ч байж болно” гэж Бойд тайлбарлав. Жишээлбэл дрон designated бүс нутгийг судлахын тулд харьцуулагдсан бүсийг шалгах зорилгоор гарч, хэдэн цаг нислэгт байж болно. Хүний удирдлагаас дрон нислэг эхлүүлсний дараа зорилгыг олж д تیرэх хугацаа секунд, минут, эсвэл цаг өнгөрч болно.
“Энэ цаг хугацааны өргөтөл ‘meaningful human control’ бүтэц ирээдүйд хүний хүсэж буй зүйлийг яг биелүүлж байна гэж харагдах нь маш хэцүү болсон” гэж Бойд хэлэв. Техник инженерийн асуудлууд ба олон улсын форумуудад хэрэгжүүлэх бодлогын хэллэгийн хоорондох зөрүү нь Америкийн бодлогын хувьд бодит хэрэгжүүлэлтэд саад болох бартаа болж байна.
Тэгээд АНУ өөрийн өөр нэг хувилбарыг авсан: “appropriаte human judgment”
“Автоном ба хагас-автоном зэвсэгтэй системүүд командлагчид ба операторчдод хүч хэрэглэх явдал дээр зөвхөн appropriate хэмжээний хүний шийдвэр гаргах боломжийг олгохоор бүтээгдэнэ” гэж Батлан хамгаалах яамны гол удирдамж бичигт дурдагдсан. Энэ шинэ хэллэг нь хүний оролцооны заавал оролцооны цэгийг зэвсгийг буудсан мөчөөс холдуулж, системийн бүх амьдралын мөчлөгийг хянах эрхийг өгдөг — дизайнаас эхлээд хөгжүүлэлт, deployment хүртэл.
“Төрийн аль ч нөхцөлд зарим тохиолдолд зөвхөн хүний хяналт нэмж шаардлагагүй байж болох бөгөөд энэ нь олон улсын хууль зөрчүүлэхгүй байх явдал юм” гэж Трабуко хэлэв. “Хэрэв бид далайн дээрх нөхцөлд байвал хүн хүчин чадалд маш өндөр хязгаарлалтыг хангах шаардлагагүй байж магадгүй учир ийм явдал боломжтой” гэж тэр онцлов.
“Одоо хот дүүрэгт, хотын дэд бүтэцтэй нөхцөлд” хүн амд учрах эрсдэл ба бусад шууд хохирол маш ихэсдэг учир тэр үе нь дээд түвшингээсээ илүү чухал болно” гэж Трабуко ноцолдсон. АНУ тухайн нөхцөлд хэр дутуу хүний оролцоог шаардсан гэдгийг шийдэх уян хатан байдлыг эрмэлзсэн, “үнэмлэхүй” гэж тогтоосон нэгж стандартын оронд.”
“Хэдий тэгж ч байсан, ‘control’-оос ‘judgment’-руу шилжих шалтгаан нь юу вэ? Бойд хэлсэнчлэн: “Юу ч автоматаар хийдэг бол бид хурд, нарийвчлал нэмэхийг л хүсдэг. Иймээс процессийн яг аль хэсэгт хүний оролцоо заавал байх ёстой гэж хэлэхээс илүүгээр системүүд яагаад хууль болон ёс зүйн стандартад нийцэж ажиллах ёстойг хангах тухай юм.”
Хэрхэн ямар хэмжээг хүний шийдвэр хэрэгтэй вэ гэдгийг хэн шийдвэрлэх вэ?
“Энэ нь зөвхөн хяналт биш, бидний үнэлэмж, хууль, журам зүйлийг илэрхийлэх машиныг хүсэж байна” гэж Бойд хэллээ. “Хүний үнэлэмж, хууль, журам хэрэгжүүлэхэд бид үүнийг шийдвэр гэж үздэг.”
“Бид universal хүний оролцооны стандарт баримталжMeaningful Human Control-ыг хэрэгжүүлэхээс илүүтэйгээр, appropriate human judgment-ийг баримталж буй” гэж хэлж байгаа хэдий ч энэ хүрээг төгөрүүлэн аваагүй. DoD-ийн зааврын дагуу уг хүрээ нь системүүдийг турших, үйл ажиллагааны хязгаарлалтыг тодорхойлох, иргэний хохирлын магадлалыг үнэлэх, операторчдыг сургалтын, оролцогчийн дайны журамыг тогтоох, системийг зөвшөөрөгдсөн үйл ажиллагаанд байлгаж ажиллуулах шаардлагатай. Түүнээс гадна зарим нөхцөлд эдгээр шаардлага зэвсгийг илүү нарийвартай хамгаалалтын байдлаар хүргэж чадах бөгөөд хүн уруудаж стрелк хийх энгийн нөхцлөөс илүү хамгааллын шаардлага тавих боломжтой.
Гэвч энэ хүрэм нь өөрийн онцлог асуудалтай байна — хэн ахиад ямар хэмжээг хүний шийдвэр гэж тохируулах вэ? Мөн компаниуд, уг технологийг хөгжүүлж буй хувийн салбарт, бид хариултгүй байх үед энэ хэлбэрийг ашиглаж эхэлвэл юу болох вэ?
Ингээд — хувийн сектор хоёр талын нэгийг сонгох цаг иржээ
Долоодугаар сард, Оросын автоном дрон дайнд гарсны яг тэр долоо хоногт, OpenAI нь олон хүн анзаардаггүй чухал өөрчлөлт хийсэн нь пеш алдаагүй: тэд өөрийн технологийг цэрэгжилтийн хэрэглээнд дахин тохируулсан. Гурван жилийн өмнө OpenAI нь өөрийн технологийг “цэрэглэл ба дайн-байдал”-д хэрэглэхийг бүрмөсөн хориглодог байсан. Одоо 2023-аас хойш хийж ирсэн хэд хэдэн дуугүй засварыг дамжуулан компани нь уг асуудалд тавьсан таван хуудсан бодлого баримт бичгийг илэрхийлсэн.
(Ил тод мэдэгдэл: Zaluucom Media нь OpenAI-тай хамтарсан холбоотон хэвлэлүүдийн нэг бөгөөд манай мэдээлэл редакцийн хараатайгаар харагдана.)
Хамгийн чухал нь, цэрэг ашиглах нөхцөлүүд доторх үндсэн нөхцөлийн тайлбартаа OpenAI нь “approprіate human judgment” гэсэн нэгэн энгийн хэллэгийг аваад хэрэглэж буйг дэлгэрэнгүй тайлбарласан.
Энэ бичиг баримт нь 2023 оноос хойшхи Anthropic ба Пентагонын илүү нээлттэй, санал нэгдлийг дагасан тэмцлийн дараа ирсэн нь илт харагдана. “Appropriate human judgment” гэж нэрлэгдэх үндсэн нөхцөл нь “бүх л тусгай системийн үйл ажиллагаанд хүний шийдвэр шаардахгүй” гэж заагдсангүй. Харин “хүмүүс deployment-ийн нөхцөл байдлыг мэдэрч, мэдээлэлд тулгуурлан шийдвэр гаргах хэрэгтэй” гэж заасан.
Ийм уян хатан байдлыг цэрэг ашиглалтад дэмжих нь батлахад илүү ашигтай боловч нэг л асуудал үлддэг — хүний шийдвэрийн хэмжээ хэзээ “дараахгүй” болдоно гэж хэн шийдвэрлэх вэ? Хувийн сектор энэ хэлцлийг юу гэж хэрэглэдэг бол, бид хариултыг хүлээж байхдаа ямар үр дагаварт хүрэх вэ?
Мөн одоо — хувийн сектор нэг талд зогсохоор хэн нэгнийг сонгох нь заавал болсон
July онд, Оросын автоном дрон довтолгооны эгзэгтэй сарын дунд, OpenAI-гийн талаарх илэрхийлэл нэг тэр дор эрчимтэй хөндлөн шилжилт хийж, цэрэг ашиглалтад ашиглах бодлогын талаар дахин өөрийн нөхөж ажилласан. Ер нь гурван жилийн өмнө OpenAI нь “цэрэг ба дайн-дамжлага” хэрэглээг бүрмөсөн хориглодог байсан бол, одоо 2023 оноос хойшхи хэд хэдэн өөрчлөлтүүдийн дараа 5 хэлст бодлого бичиг гаргаж, цэрэг хэрэглээнд ашиглах тухай нөхцлийг тайлбарлав. (Дүрэм: Zaluucom Media нь OpenAI-тэй хамтардаг хэвлэлүүдийн нэг бөгөөд манай тайлбар редакцийн хувьд хараагүй.)
Хамгийн их нь, цэрэг нөхцөлд, өөрөөр хэлбэл хүний нөлөөг шийдвэрлэх асуудлаар ашиглах үндсэн хэлбэрийг тайлбарлахдаа OpenAI нь танил болсон нэгэн үгийг зээл авч чадваржуулав: “appropria te human judgment.”
Цаг хугацаа нь ноцолоогүй. Энэ баримт баримт бичиг Anthropic ба Пентагонын хоорондох илжиглэрэлтээс хамааралтай байсан үед ирсэн бөгөөд Anthropic нь цэрэг хэрэглэлтэд өөрийн технологийг ашиглах талаар бүх төрийн хэвлэлд хэрэглэшгүйг илэрхийлж байсан. Тэр тэмцэл нь Ерөнхийлөгч Дональд Трамп Anthropic компанийн засгийн газарт ашиглах хэрэгслийг шууд зогсоохыг шаардаж, тэр хавар Anthropic-ийг засгийн газраас зайлуулсны дараа OpenAI-ийн CEO Сам Альтман засгийн газартай өөрийн тохиролцоог зарлажээ. (Дүрэм: Future Perfect нь BEMC Foundation-аас санхүүжилт авдаг бөгөөд түүний гол сан хөрөнгө оруулагч нь Anthropic-д анхдагч хөрөнгө оруулагч байсан; тэд манай контент-д редакцийн даралт суулгахгүй.)
Гэвч OpenAI гэхэд Anthropic–Пентагон тэмцлийн дараа зөвхөн гэрээ авах гэж явсангүй, бас нэг сургамж авлаа — засгийн газрын ялалттай байдлыг өөрийн бодлогоо нийцүүлэхэд ашиглав. Эсвэл засгийн газарт эсрэг байх нь өндөр үнэтэй байж болзошгүй.
“Appropriate human judgment” гэж бодлого баримт бичигт бичигдсэнээр, “бүх л discrete системийн үйл ажиллагаанд хүний шийдвэр шаардагдахгүй” гэж заагдаагүй. Харин өнөөгийн бүтэц нь “хүний шийдвэр deployment-ийн нөхцөлд үргэлж мэдээлэлтэйгээр гаргах ёстой” гэж заасан.
Т Trilобо–Бойд хоёр мэдэгдсэнчлэлээр, хүний оролцооны түвшин ‘appropriate’ нь operating environment, зорилтот төрөл, нэг тусгаар системийн техникийн чадвар, иргэний эрсдлийн найдвар зэрэг олон хүчин зүйлээс шалтгаалж өөрчлөгддөг. Энэ уян хатан байдлыг цэрэгт ашигтай гэж үздэг боловч түүний үр дагавар нь дүрэм журамд хязгаарлалтын хувьд маш тодорхойгүй, хэмжихэд хэцүү, хэрэгжүүлэхэд ч хэцүү болж байна.
Дайнд хүний–мәшин хоорондох тэнцвэр ямар үед “хүлээн авахын аргагүй” гэж онолчлоход бид хэн ч тодорхой хариулт олж чадахгүй байгаа шалтгаантай. Энэ бол үнэн.
Pentagon-ийн уян хатан framework-ийг дэмжснээр OpenAI энэ стандартад яс баримтгүй, хэрэглээ нь тохиолдлоор шийдэгдэнэ гэж хүлээн зөвшөөрч байна, хууль сахиулах байгууллага хуучулсан бодлогыг өөрийн бодлогын дагуу өөрчлөх орон зайтай байна гэж үзэж байна. Энэ нь компани илүү тод улаан шугам тогтоохоос илүүтэй AI ба автоном бодлогын хувьд цэрэгийн чадварт хэрхэн хэрэглэх вэ гэдэгт илүү хамтадсан байхыг илэрхийлдэг гэхээс илүүтэй улс үндэстний хүчирхэгжилтийн өөрчлөлтөд нөлөөлөх байдлыг илэрхийлж байна.
“Хүний шийдвэрийн чухал шийдвэрүүд практик дээр утгатай байх ёстой, зөвхөн формаль байдлаар биш” гэж компанийн зарчим бичлэгт бичигдсэн. Гэвч өөрийн технологийн хаана юу хийх, хаана хийхгүй гэж тодорхой хамаарлыг зөвхөн хамтын ажиллагааны үнээр авсан байдалтай болсон.
Энэ нь дамжуулан компанийг Пентагонод илүү хэрэгцээтэй нөхөр болгож байна — үүнийг хүмүүс хэнд хэндээ хэзээ хүний шийдвэр дуусдаг, машин удирдлагаар хүч хэрэглэх нь хаана эхэлдэгийг олж мэдэхэд хүн амд хэцүү болгож байна.
Энэ нь үнэхээр компанийг Пентагонд илүү үр дүнтэй нэгдэл болгодог — ард түмэнд хүний шийдвэр хаана дуусдаг, машин удирдлагаар хүч хэрэглэх нь хаана эхэлдэгийг мэдэхэд хэцүү болгодог.
Автоном зэвсгийг хөгжүүлэлт ба deployment шаардагдах их хэмжээний шинж чанарт хүрч байгаа учир ямар нэгэн guardrail-гүйгээр явж байна. Одоо үеийн асуулт нь: АНУ-ын дараагийн бусад AI лаборатори, технологийн компаниуд энэ хүрээг хэрхэн ашиглах гэж байгаа бол “appropriate human judgment” гэж яг юуг утгатай гэж харах вэ? Ингэж хэлэхэд, энэ хэллэгийн эгзэг хүргэн дуулгаас илүү үр дүн юу болох вэ?
Бурхны төлөө хүн төрөлхтнийхөө төлөө гэсэн шалтгаанаар автоном зэвсгийн хяналтын семантикийг тодруулах нь чухал бусаар харах ёстой — эс тэгвэл бид хянахаа бүрмөсөн алдаж мэднэ.
