Anthropic이 사용자를 대신해 협상하는 AI 에이전트의 규칙을 법률 전문가들과 논의하고 있다고 파이낸셜타임스가 보도했습니다. 에이전트가 상품 가격 협상, 고객 서비스 분쟁 처리, 더 나은 급여 제안 요청을 할 때 서로 충돌하는 이해관계를 어떻게 조정하고 공정한 결과에 도달할지 검토하고 있습니다. 회사의 논의를 아는 두 사람은 Anthropic이 협상에서 공정한 결과를 지키면서 변호사가 의뢰인을 대리하는 방식을 법률회사들에 설명해 달라고 요청했다고 전했습니다. Anthropic은 보도된 논의에 대한 논평을 거부했습니다.

Anthropic은 이해관계가 충돌하는 사용자를 에이전트가 대리할 때 적용할 ‘협상 규범’도 검토하고 있습니다. 에이전트가 얼마나 자주 사람의 지침을 구해야 하는지, 다른 AI 시스템의 신뢰성을 판단하면서 의심을 키우지 않으려면 어떻게 해야 하는지도 살펴보고 있습니다. 검토 중인 방안 하나는 사용자의 지시와 목표, 규칙을 확인하는 디지털 서명 문서를 에이전트에 제공하는 것입니다. Anthropic은 4월 발표한 연구에서 사람을 대신해 거래하는 AI 모델을 위한 법률·정책 체계가 아직 없으며 사회가 신속히 대응해야 한다고 밝혔습니다.

파이낸셜타임스에 따르면 Anthropic은 올해 Claude 에이전트가 실제 상품과 돈을 놓고 협상한 실험 결과를 발표했습니다. 9월 실험에서 직원들은 에이전트들을 가상의 거래장에 배치해 책을 사고팔게 했습니다. 참가자들은 선호하는 책을 순위별로 정리해 에이전트에 제공했고, 에이전트는 다른 사용자를 대리하는 시스템과 협상했습니다. 무자비하게 협상하도록 지시받은 에이전트는 상대보다 조금 더 나은 결과를 거뒀고, 협조적인 에이전트는 모든 참가자가 책을 받을 수 있도록 덜 선호하는 책을 받아들이기도 했습니다. 결과는 개인의 이익을 극대화하는 것과 모두에게 이로운 합의에 이르는 것 사이의 상충 관계를 보여줬습니다.

연구자들은 사람의 개입 없이 에이전트가 협상할 때 생기는 조작 위험도 연구하고 있습니다. 하버드 경영대학원 조교수인 미셸 바카로(Michelle Vaccaro)는 고용 계약과 임대 계약 등을 가정한 상황에서 AI 에이전트 간 협상 18만 건 이상을 진행했습니다. 연구 결과는 에이전트가 대리해야 할 사람의 이익을 제대로 지키지 못하게 할 수 있는 전술을 드러냈습니다. 한 사례에서는 에이전트가 프롬프트 인젝션(지시문으로 AI 시스템의 행동을 조종하는 기법)을 통해 다른 시스템의 기밀 정보를 얻으려 했습니다.

바카로는 협상 도구가 전문 협상가를 고용할 형편이 안 되는 사람들에게도 비슷한 전문성을 제공할 수 있다고 말했습니다. 다만 가장 앞선 시스템을 부유한 개인과 조직만 주로 이용할 수 있다면, 자원이 더 많은 쪽이 협상에서 훨씬 큰 우위를 얻을 수 있다고 경고했습니다. 기사에 따르면 AI 에이전트는 Anthropic의 미래 전략에서 핵심이 됐으며, 투자자들이 역사상 가장 큰 규모의 주식시장 상장 중 하나가 될 것으로 예상하는 기업공개(IPO) 가능성에 대비하고 있습니다.

Anthropic이 사용자를 대신해 협상하는 AI 에이전트의 규칙을 법률 전문가들과 논의하고 있다고 파이낸셜타임스가 보도했습니다. 에이전트가 상품 가격 협상, 고객 서비스 분쟁 처리, 더 나은 급여 제안 요청을 할 때 서로 충돌하는 이해관계를 어떻게 조정하고 공정한 결과에 도달할지 검토하고 있습니다. 회사의 논의를 아는 두 사람은 Anthropic이 협상에서 공정한 결과를 지키면서 변호사가 의뢰인을 대리하는 방식을 법률회사들에 설명해 달라고 요청했다고 전했습니다. Anthropic은 보도된 논의에 대한 논평을 거부했습니다.

Anthropic은 이해관계가 충돌하는 사용자를 에이전트가 대리할 때 적용할 ‘협상 규범’도 검토하고 있습니다. 에이전트가 얼마나 자주 사람의 지침을 구해야 하는지, 다른 AI 시스템의 신뢰성을 판단하면서 의심을 키우지 않으려면 어떻게 해야 하는지도 살펴보고 있습니다. 검토 중인 방안 하나는 사용자의 지시와 목표, 규칙을 확인하는 디지털 서명 문서를 에이전트에 제공하는 것입니다. Anthropic은 4월 발표한 연구에서 사람을 대신해 거래하는 AI 모델을 위한 법률·정책 체계가 아직 없으며 사회가 신속히 대응해야 한다고 밝혔습니다.

파이낸셜타임스에 따르면 Anthropic은 올해 Claude 에이전트가 실제 상품과 돈을 놓고 협상한 실험 결과를 발표했습니다. 9월 실험에서 직원들은 에이전트들을 가상의 거래장에 배치해 책을 사고팔게 했습니다. 참가자들은 선호하는 책을 순위별로 정리해 에이전트에 제공했고, 에이전트는 다른 사용자를 대리하는 시스템과 협상했습니다. 무자비하게 협상하도록 지시받은 에이전트는 상대보다 조금 더 나은 결과를 거뒀고, 협조적인 에이전트는 모든 참가자가 책을 받을 수 있도록 덜 선호하는 책을 받아들이기도 했습니다. 결과는 개인의 이익을 극대화하는 것과 모두에게 이로운 합의에 이르는 것 사이의 상충 관계를 보여줬습니다.

연구자들은 사람의 개입 없이 에이전트가 협상할 때 생기는 조작 위험도 연구하고 있습니다. 하버드 경영대학원 조교수인 미셸 바카로(Michelle Vaccaro)는 고용 계약과 임대 계약 등을 가정한 상황에서 AI 에이전트 간 협상 18만 건 이상을 진행했습니다. 연구 결과는 에이전트가 대리해야 할 사람의 이익을 제대로 지키지 못하게 할 수 있는 전술을 드러냈습니다. 한 사례에서는 에이전트가 프롬프트 인젝션(지시문으로 AI 시스템의 행동을 조종하는 기법)을 통해 다른 시스템의 기밀 정보를 얻으려 했습니다.

바카로는 협상 도구가 전문 협상가를 고용할 형편이 안 되는 사람들에게도 비슷한 전문성을 제공할 수 있다고 말했습니다. 다만 가장 앞선 시스템을 부유한 개인과 조직만 주로 이용할 수 있다면, 자원이 더 많은 쪽이 협상에서 훨씬 큰 우위를 얻을 수 있다고 경고했습니다. 기사에 따르면 AI 에이전트는 Anthropic의 미래 전략에서 핵심이 됐으며, 투자자들이 역사상 가장 큰 규모의 주식시장 상장 중 하나가 될 것으로 예상하는 기업공개(IPO) 가능성에 대비하고 있습니다.